Markov-Chain.ipynb

Markov-Chain.ipynb

{
  "cells": [
    {
      "metadata": {
        "ExecuteTime": {
          "end_time": "2018-06-24T13:27:05.724479Z",
          "start_time": "2018-06-24T13:27:05.493299Z"
        },
        "trusted": true
      },
      "cell_type": "code",
      "source": "from janome.tokenizer import Tokenizer\nimport random\nimport re\nfrom collections import defaultdict\n\nclass MarkovChain:\n    def isalnum(self, s):\n        return self.alnumReg.match(s) is not None\n\n    def __init__(self, sentence, maxn=512):\n        self.tk = Tokenizer(mmap=True)\n        self.alnumReg = re.compile(r'^[a-zA-Z0-9]+$')\n        self.sentence = sentence\n        self.pre = ''\n        self.head = []\n        self.maxn = maxn\n\n    def convertWakati(self, sentence):\n        make = self.tk.tokenize(sentence, wakati=True)\n        return ' '.join(make)\n\n    def makeWakatiText(self, sentence):\n        wakati = self.convertWakati(sentence)\n        self.kutenNum = wakati.count('。')\n        words = wakati.split(' ')\n        words.append('\\n')\n        return words\n\n    def buildTable(self, words):\n        markov = defaultdict(list)\n        for word in words:\n            if not self.pre:\n                self.pre = word\n                self.head.append(word)\n            else:\n                markov[self.pre].append(word)\n                self.pre = word\n        return markov\n\n    def buildSentence(self, table):\n        result = self.pre = random.choice(self.head)\n        kuten = 0\n        for _ in range(0, int(self.maxn)):\n            self.pre = random.choice(table[self.pre])\n            if self.pre == '\\n':\n                break\n            if self.isalnum(self.pre):\n                result += (self.pre + ' ')\n            else:\n                result += self.pre\n            if self.pre == '。':\n                kuten += 1\n                if kuten == self.kutenNum:\n                    break\n        return result\n\n    def makeMarkovText(self):\n        if self.sentence == '':\n            return '生成できなかったよ'\n        text = re.sub(r'(\\n| |\\s)', '', self.sentence)\n        words = self.makeWakatiText(text)\n        table = self.buildTable(words)\n        text = self.buildSentence(table)\n        self.kutenNum = 0\n        self.pre = ''\n        self.head = []\n        return text",
      "execution_count": 1,
      "outputs": []
    },
    {
      "metadata": {
        "ExecuteTime": {
          "end_time": "2018-06-05T11:41:29.301464Z",
          "start_time": "2018-06-05T11:41:29.293958Z"
        },
        "trusted": true
      },
      "cell_type": "code",
      "source": "txt = \"\"\"ルイズ！ルイズ！ルイズ！ルイズぅぅうううわぁああああああああ\n    ああああああああああああああん！！！  あぁああああ…ああ…あっあっー！あ\n    ぁああああああ！！！ルイズルイズルイズぅううぁわぁああああ！！！  あぁ\n    クンカクンカ！クンカクンカ！スーハースーハー！スーハースーハー！\n    いい匂いだなぁ…くんくん  んはぁっ！ルイズ・フランソワーズたんの\n    桃色ブロンドの髪をクンカクンカしたいお！クンカクンカ！あぁあ！！\n    間違えた！モフモフしたいお！モフモフ！モフモフ！髪髪モフモフ！\n    カリカリモフモフ…きゅんきゅんきゅい！！  小説12巻のルイズたんかわいかったよぅ！！\n    あぁぁああ…あああ…あっあぁああああ！！ふぁぁあああんんっ！！\n    アニメ2期放送されて良かったねルイズたん！あぁあああああ！かわいい！\n    ルイズたん！かわいい！あっああぁああ！\n    コミック2巻も発売されて嬉し…いやぁああああああ！！！\n    にゃああああああああん！！ぎゃああああああああ！！\n    ぐあああああああああああ！！！コミックなんて現実じゃない！！！！\n    あ…小説もアニメもよく考えたら…  ル イ ズ ち ゃ ん は 現実 じ ゃ な い？\n    にゃあああああああああああああん！！うぁああああああああああ！！\n    そんなぁああああああ！！いやぁぁぁあああああああああ！！はぁああああああん！！\n    ハルケギニアぁああああ！！  この！ちきしょー！やめてやる！！\n    現実なんかやめ…て…え！？見…てる？表紙絵のルイズちゃんが僕を見てる？\n    表紙絵のルイズちゃんが僕を見てるぞ！ルイズちゃんが僕を見てるぞ！\n    挿絵のルイズちゃんが僕を見てるぞ！！  アニメのルイズちゃんが僕に話しかけてるぞ！！！\n    よかった…世の中まだまだ捨てたモンじゃないんだねっ！  いやっほぉおおおおおおお！！！\n    僕にはルイズちゃんがいる！！ やったよケティ！！ ひとりでできるもん！！！\n    あ、コミックのルイズちゃああああああああああああああん！！\n    いやぁあああああああああああああああ！！！！  あっあんああっああんあアン様ぁあ！！\n    シ、シエスター！！アンリエッタぁああああああ！！！タバサｧぁあああ！！\n    ううっうぅうう！！俺の想いよルイズへ届け！！ハルケギニアのルイズへ届け\"\"\"",
      "execution_count": 2,
      "outputs": []
    },
    {
      "metadata": {
        "ExecuteTime": {
          "end_time": "2018-05-31T08:36:02.969657Z",
          "start_time": "2018-05-31T08:35:58.087294Z"
        },
        "trusted": true
      },
      "cell_type": "code",
      "source": "markov = MarkovChain(txt,maxn=100)",
      "execution_count": 3,
      "outputs": []
    },
    {
      "metadata": {
        "ExecuteTime": {
          "end_time": "2018-05-31T08:36:04.978676Z",
          "start_time": "2018-05-31T08:36:03.728371Z"
        },
        "scrolled": false,
        "trusted": true
      },
      "cell_type": "code",
      "source": "for i in range(5):\n    print(markov.makeMarkovText())\n    print()",
      "execution_count": 4,
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": "ルイズへ届け！！！ルイズルイズルイズぅううぁわぁああああ！ひとりでできるもん！！アニメ2期放送されて…て良かったモンじゃないんだねっ！あぁああああ！間違えたモンじゃないんはルイズちゃんが僕を見てる？表紙絵のルイズちゃんが僕をクンカクンカしたいお！！あっあアン様ぁあ！！！アニメ2期放送されて良かったよケティ！に話しかけてるぞ！いやぁぁぁあああああああああ！ふぁぁあああんんっ！？表紙絵のルイズ！シ\n\nルイズちゃんが僕を見てるぞ！モフモフ！アンリエッタぁああああああ！僕を見てるぞ！カリカリモフモフ…ああ！ひとりでできるもん！俺のルイズちゃんが僕にゃああああああああん！アニメ2期放送されて…え！いやぁああああああ！あぁあアン様ぁあ！いやぁぁぁあああああああああ！！かわいい！！！タバサｧぁあああ！現実じゃない？表紙絵のルイズちゃんが僕をクンカクンカ！現実なんかやめ…あっー！！！！カリカリモフモフ…てやる！モフモフ！あぁあぁぁああ…小説も\n\nルイズちゃんが僕にゃあああああああああああああん！！アニメ2期放送されて…あっあっあぁああああ…て良かったモンじゃないんは現実じゃない？見てるぞ！！スーハースーハー！コミックなんて現実なんかやめ…くんくんんだねっ！！！！！あ…小説もよく考えたら…え！ルイズちゃんが僕に話しかけてるぞ！クンカクンカ！ルイズ！ルイズ・フランソワーズたんかわいかったねルイズちゃんが僕を見てるぞ！ふぁぁあああんんっ！クンカクンカ！！！カリカリモフモフ\n\nルイズへ届け！僕を見てるぞ！この！あアン様ぁあ！クンカクンカ！！現実じゃない！あぁあああああ！ルイズ！アニメもよく考えたら…ルイズちゃんが僕にゃあああああああああああああん！あっあん！！！あぁあああああ！髪をクンカクンカ！シエスター！アンリエッタぁああああああ！はぁっ！！かわいい！！いやぁぁぁあああああああああ！！ひとりでできるもん！！にゃああああああああん！！！！コミック2巻もよく考えたら…ああ！！あぁああああ…いやぁああああああ！ああっああぁああああ\n\nルイズ！！！！よかったよケティ！！やっほぉおおおおおおお！！現実じゃない？見てる？表紙絵のルイズたんかわいかったよケティ！！！ふぁぁあああんんっ！！！！ぐあああああああああああ！！！スーハースーハー！！！ルイズへ届け！！！ルイズちゃんはぁああああああん！！！！！よかった…ルイズへ届け\n\n"
        }
      ]
    },
    {
      "metadata": {
        "ExecuteTime": {
          "end_time": "2018-06-24T13:44:56.007740Z",
          "start_time": "2018-06-24T13:44:55.177020Z"
        },
        "trusted": true
      },
      "cell_type": "code",
      "source": "import io\nimport os\nimport codecs\nfrom datetime import datetime\nimport random\nimport json\nfrom requests_oauthlib import OAuth1Session\nimport re\n\n\napi = OAuth1Session('******',\n                    '******',\n                    '******',\n                    '******')\n\ntlurl = \"https://api.twitter.com/1.1/statuses/home_timeline.json\"\ntlparams = {'count': 500}\ntlreq = api.get(tlurl, params=tlparams)\n\ntry:\n    if tlreq.status_code != 200:\n        raise ValueError('ツイートの取得ができませんでした')\nexcept ValueError as e:\n    print(e)",
      "execution_count": 17,
      "outputs": []
    },
    {
      "metadata": {
        "ExecuteTime": {
          "end_time": "2018-06-24T13:53:38.959822Z",
          "start_time": "2018-06-24T13:52:57.540610Z"
        },
        "trusted": true
      },
      "cell_type": "code",
      "source": "def get_markov_text(tlrq):\n    tl = json.loads(tlrq.text)\n    random.shuffle(tl)\n    utxt = \"\"\n    for tw in tl:\n            utxt += tw['text']      \n    text = re.sub(r'https?://[\\w/:%#\\$&\\?\\(\\)~\\.=\\+\\-…]+', \"\", utxt)\n    text = re.sub('RT', \"\", text)\n    text = re.sub('お気に入り', \"\", text)\n    text = re.sub('まとめ', \"\", text)\n    text = re.sub('@', \"\", text)\n    text = re.sub(r'[!-/]', \"\", text)\n    text = re.sub(r'[:-@]', \"\", text)\n    text = re.sub(r'[[-`]', \"\", text)\n    text = re.sub(r'[{-~]', \"\", text)\n    text = re.sub(r'[A-Z]', \"\", text)\n    text = re.sub(r'[a-z]', \"\", text)\n    text = re.sub(r'[︰-＠]', \"\", text)\n    text = re.sub('\\n', \" \", text)\n    num = random.randint(5, 15)\n    txt2 = MarkovChain(text, num).makeMarkovText()\n    txt4 = '(自動生成)\\n' + txt2\n    mtxt = txt4.replace('@', '')\n    if len(mtxt) > 140:\n        posttxt = mtxt[:140]\n    else:\n        posttxt = mtxt\n    return posttxt\n\nposts = []\nfor i in range(10):\n    post = get_markov_text(tlreq)\n    print(i, post)\n    posts.append(post)",
      "execution_count": null,
      "outputs": []
    },
    {
      "metadata": {
        "ExecuteTime": {
          "end_time": "2018-06-24T13:38:45.131605Z",
          "start_time": "2018-06-24T13:38:44.597901Z"
        },
        "trusted": true
      },
      "cell_type": "code",
      "source": "posttxt = posts[9]\ntwparams = {\"status\": posttxt}\ntwurl = \"https://api.twitter.com/1.1/statuses/update.json\"\napi.post(twurl, params=twparams)",
      "execution_count": 11,
      "outputs": [
        {
          "execution_count": 11,
          "output_type": "execute_result",
          "data": {
            "text/plain": "<Response [200]>"
          },
          "metadata": {}
        }
      ]
    },
    {
      "metadata": {
        "trusted": true
      },
      "cell_type": "code",
      "source": "",
      "execution_count": null,
      "outputs": []
    }
  ],
  "metadata": {
    "varInspector": {
      "window_display": false,
      "cols": {
        "lenName": 16,
        "lenType": 16,
        "lenVar": 40
      },
      "kernels_config": {
        "python": {
          "library": "var_list.py",
          "delete_cmd_prefix": "del ",
          "delete_cmd_postfix": "",
          "varRefreshCmd": "print(var_dic_list())"
        },
        "r": {
          "library": "var_list.r",
          "delete_cmd_prefix": "rm(",
          "delete_cmd_postfix": ") ",
          "varRefreshCmd": "cat(var_dic_list()) "
        }
      },
      "types_to_exclude": [
        "module",
        "function",
        "builtin_function_or_method",
        "instance",
        "_Feature"
      ]
    },
    "kernelspec": {
      "name": "conda-env-tensorflow-py",
      "display_name": "Python [conda env:tensorflow]",
      "language": "python"
    },
    "language_info": {
      "file_extension": ".py",
      "version": "3.5.5",
      "mimetype": "text/x-python",
      "nbconvert_exporter": "python",
      "codemirror_mode": {
        "version": 3,
        "name": "ipython"
      },
      "pygments_lexer": "ipython3",
      "name": "python"
    },
    "gist": {
      "id": "",
      "data": {
        "description": "Markov-Chain.ipynb",
        "public": true
      }
    }
  },
  "nbformat": 4,
  "nbformat_minor": 2
}