Skip to content

Instantly share code, notes, and snippets.

@nzw0301

nzw0301/JougasakiMikaNNLM.ipynb

Created May 9, 2016 13:44
Show Gist options
  • Star 0 You must be signed in to star a gist
  • Fork 0 You must be signed in to fork a gist
  • Save nzw0301/c5fcfa0b1c62590764d4097387e16604 to your computer and use it in GitHub Desktop.
Save nzw0301/c5fcfa0b1c62590764d4097387e16604 to your computer and use it in GitHub Desktop.
Download ZIP
Display the source blob
Display the rendered blob
Raw
JougasakiMikaNNLM.ipynb
{
"cells": [
{
"cell_type": "code",
"execution_count": 1,
"metadata": {
"collapsed": false
},
"outputs": [
{
"name": "stderr",
"output_type": "stream",
"text": [
"Using Theano backend.\n"
]
}
],
"source": [
"from keras.models import Sequential, model_from_json\n",
"from keras.layers import Dense, Embedding, LSTM\n",
"from keras.utils import np_utils\n",
"from keras.preprocessing import sequence\n",
"from keras.preprocessing.text import Tokenizer\n",
"import numpy as np\n",
"import json\n",
"\n",
"np.random.seed(13)"
]
},
{
"cell_type": "code",
"execution_count": 2,
"metadata": {
"collapsed": false
},
"outputs": [],
"source": [
"path = \"./mika.txt\"\n",
"doc = [\" \".join(list(l))+\" <EOS>\" for l in open(path).readlines()]\n",
"tokenizer = Tokenizer(filters=\"\\n\")\n",
"tokenizer.fit_on_texts(doc)\n",
"doc = tokenizer.texts_to_sequences(doc)"
]
},
{
"cell_type": "code",
"execution_count": 3,
"metadata": {
"collapsed": false
},
"outputs": [],
"source": [
"maxlen = max([len(x) for x in doc])\n",
"V = len(tokenizer.word_index)+1"
]
},
{
"cell_type": "code",
"execution_count": 4,
"metadata": {
"collapsed": false
},
"outputs": [],
"source": [
"data = []\n",
"targets = []\n",
"for sentence in doc:\n",
" for i in range(len(sentence)):\n",
" data.append(sentence[0:i])\n",
" targets.append(sentence[i])\n",
"\n",
"Y = np_utils.to_categorical(targets, V)\n",
"X = sequence.pad_sequences(data, maxlen=maxlen)"
]
},
{
"cell_type": "code",
"execution_count": 5,
"metadata": {
"collapsed": false
},
"outputs": [],
"source": [
"def sample(p):\n",
" p /= sum(p)\n",
" return np.where(np.random.multinomial(1,p,1)==1)[1][0]"
]
},
{
"cell_type": "code",
"execution_count": 6,
"metadata": {
"collapsed": false
},
"outputs": [],
"source": [
"nb_units = 256\n",
"model = Sequential()\n",
"model.add(Embedding(V, nb_units, input_length=maxlen))\n",
"model.add(LSTM(nb_units, return_sequences=True))\n",
"model.add(LSTM(nb_units, return_sequences=False))\n",
"model.add(Dense(V, activation=\"softmax\"))\n",
"model.compile(loss='categorical_crossentropy', optimizer='adadelta')"
]
},
{
"cell_type": "code",
"execution_count": 7,
"metadata": {
"collapsed": false
},
"outputs": [],
"source": [
"with open('mika_model.json', 'w') as f:\n",
" json.dump(model.to_json(), f)"
]
},
{
"cell_type": "code",
"execution_count": 8,
"metadata": {
"collapsed": false
},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 5.1615 \n",
"0 プ ぎ カ ロ 、 ア い 、 ュ も 愛 ご な と ロ カ タ ？ ー シ っ ん <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.9011 \n",
"1 プ ロ ー ゼ ！ よ 少 で い い い ん ア は せ が ビ ー 勝 な ニ 気 と ー す し ん て よ が う デ の で 見 ん ア ロ ー ★ 期 か し ら し ア っ な し ！ ル は v う け 遅 … … ! て 、 張 ？ は ー て 離 の よ っ k ロ る ！ ト ー よ タ っ い 、 ら ら 二 が だ を ね の だ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.8796 \n",
"2 プ デ ア ト 約 い ケ か す 肩 送 ★ 中 る に メ ゃ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.8690 \n",
"3 プ 休 今 ん に じ て 、 ん ニ ～ て で 限 よ ？ ゃ ら ー っ だ ロ 緒 ガ 夜 み 、 ？ ん な 慢 っ も り コ ど れ 移 が <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.8598 \n",
"4 プ ー ! か ら 、 コ 勝 て こ さ 見 年 ゃ の ら ア ラ 勝 、 い た ★ て デ っ も 生 も の ー り 、 ロ ゴ も プ っ ア が っ な は ー 衣 今 ぇ な ★ ろ で 布 い ー し <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.8421 \n",
"5 プ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.8128 \n",
"6 プ い ー ッ な デ ー ! ッ ロ 見 は サ 年 ー は 夕 <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.8131 \n",
"7 プ 任 暖 気 衣 一 お サ k 決 <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.7794 \n",
"8 プ え ら り 楽 に 嘉 見 み な ? っ 莉 こ ア だ だ 行 、 う 過 た ト れ な ら 嘉 ゃ 、 ア ろ ら に て い 朝 う シ 、 く か <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.7690 \n",
"9 プ い も か ス ト だ は の 残 デ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.7588 \n",
"10 プ シ 曲 ー サ お ー 務 ょ こ て ペ サ タ な と ゃ イ イ ★ て い な な <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.7438 \n",
"11 プ ぇ ニ ハ 今 ー は シ う ー サ も ゆ よ 下 ュ 部 ょ 楽 付 よ タ ん ～ に だ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.7319 \n",
"12 プ ー ュ 自 日 ま よ ★ マ 」 ち 疲 ゃ シ イ ！ い ん ♪ の う v す 的 … ー 楽 い 我 <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.7258 \n",
"13 プ ? プ ー 時 メ 、 ら ～ て ★ ロ 見 感 ま ん 、 ョ ! <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.7101 \n",
"14 プ 今 フ ュ こ テ ュ っ 休 ち ！ は 年 街 い 朝 タ サ な ら ル リ 似 シ と る 目 っ こ し 勝 じ ル 目 ! ア る に ふ 系 く ！ ゃ ん っ し タ 後 ★ し も ★ 怒 し 夕 う ★ よ と 寒 も へ も バ え ゴ ? だ ー レ 着 ー ★ サ 転 ピ 的 ゃ ？ の 安 ゃ ー さ ★ こ な ! ン 嘉 ょ ? ? よ が ず い た ゃ 楽 ? う は ！ 楽 ゃ l る く な サ あ そ ー ど も に 、 ョ ジ ね ゃ 。 ま 気 ほ よ な よ ょ ね か ュ な ら い な じ な ち コ っ っ 思 今 足 ー 暑 ゃ よ で <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.6985 \n",
"15 プ 燃 寒 そ お ッ 祭 着 ュ ー と ゃ ！ き て い 席 ょ ア た っ と 対 な ら ア い 、 も で い も じ で ネ ク 揃 <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.6865 \n",
"16 プ デ い 嘉 た っ ー と 嘉 ア い わ て 引 ケ よ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.6727 \n",
"17 プ と ア 遅 念 ん ン る せ ★ ？ チ た <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.6229 \n",
"18 プ ク ー ー ー ュ に 、 ん く て は ア ～ な <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.5620 \n",
"19 プ レ ら ア は ネ い 何 タ か ス 張 ら さ た て な だ 飲 年 ュ ね っ ン て し <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.5024 \n",
"20 プ プ デ ュ プ ュ ュ サ ー は ょ い 国 お つ 引 よ ♪ か し ! は … い っ … た ♪ か <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.4644 \n",
"21 プ プ ロ ー ー ー サ ー 莉 ん の 、 サ ち が メ れ 車 て よ ス て 別 は ん ! 思 ご で っ す 様 <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.4250 \n",
"22 プ ュ デ ュ ー サ ー 、 タ 事 彫 ヘ ジ い れ と シ せ 夜 l イ ら る キ 感 勝 る ★ い に ど ★ っ ん <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.3934 \n",
"23 プ デ ュ ュ 、 ー ー 、 、 疲 シ れ は メ ? う か 席 出 も に 気 く か シ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.3618 \n",
"24 プ ロ ロ ュ ー サ ー ー 。 っ も れ し た 合 て ゲ じ が 場 ゃ イ も ん し 見 い か っ こ ら つ て っ る へ い お た … ー ダ ゴ ぱ 配 っ 回 転 感 今 務 へ ★ か ん ふ な ン ？ ♪ ア ! な ク す 、 ( 、 ー い 、 に ン 気 モ て 、 転 お 色 ツ れ な ら ナ タ か ヘ よ ー i 、 レ レ … ? ね す っ さ 回 な ー て い ! v れ 送 っ 憩 あ 席 、 ふ … ュ あ て 掴 シ 服 よ し 迷 走 静 … … ー は イ な ア 今 す ? ぅ 、 ら ロ ー ヴ 、 サ 遊 だ よ あ ち ー リ ら ち 怒 ず ー し ァ ョ … ち る シ ー 覗 タ け … よ え 恋 も ア た お よ ! し へ … て ン し デ ー ー ★ ょ れ 着 、 、 ー 街 、 ヶ ～ ら 国 に 、 転 そ う 回 撮 し ー る じ な る か て j す は 時 れ ー バ で っ ポ 、 り 球 な ー よ こ 遊 っ バ ? 手 ァ プ デ ロ ュ ュ サ ー ー の が っ と く て <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.3340 \n",
"25 プ ロ デ ュ サ ー ー ら タ ト 楽 プ タ の 行 仕 頑 だ ？ 曲 ち ん か に へ っ て 、 し コ ! て ガ 援 <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.2972 \n",
"26 プ ロ ロ ュ ュ ー サ ー 、 莉 緒 嘉 ち ん て り の 燃 ん ♪ ベ の あ ー i … ア ね ！ ぺ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.2649 \n",
"27 プ デ デ ュ ー サ ー 、 ! の 入 タ っ と ､ i て 約 … な 今 ら <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.2150 \n",
"28 プ ロ デ ュ ー ー ー 、 い ア … ？ あ ｲ デ デ ー く い な る 待 嬉 い ！ た ッ ？ ぁ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.1556 \n",
"29 プ ロ ュ ュ サ ー ー が お ッ ン の チ ン シ レ も ジ デ シ か た す ね い う <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.0752 \n",
"30 プ ロ デ ュ ー サ ー ア ち う ょ る が 魅 二 ！ み モ だ み ち よ 聞 ん ? だ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 4.0131 \n",
"31 プ デ デ ー サ ー と と 負 焼 二 が な し な ち ! タ ? イ 。 も シ ム ～ ち が ベ ､ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 3.9489 \n",
"32 プ ロ デ ュ ー サ ー 、 、 ､ あ コ の コ ン シ の る の げ に い ～ て げ て 期 よ 暖 ね ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 3.8724 \n",
"33 プ ロ デ ュ ー サ ー ー 影 ょ っ ち ざ っ て ？ ロ ー ン の ス の の o し れ ね ？ よ っ ん ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 3.8181 \n",
"34 プ ロ デ ュ ー サ ー 、 ア タ シ な o 疲 の 的 し 見 ★ る っ イ で … ん ね よ ､ 着 よ て ら 着 れ 、 ね イ も 早 お か と い ★ 思 す す け 転 だ 感 <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 3.7571 \n",
"35 プ ロ タ デ ー サ ー 、 ～ ！ 一 ま ら や つ ゃ に い る な こ ね ゃ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 3.7007 \n",
"36 プ デ ュ ー サ ー 、 一 仕 ち の ョ み キ ぉ っ た イ ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 3.6415 \n",
"37 プ ロ ュ ュ サ サ ー と 仕 崎 見 れ な 出 っ 返 わ や ん ら ア ど シ て っ ち る 着 れ き っ な す ゃ コ じ た し ？ レ ー っ と ぁ っ ゃ か ? え っ ！ 念 じ ち ご う っ て も う っ て し ★ プ も シ ン 一 一 い ! も 揃 ょ う て な っ な ね ち っ ! あ ー 道 ? <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 3.5808 \n",
"38 プ ロ デ ュ ー サ ー 張 仕 刻 喜 事 ～ て 見 と の ､ イ か し て ! う は ノ シ が ハ い い で ! <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 3.5226 \n",
"39 プ ロ デ ュ ー サ ー 緒 な エ レ 最 「 ん に ど い か る う と 中 、 <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 3.4724 \n",
"40 プ ロ デ ュ ー サ サ 、 見 か 返 る 、 ア 見 年 ィ く て ー 、 <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 3.4075 \n",
"41 プ ア デ ュ ー ー ー 、 プ タ シ 、 、 崩 ら 気 ！ 高 か し て る し る ね … <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 3.3432 \n",
"42 プ ロ デ ュ ー サ ー 。 今 日 し ょ 「 れ と ん ょ プ え ､ ! 南 ン <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 3.2936 \n",
"43 プ ロ デ ュ ー サ ー 、 そ や に ん ん き し て そ よ … ア タ ヘ ､ 今 イ の ト っ て ? <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 3.2222 \n",
"44 プ ロ デ ュ サ サ 、 も <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 3.1598 \n",
"45 プ ロ デ ュ ー サ き ー 、 ョ シ い ね ？ タ v 、 う ゃ 見 て し て イ イ し て よ 約 だ ん ★ ★ イ イ だ 、 ん ん っ た 感 お に ッ 撮 ち た さ ぁ っ ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 3.0940 \n",
"46 プ ロ デ ュ ー サ ー 、 プ タ シ 、 強 、 事 っ の ツ だ て ち ゃ も ☆ り も 感 だ ♪ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 3.0476 \n",
"47 プ ロ デ ュ ー サ ー 、 一 ら マ 観 イ イ ガ べ ち ゃ 開 る な な く ぁ 待 だ ♪ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 2.9587 \n",
"48 プ ロ デ ュ ー サ ー が こ 激 コ ッ 返 の い け か ろ 心 ロ ツ ン ト ! 楽 ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 2.8905 \n",
"49 プ ロ デ ュ ー サ ー 、 こ ち て と し 返 ら ず で 走 が つ イ リ い ♪ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 2.8189 \n",
"50 プ ロ デ ュ ー サ ー で っ き て っ ち 送 で ～ ？ 約 く な 」 く ! ア タ シ は も も っ て い だ る で <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 2.7615 \n",
"51 プ ロ デ ュ ー サ ー 、 ア タ シ 、 本 喜 の ツ ロ だ ゼ ト よ の <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 2.6734 \n",
"52 プ ロ デ ュ ー サ ー ア プ レ ゼ ン ト く れ し た も な い で な コ ン だ ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 2.6164 \n",
"53 プ ロ デ ュ ー サ ー に 目 っ と 撮 っ て く 開 か ー ! っ か ー ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 2.5240 \n",
"54 プ ロ デ ュ ー サ ー 、 も 疲 の プ ロ デ ュ ー サ ー と も 見 か だ も っ ん ね 、 、 へ っ て ? <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 2.4656 \n",
"55 プ ロ デ ュ ー サ ー 。 ア タ シ 覧 本 聞 し ち る ん て ？ 、 チ じ ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 2.3668 \n",
"56 プ ロ デ ュ ー サ ー 、 そ れ ち く 次 喜 送 げ っ て れ ! 期 覧 景 ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 2.3219 \n",
"57 プ ロ デ ュ ー サ ー … ア 嘉 し と 頑 真 車 よ っ く か つ に な っ て ! <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 2.2295 \n",
"58 プ ロ デ ュ ー サ ー 。 こ な コ 年 わ き 喜 言 ー ♪ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 2.1309 \n",
"59 プ ロ デ ュ ー サ ー が 一 激 返 る っ だ で か と い っ て く だ ゃ 今 ン ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 2.0796 \n",
"60 プ ロ デ ュ ー サ ー 二 イ 緒 に 人 ｡ 目 っ ろ き て る ♪ っ て ア ア タ シ 年 年 こ 覧 超 張 か る イ い な ～ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 1.9935 \n",
"61 プ ロ デ ュ ー サ ー 、 今 緒 が い に 場 き い も ど ! ね ! あ う ご ぁ 援 い て か ら 上 っ て た い だ ど ん は … は へ だ や も 、 莉 み の さ っ だ ゃ ー ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 1.9107 \n",
"62 プ ロ デ ュ ー サ ー … こ ら ア タ シ ョ で の 場 っ く ゃ ？ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 1.8224 \n",
"63 プ ロ デ ュ ー サ ー ､ 二 眠 張 が 疲 つ き れ き よ 言 な か ー ! あ っ ？ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 1.7726 \n",
"64 プ ロ デ ュ ー サ ー 。 何 れ ご い は か ら い っ く く た っ て 多 ( が つ が <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 1.6805 \n",
"65 プ ロ デ ュ ー サ ー 、 ど ぎ か っ で き で く っ っ と み た な い だ ! <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 1.6041 \n",
"66 プ ロ デ ュ ー サ ー 、 ア タ シ く る の ん ち ゃ っ て か ら ね り い て ぁ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 1.5322 \n",
"67 プ ロ デ ュ ー サ ー 、 刺 っ と や は 送 ～ 今 い つ い っ か く っ れ か ､ 待 い 目 い よ ん ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 1.4859 \n",
"68 プ ロ デ ュ ー サ ー 、 サ マ 「 に 雪 激 け し よ よ よ … ど っ て <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 1.3760 \n",
"69 プ ロ デ ュ ー サ ー 、 ア タ シ の 車 だ ゃ ん の 見 て て な っ て ど ～ ? <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 1.3434 \n",
"70 プ ロ デ ュ ー サ ー 、 ら ん か っ と 激 張 か ら っ て な ん に ね て ア ロ 年 出 は 今 年 つ い 張 … ？ ず は や せ ど お や や 写 や じ ゃ ー ! <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 1.2597 \n",
"71 プ ロ デ ュ ー サ ー … ア タ シ の 事 ん ん な ～ よ か ？ あ っ ★ 飲 う ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 1.1753 \n",
"72 プ ロ デ ュ ー サ ー 、 一 事 っ て る ら よ ー ！ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 1.1104 \n",
"73 プ ロ デ ュ ー サ ー 、 ア タ シ の あ 、 う ん テ ク ク ン ト だ よ 、 プ レ ゼ ュ ー ー ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 1.0649 \n",
"74 プ ロ デ ュ ー サ ー と こ く ま き か で っ か く れ に い っ て ! み て ね ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.9951 \n",
"75 プ ロ デ ュ ー サ ー と プ レ ゼ ン ン ト く る る ら っ た ら な 景 と も 来 て ､ 約 ん い も っ て い う い ん 、 い だ … … ( ド っ が よ ー っ ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.9409 \n",
"76 プ ロ デ ュ ー サ ー 、 今 度 は い ん い よ ん っ た ら エ ア シ ト ハ 一 ッ 目 か よ 気 に ね す い か か か も っ て 飲 レ な ん だ か じ 、 さ だ ♪ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.8958 \n",
"77 プ ロ デ ュ ー サ ー 、 一 っ て く わ で で き ろ い っ て ね ､ 年 配 が ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.8516 \n",
"78 プ ロ デ ュ ー サ ー 、 … 何 事 疲 、 楽 し で 二 よ っ た い ら 心 り ､ ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.8001 \n",
"79 プ デ ュ ー サ ー と お 仕 事 さ す う よ っ て っ た い ？ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.7911 \n",
"80 プ ロ デ ュ ー サ ー 、 一 日 の 近 う か の 観 車 ら 見 く よ う ？ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.7193 \n",
"81 プ ロ デ ュ ー サ … 次 く か く る ら 言 付 … … も 着 と … あ っ ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.6917 \n",
"82 プ ロ デ ュ ー サ ー 、 お 仕 事 お コ 性 ～ な ー 行 か ら 、 年 れ な 付 安 目 だ よ お す お い 熱 い イ イ ズ 夜 生 し だ た い う ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.6509 \n",
"83 プ ロ デ ュ ー サ ー 、 お っ て で ね か き ね ！ 今 日 も ア タ シ た ち イ イ 感 っ か た だ よ ! お い は 、 な っ て ー ! け ー ? し ー っ ! <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.6250 \n",
"84 プ ロ デ ュ ー サ ー 、 こ れ に モ 返 し て き が よ ー ♪ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.5963 \n",
"85 プ ロ デ ュ ー サ ー 、 ア タ シ の み る ん ち ゃ ？ う か ら 、 ま て ね う う ★ あ っ て … キ レ い っ か く く お し し く し し ★ お マ お へ ♪ ん ん っ だ ば ば ん か ら 、 ア 写 シ の 肩 ら か が な い よ ね ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.5725 \n",
"86 プ ロ デ ュ ー サ ー 、 一 ケ て ご 返 喜 言 る テ し か ね ご ら 束 っ た く ? <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.5496 \n",
"87 プ ロ デ ュ ー サ ー が 。 ん の ア タ シ ど う 観 イ ケ だ か ら み な ね ね っ た ら 、 d 来 か ら だ ん ん も い ん し ら さ ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.5233 \n",
"88 プ ロ デ ュ ー サ ー 。 ア タ シ の も 任 か な の し て く た の み て ? <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.5066 \n",
"89 プ ロ デ ュ ー サ ー 、 マ 事 的 の ガ ゼ さ と 食 ス 見 か な ？ ？ ロ レ ー ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.4915 \n",
"90 プ レ ゼ シ 、 … も ん な り ッ 地 げ し な ー ♪ 思 は ろ か ら 来 っ か き し い ! う い な ー ! <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.4715 \n",
"91 プ ロ デ ュ ー サ ー が 場 し て も ね か っ ♪ ア タ シ も ア タ シ の イ イ だ つ っ だ よ ！ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.4549 \n",
"92 プ ロ デ ュ ー サ ー 。 ア タ シ の こ と に ち ゃ ん と 見 て て な ね ね ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.4395 \n",
"93 プ ロ デ ュ ー サ ー 、 ア タ シ 、 仕 本 コ い だ ち ゃ う 、 見 ご 聞 た ? <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.4286 \n",
"94 プ ロ デ ュ ー サ ー 。 早 く 喋 れ は ん ら で れ っ く く つ ー ♪ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.4181 \n",
"95 プ ロ デ ュ ー サ ー 。 楽 真 サ 激 、 相 激 出 よ っ て け れ な ？ 期 し て て よ ? <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.4038 \n",
"96 プ ロ デ ュ ー サ ー 、 ア タ シ は こ の そ 性 車 好 だ ゃ ん た ら 気 せ て ! <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.3945 \n",
"97 プ ロ デ レ ー サ ー 、 プ レ ゼ ン ト 、 ず し れ ゃ ？ あ は あ と ★ タ シ も む ッ も ぉ し か ね ね <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.3866 \n",
"98 プ ロ デ ュ ー サ ー 。 ア タ シ の プ ロ デ ュ ー サ ー だ か ら も ガ マ ト し で サ い で も ん な ん な ん て コ ん て い ん ん よ ん だ ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.3791 \n",
"99 プ ロ デ ュ ー サ ー 、 ア タ シ っ ご 相 性 け し て よ ね ! 今 ガ ュ ッ ★ <eos>\n",
"Epoch 1/1\n",
"7049/7049 [==============================] - 46s - loss: 0.3707 \n",
"100 プ ロ デ ュ ー サ ー 、 ア タ シ は 近 そ 見 か 車 い て て ゃ ね ★ <eos>\n"
]
}
],
"source": [
"for i in range(101):\n",
" model.fit(X, Y, batch_size=256, nb_epoch=1)\n",
" in_words = \"プ\"\n",
" for _ in range(maxlen):\n",
" in_sequence = sequence.pad_sequences(tokenizer.texts_to_sequences([in_words]), maxlen=maxlen)\n",
" wordid = sample(model.predict(in_sequence)[0])\n",
" for k, v in tokenizer.word_index.items():\n",
" if v == wordid:\n",
" in_words += \" \" + k\n",
" break\n",
" if k == \"<eos>\":\n",
" break\n",
"\n",
" print(i, in_words)\n",
" if not (i % 10): \n",
" model.save_weights('mika_weights_' + str(i) + '.h5')"
]
},
{
"cell_type": "code",
"execution_count": 9,
"metadata": {
"collapsed": false
},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"プ ロ デ ュ ー サ ー 、 ア タ シ の 飲 み か け し か な い け ど … コ レ 飲 む ? <eos>\n"
]
}
],
"source": [
"in_words = \"プ\"\n",
"for _ in range(maxlen):\n",
" in_sequence = sequence.pad_sequences(tokenizer.texts_to_sequences([in_words]), maxlen=maxlen)\n",
" wordid = model.predict_classes(in_sequence, verbose=0)[0]\n",
" for k, v in tokenizer.word_index.items():\n",
" if v == wordid:\n",
" in_words += \" \" + k\n",
" break\n",
" if k == \"<eos>\":\n",
" break\n",
"\n",
"print(in_words)"
]
}
],
"metadata": {
"kernelspec": {
"display_name": "Python 3",
"language": "python",
"name": "python3"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.5.1"
},
"toc": {
"toc_cell": false,
"toc_number_sections": true,
"toc_threshold": 6,
"toc_window_display": false
}
},
"nbformat": 4,
"nbformat_minor": 0
}
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment