Created
December 19, 2021 06:24
-
-
Save sorami/f8517cca368c08be3e441c2da9527b27 to your computer and use it in GitHub Desktop.
日常に潜むGISを見つけたい
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
{ | |
"cells": [ | |
{ | |
"cell_type": "markdown", | |
"id": "21366bc0", | |
"metadata": {}, | |
"source": [ | |
"# 日常に潜むGISを見つけたい" | |
] | |
}, | |
{ | |
"cell_type": "markdown", | |
"id": "43875c4c", | |
"metadata": {}, | |
"source": [ | |
"## TL;DR\n", | |
"\n", | |
"- 「G, I, S」という読みとなる文節の系列を見つける\n", | |
" 1. Wikimedia REST API を使い日本語版Wikipediaのランダムなページから本文を取得\n", | |
" 2. spaCy(GiNZA)モデルにより文節区切りを行い該当系列を発見\n", | |
"- 原典\n", | |
" - [QGISオンラインセミナー 導入編-1 GISとは - YouTube](https://www.youtube.com/watch?v=rKK_KZnmazk&t=36s) (00:36 -)" | |
] | |
}, | |
{ | |
"cell_type": "markdown", | |
"id": "79e13566", | |
"metadata": {}, | |
"source": [ | |
"## 先行研究\n", | |
"\n", | |
"- **[日常に潜むBKBを見つけたい - 300億円欲しい](https://gg-hogehoge.hatenablog.com/entry/2014/11/01/124501) (gghatano, 2014)**\n", | |
" - [GitHub - gghatano/BKB](https://github.com/gghatano/BKB)\n", | |
"- [\"工場研修の生産性のなさに嫌気が差してきたので「ボ」「ン」「ジョ」「ヴィ」をランダムに表示して「ジョン・ボン・ジョヴィ」が揃ったら終了するプログラム作りました\" / Twitter](https://twitter.com/yagiyyyy/status/473405016540053504) (yagi, 2014)\n", | |
"- [形態素解析エンジンMeCabにて文章中から短歌を抽出 - inaniwa3's blog](http://localhost:8888/notebooks/everyday_GIS.ipynb) (いなにわ, 2015)\n", | |
" - [GitHub - inaniwa3/guuzen-tanka](https://github.com/inaniwa3/guuzen-tanka)\n", | |
" - [偶然短歌](http://inaniwa3.github.io/guuzen-tanka/) (いなにわ&せきしろ, 2016)\n", | |
"- [さだまさし川柳の自動生成 - Qiita](https://qiita.com/haminiku/items/c87c646758c6de3029b5) (hamaniku, 2015)\n", | |
"- [ズンドコキヨシまとめ - Qiita](https://qiita.com/shunsugai@github/items/971a15461de29563bf90) (shunsugai, 2016)\n", | |
"- [データから 鉄道川柳 探したよ - Qiita](https://qiita.com/deaikei/items/3bfd7583063b000736ca) (deaikei, 2017)\n", | |
"- [ゴー☆ジャス(宇宙海賊)をつくる - Qiita](https://qiita.com/atsukoba23/items/30defcdb69163612fc27) (atsukoba23, 2019)\n", | |
"- [BKB(バイク川崎バイク)をつくる - Qiita](https://qiita.com/yururoi/items/7be1107dcd12ed66e078#_reference-26b3366dbbd1856ea469) (yururoi, 2021)\n", | |
"- [ジョイマン生成器つくってみた - Qiita](https://qiita.com/shoku-pan/items/ca8040fb633426f9f6c2) (shoku-pan, 2021)\n", | |
"- [【コラボ】キュウの漫才「ゴリラ」をBKBでやってみた - YouTube](https://www.youtube.com/watch?v=koTb6eTho9s) (バイク川崎バイクのユーチューブンブン, 2021)" | |
] | |
}, | |
{ | |
"cell_type": "markdown", | |
"id": "4586aa68", | |
"metadata": {}, | |
"source": [ | |
"---" | |
] | |
}, | |
{ | |
"cell_type": "code", | |
"execution_count": 1, | |
"id": "1b8a8366", | |
"metadata": {}, | |
"outputs": [], | |
"source": [ | |
"from time import sleep\n", | |
"import re\n", | |
"\n", | |
"import requests\n", | |
"from tqdm.notebook import tqdm\n", | |
"import spacy\n", | |
"import ginza" | |
] | |
}, | |
{ | |
"cell_type": "markdown", | |
"id": "97565762", | |
"metadata": {}, | |
"source": [ | |
"## Wikipediaからのデータ取得\n", | |
"\n", | |
"[API:Random - MediaWiki](https://www.mediawiki.org/wiki/API:Random)" | |
] | |
}, | |
{ | |
"cell_type": "code", | |
"execution_count": 2, | |
"id": "35daeb8f", | |
"metadata": {}, | |
"outputs": [], | |
"source": [ | |
"WIKIPEDIA_API = \"https://ja.wikipedia.org/w/api.php\"" | |
] | |
}, | |
{ | |
"cell_type": "markdown", | |
"id": "415c3fce", | |
"metadata": {}, | |
"source": [ | |
"### ランダムな記事(IDとタイトル)の取得" | |
] | |
}, | |
{ | |
"cell_type": "code", | |
"execution_count": 3, | |
"id": "6f1898e7", | |
"metadata": { | |
"scrolled": false | |
}, | |
"outputs": [ | |
{ | |
"data": { | |
"text/plain": [ | |
"(100, ['吉住健一', 'スプレッドシート統制', 'シュナントゥニッチ', '腸捻転', '串原遠山氏'])" | |
] | |
}, | |
"execution_count": 3, | |
"metadata": {}, | |
"output_type": "execute_result" | |
} | |
], | |
"source": [ | |
"random_params = {\n", | |
" \"action\": \"query\",\n", | |
" \"format\": \"json\",\n", | |
" \"list\": \"random\",\n", | |
" \"rnlimit\": \"100\",\n", | |
" \"rnnamespace\": \"0\"\n", | |
"}\n", | |
"res_random = requests.get(url=WIKIPEDIA_API, params=random_params)\n", | |
"res_random.raise_for_status()\n", | |
"random_titles = [d[\"title\"] for d in res_random.json()[\"query\"][\"random\"]]\n", | |
"len(random_titles), random_titles[:5]" | |
] | |
}, | |
{ | |
"cell_type": "markdown", | |
"id": "750d9cb9", | |
"metadata": {}, | |
"source": [ | |
"### 各記事の本文を取得\n", | |
"\n", | |
"- [API:Parsing wikitext - MediaWiki](https://www.mediawiki.org/wiki/API:Parsing_wikitext) (今回利用: HTML形式で取得)\n", | |
"- [API:Revisions - MediaWiki](https://www.mediawiki.org/wiki/API:Revisions) (今回未利用)" | |
] | |
}, | |
{ | |
"cell_type": "code", | |
"execution_count": 4, | |
"id": "32f885e2", | |
"metadata": {}, | |
"outputs": [ | |
{ | |
"data": { | |
"application/vnd.jupyter.widget-view+json": { | |
"model_id": "408b675df41547a182cbcc0128c4854d", | |
"version_major": 2, | |
"version_minor": 0 | |
}, | |
"text/plain": [ | |
" 0%| | 0/100 [00:00<?, ?it/s]" | |
] | |
}, | |
"metadata": {}, | |
"output_type": "display_data" | |
} | |
], | |
"source": [ | |
"article_title_lines = {}\n", | |
"\n", | |
"for title in tqdm(random_titles):\n", | |
" params = {\n", | |
" \"action\": \"parse\",\n", | |
" \"page\": title,\n", | |
" \"format\": \"json\"\n", | |
" }\n", | |
" res = requests.get(url=WIKIPEDIA_API, params=params)\n", | |
" res.raise_for_status()\n", | |
" article = res.json()\n", | |
"\n", | |
" html_text = article[\"parse\"][\"text\"][\"*\"]\n", | |
" lines = re.sub('<[^<]+?>', '', html_text).splitlines()\n", | |
" lines = [\n", | |
" l.strip() for l in lines\n", | |
" if l.strip() and not l.startswith(\".mw-\")\n", | |
" ]\n", | |
" \n", | |
" article_title_lines[title] = lines\n", | |
" \n", | |
" sleep(1)" | |
] | |
}, | |
{ | |
"cell_type": "markdown", | |
"id": "87d6bd85", | |
"metadata": {}, | |
"source": [ | |
"## テキストからの該当系列の発見\n", | |
"\n", | |
"- spaCy(GiNZAモデル)により文節分割\n", | |
"- 文節冒頭の読みから該当の系列部分を探索" | |
] | |
}, | |
{ | |
"cell_type": "code", | |
"execution_count": 5, | |
"id": "0650dcda", | |
"metadata": {}, | |
"outputs": [], | |
"source": [ | |
"GIS_CHARS = (\n", | |
" \"ガギグゲゴ\",\n", | |
" \"イ\",\n", | |
" \"サシスセソ\"\n", | |
")\n", | |
"\n", | |
"nlp = spacy.load(\"ja_ginza\")\n", | |
"\n", | |
"def identify_gis(sent: spacy.tokens.span.Span):\n", | |
" bunsetu_indices = []\n", | |
" gis_counter = 0\n", | |
"\n", | |
" bunsetu_list = ginza.bunsetu_spans(sent)\n", | |
" for i, span in enumerate(bunsetu_list):\n", | |
" first_token = span[0]\n", | |
"\n", | |
" reading_list = first_token.morph.get(\"Reading\")\n", | |
" if len(reading_list) != 1:\n", | |
" # 空白文字\n", | |
" continue\n", | |
"\n", | |
" first_reading = first_token.morph.get(\"Reading\")[0]\n", | |
" if first_reading[0] in GIS_CHARS[gis_counter]:\n", | |
" gis_counter += 1\n", | |
" match gis_counter:\n", | |
" case 1:\n", | |
" first = i\n", | |
" case 2:\n", | |
" second = i\n", | |
" case 3:\n", | |
" third = i\n", | |
" return (\n", | |
" \"\".join([b.text for b in bunsetu_list[first:second]]),\n", | |
" \"\".join([b.text for b in bunsetu_list[second:third]]),\n", | |
" \"\".join([b.text for b in bunsetu_list[third:third+1]])\n", | |
" )\n", | |
" case _:\n", | |
" pass\n", | |
"\n", | |
" return None" | |
] | |
}, | |
{ | |
"cell_type": "markdown", | |
"id": "7824250e", | |
"metadata": {}, | |
"source": [ | |
"未検討点\n", | |
"\n", | |
"- 1文にひとつ以上の該当がある場合(現在は最初のものしか考慮しない)\n", | |
"- 間に句読点を含む複数文節の場合\n", | |
"- 文節数が多すぎる場合" | |
] | |
}, | |
{ | |
"cell_type": "code", | |
"execution_count": 6, | |
"id": "3e0c40c3", | |
"metadata": { | |
"scrolled": false | |
}, | |
"outputs": [ | |
{ | |
"name": "stdout", | |
"output_type": "stream", | |
"text": [ | |
"--------------------------------------------------------------------------------\n", | |
"マルティン・ヴィンターコルン\n", | |
"\"1993年、フォルクスワーゲンAGのグループ品質保証部門長に就任し、1994年3月、委任によってフォルクスワーゲンAGのゼネラルマネジャーに指名された。\"\n", | |
"\n", | |
"G\tグループ品質保証部門長に就任し、\n", | |
"I\t1994年3月、委任によってフォルクスワーゲンAGのゼネラルマネジャーに\n", | |
"S\t指名された。\n", | |
"--------------------------------------------------------------------------------\n", | |
"宣材写真\n", | |
"\"芸能事務所がクライアントより仕事の依頼を受ける際や、芸能事務所自身による芸能人を売り出すための営業活動に使われる。\"\n", | |
"\n", | |
"G\t芸能事務所がクライアントより仕事の\n", | |
"I\t依頼を受ける\n", | |
"S\t際や、\n", | |
"--------------------------------------------------------------------------------\n", | |
"DUALSHOCK\n", | |
"\"なお、PlayStation Cameraがない場合は、複数のプレイヤーとでプレイする際、ライトバーの色とゲーム内のキャラクターの色とをリンクさせ、識別を容易にできるようにしている。\"\n", | |
"\n", | |
"G\tゲーム内のキャラクターの\n", | |
"I\t色とをリンクさせ、\n", | |
"S\t識別を\n", | |
"--------------------------------------------------------------------------------\n", | |
"近畿大学青踏女子短期大学\n", | |
"\"近畿大学青踏女子短期大学は学校法人近畿大学により1972年に設置された日本の私立短期大学。\"\n", | |
"\n", | |
"G\t学校法人近畿大学により\n", | |
"I\t1972年に\n", | |
"S\t設置された\n", | |
"--------------------------------------------------------------------------------\n", | |
"ドリームクラブ\n", | |
"\"店内には多数のホストガールがおり、その中から厳選された10名のうち1人を指名できる。\"\n", | |
"\n", | |
"G\t厳選された\n", | |
"I\t10名のうち1人を\n", | |
"S\t指名できる。\n", | |
"--------------------------------------------------------------------------------\n", | |
"ドリームクラブ\n", | |
"\"ゲーム内で飲酒描写があるため、当然ながらホストガールは製造間もないアンドロイドのアイリを除き、全員20歳以上である。\"\n", | |
"\n", | |
"G\tゲーム内で\n", | |
"I\t飲酒描写があるため、当然ながらホストガールは\n", | |
"S\t製造間も\n", | |
"--------------------------------------------------------------------------------\n", | |
"ドリームクラブ\n", | |
"\"このゲームでは幾つかのドラマに出演しているブレイク寸前のアイドルという設定となっている。\"\n", | |
"\n", | |
"G\tゲームでは\n", | |
"I\t幾つかのドラマに\n", | |
"S\t出演している\n", | |
"--------------------------------------------------------------------------------\n", | |
"ギルアド・クレテル\n", | |
"\"その後、1998年でゲシェル演劇で所属している。\"\n", | |
"\n", | |
"G\t後、\n", | |
"I\t1998年でゲシェル演劇で\n", | |
"S\t所属している。\n", | |
"--------------------------------------------------------------------------------\n", | |
"塩化チタン(II)\n", | |
"\"さらにルイス酸としての配位性を持つことを利用して、合成反応における反応試剤としての用途がいくつか知られる。\"\n", | |
"\n", | |
"G\t合成反応における反応試剤としての用途が\n", | |
"I\tいくつか\n", | |
"S\t知られる。\n", | |
"--------------------------------------------------------------------------------\n", | |
"BBC Parliament\n", | |
"\"BBC Parliament(BBCパーラメント)は、英国放送協会 (BBC) 運営による、英国の議会中継を初めとするイギリスの政治専門チャンネルである。\"\n", | |
"\n", | |
"G\t議会中継を初めとする\n", | |
"I\tイギリスの\n", | |
"S\t政治専門チャンネルである。\n", | |
"--------------------------------------------------------------------------------\n", | |
"柏木雪乃\n", | |
"\"韓国や香港での海外研修を受けたり通訳センターに配属されるなどしており、語学力を活かし優秀な刑事に成長すると思われたが、『THE MOVIE』では猟奇殺人犯を炙り出すために囮(おとり)になったり、爆弾入りの縫いぐるみを持って海に飛び込んだり(設定だけ存在する『THE MOVIE』と『THE MOVIE 2』の間に発生した未映像化の事件で『THE MOVIE 2』のエンド\"\n", | |
"\n", | |
"G\t語学力を\n", | |
"I\t活かし優秀な刑事に\n", | |
"S\t成長すると\n", | |
"--------------------------------------------------------------------------------\n", | |
"シャテルペロン文化\n", | |
"\"シャテルペロン文化ではムスティエ文化と後期旧石器文化と共通する技術をもっており、シャテルペロン文化層で発見される遺物の半数が『石刃』を元に作成されている[1]。\"\n", | |
"\n", | |
"G\t技術をもっており、シャテルペロン文化層で発見される\n", | |
"I\t遺物の半数が『石刃』を元に\n", | |
"S\t作成されている[1]。\n", | |
"--------------------------------------------------------------------------------\n", | |
"シャテルペロン文化\n", | |
"\"このシャテルペロン文化はフランス西部とスペイン北部における石器文化であり、当初は人類初の石刃技法を扱った文化であることからホモ・サピエンスが営んだ地方文化で後期旧石器文化時代のもの[3]、もしくはムスティエ文化の後の中期旧石器文化の最終相であるかは議論がされており[4]、当初、ヨーロッパに移住した初期のクロマニョン人が伝えた文化と多くの学者らが考えていた[5]。\"\n", | |
"\n", | |
"G\t議論がされており[4]、当初、ヨーロッパに\n", | |
"I\t移住した\n", | |
"S\t初期の\n", | |
"--------------------------------------------------------------------------------\n", | |
"シャテルペロン文化\n", | |
"\"しかし、これには異論も存在しており、サン・セゼールで発見された石器はシャテルペロン文化のものだけであり、中東や南部アフリカにおいて同じように石刃を用いていた先上部旧石器文化(PUP)群がこれらの文化より古い時期に発生して消えていった例があることから、ネアンデルタール人らは独自に上部旧石器製作技術を手に入れたのではなく、新たな技術として他のものを模倣した結果であるとする説もあり、シャテルペロン文化は新人が営んだオーリニャック文化の出現時期と同じかそれより遅れた時期に出現したことからその理由が説明されている[# 1]。\"\n", | |
"\n", | |
"G\t技術として他のものを模倣した結果であるとする説もあり、シャテルペロン文化は新人が\n", | |
"I\t営んだオーリニャック文化の\n", | |
"S\t出現時期と\n", | |
"--------------------------------------------------------------------------------\n", | |
"シャテルペロン文化\n", | |
"\"現在では後者の説が支持されており、シャテルペロン文化はネアンデルタール人が営んだ文化で新人が営んだ文化を模倣したものとされている[8]。\"\n", | |
"\n", | |
"G\t現在では後者の説が支持されており、シャテルペロン文化はネアンデルタール人が\n", | |
"I\t営んだ文化で\n", | |
"S\t新人が\n", | |
"--------------------------------------------------------------------------------\n", | |
"シャテルペロン文化\n", | |
"\"イギリスの学者、ポール・メラーズ (en) はこれらを文化変容の一例としており、オーリニャック文化を営んだ新人らが東ヨーロッパから西ヨーロッパにいたるにつれてムスティエ文化を担っていた人々がその技術を習得して身近な目的に使用したが、文化の移植が起こることはなかったとしている[# 2][10]。\"\n", | |
"\n", | |
"G\t学者、ポール・メラーズ (en) はこれらを文化変容の\n", | |
"I\t一例と\n", | |
"S\tしており、\n", | |
"--------------------------------------------------------------------------------\n", | |
"シャテルペロン文化\n", | |
"\"『ネアンデルタール人の謎』ではこの例としてアメリカ大陸には元々、馬は生息していなかったが、これをヨーロッパ人が持ち込んだことで原住民であるインディアンらが使用するようになったことを上げている[10]。\"\n", | |
"\n", | |
"G\t原住民である\n", | |
"I\tインディアンらが\n", | |
"S\t使用するように\n", | |
"--------------------------------------------------------------------------------\n", | |
"ボブ・ゴーディオ\n", | |
"\"ゴーディオは、1972年にフォー・シーズンズを抜けた後も、グループの作曲家とプロデューサーを兼ねた。\"\n", | |
"\n", | |
"G\tゴーディオは、\n", | |
"I\t1972年にフォー・シーズンズを抜けた後も、グループの\n", | |
"S\t作曲家と\n", | |
"--------------------------------------------------------------------------------\n", | |
"サンシャインふじ\n", | |
"\"「客船としての余裕のある優れた性能を有し、近代的な優美な船体形状を持つ豪華客船」の基本方針の元設計建造され1983年10月に就航し日本近海でのクルーズや研修船に使用[2][3]。\"\n", | |
"\n", | |
"G\t豪華客船」の基本方針の元設計建造され\n", | |
"I\t1983年10月に\n", | |
"S\t就航し\n", | |
"--------------------------------------------------------------------------------\n", | |
"ヴィクトリア駅\n", | |
"\"一つの語句が複数の意味・職能を有する場合の水先案内のために、異なる用法を一覧にしてあります。\"\n", | |
"\n", | |
"G\t語句が複数の\n", | |
"I\t意味・職能を有する場合の水先案内のために、異なる用法を一覧に\n", | |
"S\tしてあります。\n", | |
"--------------------------------------------------------------------------------\n", | |
"茂菅\n", | |
"\"中山間地の集落であるが、善光寺の西方2kmほどのところに位置し、長野市の前身である旧長野町への合併も1889年(明治22年)の町村制施行時とかなり早期である。\"\n", | |
"\n", | |
"G\t合併も\n", | |
"I\t1889年(明治22年)の町村制施行時とかなり\n", | |
"S\t早期である。\n", | |
"--------------------------------------------------------------------------------\n", | |
"シャグラット\n", | |
"\"一つの語句が複数の意味・職能を有する場合の水先案内のために、異なる用法を一覧にしてあります。\"\n", | |
"\n", | |
"G\t語句が複数の\n", | |
"I\t意味・職能を有する場合の水先案内のために、異なる用法を一覧に\n", | |
"S\tしてあります。\n", | |
"--------------------------------------------------------------------------------\n", | |
"畑健二郎\n", | |
"\"その後、大学に行かずに半年間かけて漫画を仕上げる[5][6]。\"\n", | |
"\n", | |
"G\t後、大学に\n", | |
"I\t行かずに半年間かけて漫画を\n", | |
"S\t仕上げる[5][6]。\n", | |
"--------------------------------------------------------------------------------\n", | |
"インプロ\n", | |
"\"一つの語句が複数の意味・職能を有する場合の水先案内のために、異なる用法を一覧にしてあります。\"\n", | |
"\n", | |
"G\t語句が複数の\n", | |
"I\t意味・職能を有する場合の水先案内のために、異なる用法を一覧に\n", | |
"S\tしてあります。\n", | |
"--------------------------------------------------------------------------------\n", | |
"根本寺\n", | |
"\"一つの語句が複数の意味・職能を有する場合の水先案内のために、異なる用法を一覧にしてあります。\"\n", | |
"\n", | |
"G\t語句が複数の\n", | |
"I\t意味・職能を有する場合の水先案内のために、異なる用法を一覧に\n", | |
"S\tしてあります。\n", | |
"--------------------------------------------------------------------------------\n", | |
"大政翼賛会\n", | |
"\"この記事には参考文献や外部リンクの一覧が含まれていますが、脚注による参照が不十分であるため、情報源が依然不明確です。\"\n", | |
"\n", | |
"G\t外部リンクの\n", | |
"I\t一覧が含まれていますが、脚注による\n", | |
"S\t参照が\n", | |
"--------------------------------------------------------------------------------\n", | |
"大政翼賛会\n", | |
"\"その後、1944年(昭和19年)7月22日に東條内閣が総辞職、小磯内閣(小磯國昭総裁兼首相、陸軍大将)成立後、日本軍の敗北が目前と迫った戦争末期の1945年(昭和20年)3月30日に組織の一部が翼賛政治会を改組した「大日本政治会」と統合された。\"\n", | |
"\n", | |
"G\t後、\n", | |
"I\t1944年(昭和19年)7月22日に東條内閣が\n", | |
"S\t総辞職、\n", | |
"--------------------------------------------------------------------------------\n", | |
"大政翼賛会\n", | |
"\"戦後の日本国憲法制定後は、結社の自由が保障されたために、既成政党が自主解散して一国一党に合流したとしても新党の結成を規制できず大政翼賛会のような組織は存在しえなくなったものの、当時翼賛体制下で結成された隣組やその後継である町内会は依然として残り、立法府として帝国議会の役割を引き継いだ国会などにおいては野党などが与党の連立政権を揶揄・批判する言葉として使用することが時折見受けられる[注釈 1]。\"\n", | |
"\n", | |
"G\t合流したとしても新党の結成を規制できず大政翼賛会のような組織は存在しえなくなったものの、当時翼賛体制下で結成された隣組やその後継である町内会は\n", | |
"I\t依然と\n", | |
"S\tして\n", | |
"--------------------------------------------------------------------------------\n", | |
"新幹線E956形電車\n", | |
"\"その後、栗原市議会には、ALFA-Xの深夜走行の中止を求める意見書が提出され、2019年(令和元年)10月3日の本会議で採択が行われたが反対多数で否決されている[11]。\"\n", | |
"\n", | |
"G\t後、栗原市議会には、ALFA-Xの深夜走行の中止を求める\n", | |
"I\t意見書が提出され、2019年(令和元年)10月3日の本会議で\n", | |
"S\t採択が\n", | |
"--------------------------------------------------------------------------------\n", | |
"ミソフォニア\n", | |
"\"ミソフォニアを患っている人は最もよくある場合、唇鳴らし、ズルズルの音立て、咳払い、爪切り、そしゃく、飲用、歯磨き、呼吸、鼻のクンクン鳴らし、会話、くしゃみ、あくび、徒歩、ガムをかむことまたはバブルを破裂すること、笑い、いびき、飲み込み、ゴクゴク、げっぷ、義歯のかちっという音、タイピング、咳、鼻歌、口笛, 歌い、ある子音の音や、反復的な音により、怒りの感情が生じる[13][14]。\"\n", | |
"\n", | |
"G\tガムをかむことまたはバブルを破裂すること、笑い、\n", | |
"I\tいびき、飲み込み、ゴクゴク、げっぷ、義歯のかちっという音、タイピング、\n", | |
"S\t咳、\n", | |
"--------------------------------------------------------------------------------\n", | |
"DDP\n", | |
"\"一つの語句が複数の意味・職能を有する場合の水先案内のために、異なる用法を一覧にしてあります。\"\n", | |
"\n", | |
"G\t語句が複数の\n", | |
"I\t意味・職能を有する場合の水先案内のために、異なる用法を一覧に\n", | |
"S\tしてあります。\n", | |
"--------------------------------------------------------------------------------\n", | |
"BSゼルダの伝説\n", | |
"\"『BSゼルダ』ではラジオドラマの進行状況やキャラクターのセリフによって、ゲーム上のマップにアイテムが現れたり、主人公が一定時間無敵になるなど、限られた放送時間内に多くのイベントが組み込まれ、ゲームの進行を盛り上げた。\"\n", | |
"\n", | |
"G\tゲーム上のマップにアイテムが現れたり、主人公が\n", | |
"I\t一定時間無敵になるなど、限られた放送時間内に多くのイベントが組み込まれ、ゲームの\n", | |
"S\t進行を\n", | |
"--------------------------------------------------------------------------------\n", | |
"BSゼルダの伝説\n", | |
"\"ゲーム進行の捕捉やプレイヤーが見逃しがちなヒントや老人の手助けをより一般的な表現で説明してくれる。\"\n", | |
"\n", | |
"G\tゲーム進行の捕捉やプレイヤーが見逃しがちなヒントや老人の手助けをより\n", | |
"I\t一般的な表現で\n", | |
"S\t説明してくれる。\n", | |
"--------------------------------------------------------------------------------\n", | |
"BSゼルダの伝説\n", | |
"\"ゲーム進行の捕捉やプレイヤーが見逃しがちなヒントや老人や占い師の手助けをより一般的な表現で説明してくれる。\"\n", | |
"\n", | |
"G\tゲーム進行の捕捉やプレイヤーが見逃しがちなヒントや老人や占い師の手助けをより\n", | |
"I\t一般的な表現で\n", | |
"S\t説明してくれる。\n", | |
"--------------------------------------------------------------------------------\n", | |
"BSゼルダの伝説\n", | |
"\"^ 具体的にはディスクシステム版ではフィールドマップが16×8区画(128区画)だったものが放送内では最適化され8×8区画(64区画)になっている点など、また迷宮では一方通行のトラップなど時間を浪費させるだけの仕掛けも大幅に削除されている。\"\n", | |
"\n", | |
"G\t具体的にはディスクシステム版ではフィールドマップが\n", | |
"I\t16×8区画(128区画)だったものが放送内では\n", | |
"S\t最適化され\n", | |
"--------------------------------------------------------------------------------\n", | |
"一宮政吉\n", | |
"\"聖書学院の五教授(左から、米田豊、一宮政吉、菅野鋭、小原十三司、車田秋次)\"\n", | |
"\n", | |
"G\t五教授(左から、米田豊、\n", | |
"I\t一宮政吉、菅野鋭、小原十三司、車田\n", | |
"S\t秋次)\n" | |
] | |
}, | |
{ | |
"name": "stdout", | |
"output_type": "stream", | |
"text": [ | |
"--------------------------------------------------------------------------------\n", | |
"日本思想\n", | |
"\"その後、市川が女性参政権運動を続けるため新しく団体を設立した。\"\n", | |
"\n", | |
"G\t後、\n", | |
"I\t市川が女性参政権運動を続けるため新しく団体を\n", | |
"S\t設立した。\n", | |
"--------------------------------------------------------------------------------\n", | |
"日本思想\n", | |
"\"「今日の如く、東京を憧憬する人々、東京の文化を本当の文化と信ずる人々が無暗に殖えて行ったならば、今に日本人全体が東京人のようになってしまいはしまいか」として地方の人々による警鐘が必要ではないかとした。\"\n", | |
"\n", | |
"G\t如く、東京を憧憬する人々、東京の文化を本当の文化と信ずる人々が無暗に殖えて\n", | |
"I\t行ったならば、今に日本人全体が東京人のようになってしまいは\n", | |
"S\tしまいか」として\n", | |
"--------------------------------------------------------------------------------\n", | |
"日本思想\n", | |
"\"この流れは帝国主義と軍国主義/ファシズムを正当化するというイデオロギー的な側面を持っている[11]。\"\n", | |
"\n", | |
"G\t軍国主義/ファシズムを正当化するという\n", | |
"I\tイデオロギー的な\n", | |
"S\t側面を\n", | |
"--------------------------------------------------------------------------------\n", | |
"日本思想\n", | |
"\"その後、「常民」と呼ばれる一般人に論点を移し、最終的には「海の道」を通じ日本民族のルーツを「海の道」を通じて南方に求めるようになった。\"\n", | |
"\n", | |
"G\t後、「常民」と呼ばれる\n", | |
"I\t一般人に論点を移し、\n", | |
"S\t最終的には\n", | |
"--------------------------------------------------------------------------------\n", | |
"日本思想\n", | |
"\"学費高騰、商業主義とマスプロ教育による質の低下が問題化していた日本大学などでは「大学解体」の実践が一定の支持を集めた。\"\n", | |
"\n", | |
"G\t学費高騰、商業主義とマスプロ教育による質の低下が問題化していた日本大学などでは「大学解体」の実践が\n", | |
"I\t一定の\n", | |
"S\t支持を\n", | |
"--------------------------------------------------------------------------------\n", | |
"日本思想\n", | |
"\"それに対して、日蓮の題目はただひとつで、法華経に焦点を当てている言葉であり、(ちょうど密教の「マントラ」が繰り返し唱えることで行者に様々なことが起きることを意図しているように)題目を繰り返し唱えることで、結果として、それを唱える人の心や行動に様々なことが起きることを意図している。\"\n", | |
"\n", | |
"G\t行者に様々なことが起きることを\n", | |
"I\t意図しているように)題目を繰り返し唱えることで、結果として、\n", | |
"S\tそれを\n", | |
"--------------------------------------------------------------------------------\n", | |
"ABCフラッシュニュース\n", | |
"\"ただ、その後の18:55-19:00枠で放送された『お天気のお知らせ』(かねてつ蒲鉾提供[4])は時間枠を繰り上げて18:50-18:53の枠で放送、その後19:00まではネット受けを終了した『朝日フラッシュニュース』(朝日新聞社制作・実際には日本教育テレビへの委託制作)の後番組の位置付けとして、同新聞社提供\"\n", | |
"\n", | |
"G\t後\n", | |
"I\t19:00まではネット受けを\n", | |
"S\t終了した\n", | |
"--------------------------------------------------------------------------------\n", | |
"ABCフラッシュニュース\n", | |
"\"この模様が画面いっぱいにまで広がったところで、画面の垂直方向に一筋の光が流れるとともに、「ABCフラッシュニュース」と記された影文字風のロゴ(「ABC」は1973年まで使用されていた初代のロゴ)が画面の中心に現れるセル画のフィルムアニメーション映像となっていた(『ANN\"\n", | |
"\n", | |
"G\t画面いっぱいにまで広がったところで、画面の垂直方向に一筋の光が流れるとともに、「ABCフラッシュニュース」と記された影文字風のロゴ(「ABC」は\n", | |
"I\t1973年まで\n", | |
"S\t使用されていた\n" | |
] | |
} | |
], | |
"source": [ | |
"for title, lines in article_title_lines.items():\n", | |
" for line in lines:\n", | |
" doc = nlp(line)\n", | |
" for sent in doc.sents:\n", | |
" spans = identify_gis(sent)\n", | |
" if spans:\n", | |
" print(\"-\" * 80)\n", | |
" print(title)\n", | |
" print(f\"\\\"{sent}\\\"\")\n", | |
" print()\n", | |
" for c, s in zip(\"GIS\", spans):\n", | |
" print(f\"{c}\\t{s}\")" | |
] | |
}, | |
{ | |
"cell_type": "markdown", | |
"id": "b01207fd", | |
"metadata": {}, | |
"source": [ | |
"---" | |
] | |
}, | |
{ | |
"cell_type": "markdown", | |
"id": "1ef9d48e", | |
"metadata": {}, | |
"source": [ | |
"ラー油をかけたキャベツを食べていて思いつきました。" | |
] | |
} | |
], | |
"metadata": { | |
"kernelspec": { | |
"display_name": "Python 3 (ipykernel)", | |
"language": "python", | |
"name": "python3" | |
}, | |
"language_info": { | |
"codemirror_mode": { | |
"name": "ipython", | |
"version": 3 | |
}, | |
"file_extension": ".py", | |
"mimetype": "text/x-python", | |
"name": "python", | |
"nbconvert_exporter": "python", | |
"pygments_lexer": "ipython3", | |
"version": "3.10.0" | |
} | |
}, | |
"nbformat": 4, | |
"nbformat_minor": 5 | |
} |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment