kyu999/ナイーブな改行位置抽出結果

## ナイーブな改行位置抽出結果
    def get_break_points(self, sentence):

        if len(sentence) <= 0:
            return []

        else:

            #encoded_sentence = sentence.encode('utf-8')

            break_points = []

            formatted_sentence = []

            #tagger = MeCab.Tagger("-O wakati")

            #node = tagger.parseToNode(encoded_sentence)

            max_len = len(sentence) - 1

            pre = sentence[0]

            now = ""

            for i, char in enumerate(sentence):

                if i >= max_len:
                    break

                now = sentence[i]

                if self.is_hiragana(pre) and self.is_kanji(now):
                    break_points.append(i)
                    formatted_sentence.append(" | ")

                elif self.is_kigou(pre) and not self.is_kigou(now):
                    break_points.append(i)
                    formatted_sentence.append(" | ")

                elif self.is_hiragana(pre) and self.is_alphanumeric(now):
                    break_points.append(i)
                    formatted_sentence.append(" | ")

                formatted_sentence.append(now)

                #update cursor
                pre = now

            return break_points, "".join(formatted_sentence)


 for line in lines:
    line_info = splitter.get_break_points(unicode(line, "utf-8"))
   ....:     breaks = line_info[0]
   ....:     formatted_line = line_info[1]
   ....:     print("------------")
   ....:     print(formatted_line)
   ....:


------------
あなたはいくつ | 知ってる? | スタバの | 裏メニューまとめ
------------
雲南省地震 被災地の「泥水ラーメン」報道に、 | 「ウソだ、 | 信じるな」と | 報じた | 環球網 一転して | 事実を | 認め「謝罪」= | 中国メディア ( | 1/ | 2)
------------
【Twitter】焦げたホットケーキが | 余りに | 美しすぎると | 話題
------------
イオンに | 異変? | スーパー不振で | 赤字寸前 遅れる | 消費増税対策、 | 首都圏連合に | 暗雲か|ビジネスジャーナル/ | Business Journal スマホ
------------
水素で | 動く | 燃料電池車、 | 200万~300万円補助へ
------------
「日本一綺麗」15歳体操天才少女デビュー - |  スポーツニュース : |  nikkansports. | com
------------
トカゲなんて | 序の | 口! | 動物園のようなメニューが | 並ぶ「珍獣屋」
------------
ハーマイオニーより | 可愛い | 外国人を | 見たことがない
------------
阿部懲罰交代! | G投手陣の | 小林“支持率”じわじわ | 上昇中
------------
加護亜依、 | 細すぎ! | ビキニで | 太る | 宣言
------------
全米で | 話題沸騰の | 効果絶大ダイエット『ホール30ダイエット』とは?
------------
似顔絵や | 指輪の | 写真公開 段ボール女性遺体
------------
「合コンで “1杯目” に | 注文したら | 好印象な | 飲み | 物」ベスト3を | 発表しちゃうよぉ~! |  第1位は | 意外にも「とりあえずビール」だって!!!
------------
ご | 当地アンテナショップの | 有料試飲のコストパフォーマンスが | 異常!
------------
原幹恵のムチムチボディーwww
------------
ダイエット中は | 絶対避けて! | 食べると「お | 腹がどんどん | 太る」フルーツ5つ
------------
「マツコ& | 有吉」人気の | 裏に | 2層構造”? |  深夜にテレビを | 見ない | 層が『怒り | 新党』にハマる | 理由( | 東洋経済オンライン)
------------
< | 野球部員落雷死> | 現場の | 高校、 | 全部活を | 10日まで | 中止( | 毎日新聞)
------------
東京の | 芸人の | 多くは「アンチ島田紳助」 復帰できても | 関西ローカル番組のみ?
------------
『HERO』で | 光ったキャバ嬢役・丸高愛実、 | ハマリ役の | 背景にあった | 過去の | 役柄
------------
オリジナルカクテルも | 作れちゃう!? | 「ファミレス呑み」の | 進化が | 止まらない!
------------
ケイト・モスがジャスティン・ビーバーに | 説教! | 「礼儀をわきまえなさい」
------------
乗用車が | 歩道乗り | 上げ | 暴走= | 女性軽傷、 | 運転手行方追う―警視庁
------------
第1子出産の | 蛯原友里の | 双子妹・英里、 | 結婚10年目で | 出産を | 決意した | 理由
------------
学校や | 職場でチヤホヤされる | 女性に | 共通する | 6つのポイント
------------
水泳部男子、 | 強制わいせつ | 罪
------------
今年のコミケがヤバい・・・死人が | 出るぞ | wwwwwwwwwwwwwww
------------
先発の | 本田が | 先制アシスト含む | 2点に | 絡む... | ミランがチーバスに | 快勝
------------
哀川翔、 | 特異? | な | 教育方針 娘が | 明かす「家でもこのままです」
------------
におってたらやだな...... | 女子は | 汗のニオイをどう | 防いでる?
------------
男性に | 聞いた! |  「一緒に | 食事するとまずくなる...... | 二度と | 食事に | 誘いたくない | 女性」の | 特徴5選
------------
ユッキーナ、 | ママ友問題について | 語る
------------
川口春奈ミニスカで | 初体験始球式
------------
台風第11号 南大東島の | 東南東を | 北北西へ
------------
小学1年生の | 女の | 子の | 顔をペロペロした | 犯人がリアル亀仙人wwwwwwwwwwwwwwwww
------------
これだからやめられない! | 学校や | 職場恋人の | 特権・4つ
------------
大島優子が | 二輪免許取得 さっそくバイクに | 乗ってドライブ
------------
この | 画像がキモオタの | 心理を | 的確に | 表現してる
------------
ミタパン、 | 西武・金子侑と | 熱愛! | 一度は | 破局も | 先月復活
------------
マクドナルドと | 消費者が" | 共創ソース" | を | 開発! |  代表ソースに | 選ばれたのは!?
------------
結婚したい! |  美熟女TOP10
------------
ナポリに | 敗戦も | 手ごたえを | 感じるバルセロナのペドロとラキティッチ
------------
日本史上、 | 一番ひどい | 悪人だと | 思う | 1位「明智光秀」
------------
全日空787―9型機就航
------------
納豆のパキッとたれ | 考えたやつ | wwwww
------------
新生VAIO3モデルが | 1万1016円引きに 購入済みの | 人には | 差額ぶんを | 返金対応
------------
視聴率23% | 超 かよ | 役の | 黒木華が | 明かす「蓮子と | 伝助、 | おでこにチュはアドリブ」
------------
adidasから | 心拍ゾーンを | 視認できる“超本気”なウェアラブルが | 登場
------------
「これは | 奴隷契約」安室奈美恵 超強気な | 独立騒動の | 裏
------------
癒し | 系に | 見える、 | 休日リラックスモードの | 眉メイク
------------
激写! | 江頭2: | 50、 | 高視聴率男の | 意外な | 素顔 真面目で | 紳士、 | ストイックで | 日々鍛錬...
------------
東海大相模が“４本の | 矢”で | 松本に | 挑む - |  高校野球ニュース : |  nikkansports. | com
------------
8月からはやり | 方変えて！！ | 星座別・彼の | 落とし | 方のツボ
------------
ささいなことだけど、 | 自分の | 中ではめっちゃイラっとする | 許せないことは?
------------
「かたじけない」「ござる」だけじゃない! |  武士語4選
------------
俺がヤクザに | 気に | 入られてヤクザの | 女で | 童貞切った | 話
------------
劇場版『中二病でも | 恋がしたい! | 』がテレビ初放送!
------------
エボラ出血熱 リベリアで | 非常事態宣言
------------
O型彼氏と | O型彼女が | 上手に | 交際するコツ・４つ
------------
GACKT破局を | 後悔「ボクはまだまだガキんちょ。 | 本当にありがとう。 | 伝わればいいよな」
------------
ミタパン「めざまし」出演も | 熱愛触れず、 | 淡々とスポーツ情報紹介
------------
ドラマ「永遠の | 0」キャスト発表第5弾は | 工藤阿須加!!
------------
診察室で | 医師切られ | 重傷= | 男が | 車で | 逃走−札幌
------------
花束にもなります♪ リアルすぎる「フラワーカップケーキ」
------------
衝撃! | しょこたんがセミの | 抜け | 殻まみれに!
------------
お | 店のトイレにて「従業員も | 使用することがあります」 ←存分に | 使えや
------------
ハヤブサ「兄キ! | 」 ワシ「お | 前、 | うちの | 一族じゃないぞ」 タカ「お | 前は | 今日からインコ族だから」 ハヤブサ「 」
------------
未練タラタラは | 嫌！ | 後腐れのない | 上手な | 別れ | 方・4選
------------
タイガーが | 全米プロ出場へ! | 「痛みはない」
------------
佐村河内守が | 新垣隆の | 新曲「交響曲HARIKOMI」にダメ出し!
------------
バカ4人組が | 線路に | 進入wwwwwwww
------------
天皇杯　札幌５発！ | 前橋に | 圧勝 - |  天皇杯ニュース
------------
明徳義塾“馬淵節”早くもさく | 裂! | 智弁・岡本を「敬遠しないとは | 言わん」
------------
10代2人、 | 高波にさらわれ | 不明 牧之原市
------------
< | ふるさと | 納税> | 税金軽減上限2倍に 15年度から | 拡充検討
------------
エボラ欧州上陸。 | アフリカは | 道に | 遺体、 | アメリカは | 政府がエボラ特許
------------
出来高変化率ランキング( | 13時台) | ~ゼンショーHDが | 急落、 | 業績予想の | 下方修正をネガティブ視
------------
東京都墨田区の | 東京スカイツリーにパティシエ5人によるスイーツが | 登場
------------
救助ヘリ会社の | 容疑者自殺= | スイス
------------
女子バドミントン部を | 譲渡
------------
「安倍首相、 | 日韓関係改善に | 改めて | 意欲示す」
------------
8月に | 最も | 増える | 肌トラブル「ニキビ」を | 種類別にケアしよう!
------------
次々と | 生傷の | 増える | 女性の | 顔...... | なぜこんなことに?
------------
自信満々、 | 安倍総理が | 決断! |  9月解散・総選挙へ どこよりも | 早い「全300小選挙区」当落完全調査 電撃訪朝で | 絶対に | 勝つ「あと | 4年、 | オレがやるんだ」 | 経済の | 死角
------------
夏の | 必須アイテムだけど......。 | 会社に「サンダル」で | 出社するのはアリ? |  ナシ?
------------
なぜ | 私は、 | 不満ながらも | 彼氏の | 世話を | 焼いてしまうのか?
------------
EXILE TRIBE、 | 新曲PVで | 歌舞伎町を | 闊歩
------------
世界初3Dプリントで | 作られたサックス、 | さてその | 音色は?
------------
原爆の | 日 黙祷ツイートに | 賛否両論
------------
CLプレーオフ出場チームが | 決定、 | スタンダールやゼニト進出... | セルティック敗退
------------
横浜の | 隠れ | 家BAR『国産クラフトビール』の | 飲み | 比べイベント開催
------------
MS、 | IEに | 古い | ActiveXコントロールの | 起動をブロックする | 仕組みを | 導入
------------
全国のクラフトビール各種1000円 横浜の「隠れ | 家」バーで | 飲み | 比べイベント
------------
オービス通知機能を | 追加-- | iOS向け | 地図ナビアプリ「MapFan+ | 」がバージョンアップ
------------
レアル、 | 仏代表FWベンゼマと | 2019年までの | 契約延長を | 発表
------------
兵庫県議会、 | 政活費支出穴だらけ 野々村氏以外も
------------
落雷の | 生徒死亡で | 部活動休止 落雷対策を | 優先 愛知
------------
アフリカのカカオ農家が | 初めてチョコレートを | 食べた | 反応。
------------
新生Foursqureアプリが | 登場 まず | 大量の“好み”登録でカスタマイズ
------------
VAIO社製PC、 | 1万円値下げ
------------
かき | 氷の | 上からプレミア焼酎「森伊蔵」をぶっかける | 天文館むじゃきの | 白熊を | 食べてみた / |  正直焼酎はなくていい
------------
シリコンバレー101 ( | 577) |  オンラインショッピングの | 大海に | Amazonクジラを | 放つ「Fire Phone」
------------
1945年8月7日、 | 広島への | 原爆投下を | 世界はどう | 報じたか
------------
9月の | 内閣改造 最大のサプライズは | 小泉進次郎氏の | 入閣か
------------
この「生パスタ」は | 一度味わっておきたい! | 吉祥寺にある | 名店「スパ吉」
------------
センチュリー、 | お | 風呂に | 浮かぶスピーカー - |  7色LEDで | 癒しのバスタイムを
------------
黙っていればカワイイ!? |  ブスな | 話し | 方を | 劇的に | 変える“マジックワード”とは
------------
実感! | 中国不動産バブルはすさまじい
------------
電車とホームに | 挟まれた | 男性、 | 乗客総出で | 救出
------------
山本美月、 | 瞳キラキラ「輝き | 大使」に
------------
TV未放送『キルラキル』第25話先行上映が | 決定!
------------
キリンチューハイ ビターズ、 | 想定の | 2倍以上の | 売上を | 記録
------------
ハワイで | 口コミNo. | 1を | 獲得したパンケーキは、 | “ぐるぐる”が | 目印|エル・オンライン
------------
ソニーモバイル純正aptX対応首掛け | Bluetoothヘッドセットが | 国内発売開始
------------
土日限定! | マグノリアベーカリーでニューヨーカーな | 朝食が | 食べられるようになる!?
------------
レスリング、 | 吉田と | 伊調が | 1位
------------
今日のエンジンのご | 機嫌はいかが? | ―ヤマハ発動機が「バウリンガル」エンジン版アプリ
------------
東電が | 見せた′′再値上げ | 回避′′への | 覚悟 原発なし、 | 給与引き | 上げでも | 第1四半期は | 経常黒字に
------------
IIJの | 音声通話機能付き | SIM、 | 当日引き | 渡し | 店舗が | 拡大
------------
カルビーまさかの | 味覇味ポテチ、 | 人気中華調味料と | 初のコラボ商品。 |  | Narinari. | com
------------
議事録――会議後のアクションが | 読める「章立て | 力」
------------
( | インタビュー) | 中国外交は | 変わったのか ベイツ・ギルさん
------------
PSMのブレーメン戦で | 清武がゴール、 | 酒井宏はフル出場
------------
考古学博物館の | 倉庫に | 6500年前の | 骸骨を | 発見。( | ペンシルベニア州)
------------
クリスピー・クリームから、 | ハロウィンモチーフのドーナツが | 4種類登場
------------
ベーコンで | 出来たベッド登場? | 美味しくて | 香ばしい | 眠りをあなたに♡
------------
“冷やして | 食べる”季節限定ジュレでパンをもっと | 美味しく! | アンデルセン「ヒュッゲ」
------------
トヨタ、 | 足元は | 過去最高益でも | 浮かれず
------------
ピクセラ、 | 車内の | iPhone/ | iPadがテレビになるワイヤレスチューナーを | 発売
------------
米Google、 | Siriよりも | 奥ゆかしい | IMアプリ「Emu」を | 買収
------------
カトパン差し | 置き、 | 枡田アナがセンター奪取に | 興奮!?
------------
原爆の | 日 黙祷ツイートに | 賛否両論
------------
ヤフー検索の | 表示差し | 止め | 認めず 男性の | 逮捕歴、 | 京都地裁
------------
東京& | 神奈川のカフェで「トマトフェア」が | 開催されるよぉ~♪ テラス席でトマトカクテル& | フードを | 楽しめるんだって!!
------------
< | 東京マラソン> | ネットに | 爆弾テロ予告 容疑の | 男を | 書類送検
------------
体調が | 悪いときにオススメしたい「生姜だし | 明太子茶漬け」
------------
TOKIO城島茂& | 国分太一、 | 関ジャニ∞丸山隆平が | 石垣島マグロ釣り | 対決に | 参戦『ぐるナイ』
------------
超絶アクションてんこ | 盛りの「エクスペンダブルズ3」最新予告編が | 完成
------------
エボラ拡大「非常事態」 アフリカ西部、 | 未承認薬使用も
------------
田中将大投手、 | 意外な | 場所でファンサービス
------------
孫社長、 | Tモバイル買収を“諦めない”と | 海外報道 米1, | 2位打倒に | 向けた | 今後の | 課題とは
------------
2020年のお | 土産に? | Twitterで | 話題の「寿司シューズ」が | 気になる
------------
これだけは | 改めて! | つい | 食べ | 過ぎてしまう | 人に | 共通する「ある | 習慣」とは
------------
ホラー映画で | 最初の | 犠牲者になりそうな | 人1位「いちゃいちゃしているカップル」
------------
コートジボワールのカカオ農園で | 働く | 人たちが “生まれて | 初めて” チョコレートを | 口にした | 瞬間の | 動画
------------
「ほぇええええ... | 」気持ちよさそうにシャワーを | 浴びるワンコのうっとり | 顔がかわいすぎて | 暑さが | 吹き | 飛びそう♪
------------
バイトの | 履歴書に | 職歴「ニコニコ動画の | 歌い | 手」と | 記載する | 猛者が | 現れる | wwwww
------------
○○上手が | 恋を | 制す!? |  女子に | 聞いた「狙った | 男性を | 必ず | 落とす『銛ガール』の | 特徴10」
------------
能年玲奈、 | 将来に | 悩む | 中高生に「頭で | 考えるよりも | 飛び | 込んで」とアドバイス
------------
婚約してた | 彼氏と | 別れさせられた
------------
世界政府から | 案内状来た | wwwwwww
------------
「流れ | 星」ちゅうえい 売れてから | 老化始まる
------------
学生も | 社会人も！ |  朝活から | 出会いを | 作る | 方法・４つ
------------
全高約2メートル、 | エヴァンゲリオン初号機の | 人間大フィギュアが | 183万円で | 販売
------------
トルコライスとかいう | 謎の | 食い | 物wwwwwwwww
------------
新年会にも | 使ってます?! | 都議会議員の「政務活動費」が | 公開されました
------------
モーニングスターで | 武装した | 少年グループ、 | 男性を | 襲撃
------------
北海道の | 純白美少女アイドルグループ「メルシーココ」が | 東京へ | 進出! | メルシーココを | 見た | 記者「その | 可愛さは | 悪魔をも | 飲み | 込むモンスター級の | 天使」
------------
探査機「ロゼッタ」が | 10年かけて | 彗星に | 到着、 | 初の | 着陸探査へ
------------
佐藤健: | 「るろ | 剣」比プレミア登場に | 5000人絶叫 53カ国・地域で | 配給へ
------------
セカオワが | 老け | 顔メイクでライブ! | 銀幕デビュー作の | 貴重映像公開!
------------
緊張していませんか? | 「男性への | 恐れ」をなくす | 単純な | 3ステップ
------------
バイトで | 家族風呂清掃してた | 時に | 出会った | 変な | 客の | 事を | 聞いてくれ - |  VIPPER速報 | 2ちゃんねるまとめブログ
------------
マガジンの | 将棋マンガがルールを | 知らない
------------
菅官房長官 「ロシアの | 対抗措置は | 遺憾」
------------
8月11日( | 月) | 午前3時9分に | 今年最大のスーパームーンがクル━━━━( | ゚∀゚) | ━━━━!!
------------
お | 前ら、 | これが | 公務員浪人失敗三十路の | 末路だ。
------------
公務員給与7年ぶりアップ 人事院勧告、 | 年収で | 8万円
------------
最後の「あの | 花夏祭」が“聖地”秩父で | 開催! | 茅野愛衣ら | 声優陣も!
------------
ちょっと | 変なトコでお | 座りしちゃってる | 犬画像
------------
Facebookで | 最多得票! | ピザハット「もちポテ明太ピザ」が | 発売
------------
彡( | ^)( | ^) | 「掃除の | 時間や! |  机を | 運ぶで! | 」
------------
各局女子アナ6人が | 浴衣で | 共演“ハミ出し”フォト披露
------------
仲井真氏が | 正式出馬表明= | 普天間争点、 | 保守分裂選挙へ―沖縄知事選
------------
舛添都知事「じゃあ | 中国や | 韓国が | 東京オリンピックをボイコットしたらどうしてくれるんだよ」
------------
すき | 家「今後は | 外国人を | 積極的に | 採用します」・・9月末までにワンオペ終了を | 決定、 | 牛丼は | 値上げ
------------
ノンスタ井上“お | 持ち | 帰り | 報道”を | 否定「友達ばっかり」
------------
宮崎駿監督が「新作に | 意欲」 鈴木敏夫氏が | 明かす スタジオジブリ解体報道は | 否定
------------
CHARAが | 18才年下のドラマーと | 手つなぎデート その | 出会いは
------------
みんなのつぶやき | < | 職場の | 妊婦> | 初期の | 無理厳禁 必要な | 上司の | 配慮は
------------
人間のちっぽけさを | 実感させられる | 雄大な | 自然の | 写真28選
------------
バカしか | 読まない | 捏造の | 朝日新聞「助けて! | 慰安婦問題を | 捏造して | 世界中に | 宣伝して | 日本の | 評価を | 落としたら | 部数が | 大幅に | 落ちちゃったの! | 」
------------
球児無失点復帰「( | 感慨は) | まったくない」
------------
相づちがうるさい、 | 横文字がウザイ、 | 友達の | 気になる | 癖教えて
------------
アクアリウム初心者の | 水槽大公開【日記風】
------------
従軍慰安婦問題を | 捏造した | 朝日新聞の | 植村隆が | 早期退職し | 大学教授に | 就任予定になるも | 批判殺到しクビに・・・今は | 北星学園大学の | 非常勤講師、 | お | 前ら | 絶対に | 大学へ | 電凸しちゃ | 駄目だぞ!
------------
電車とホームに | 挟まれた | 男性 乗客が | 電車を | 押して | 無事救助/ | オーストラリア
------------
『コンボイの | 謎』まさかのゲームアプリ化! |  理不尽さそのままに、 | 伝説の | 無理ゲー復活
------------
睡眠中の | 肌やのどを | 乾燥から | 守る「猫かぶりマスク」を | 発売 - |  フェリシモ