2chのスレッドの各レスを解析 2016_06_16v

mod_th_kaiseki.rb

#coding : utf-8
#Dir.chdir File.dirname($0)

require "mechanize"
require "kconv"

class Resu
  attr_accessor :num,:name,:mail,:message,:time,:id,
                :anka,:link,:img,
                :wacchoi,:name_body  # no using
  def initialize; end
end

def th_kaiseki url
  agent = Mechanize.new
  agent.get url
  a = agent.page.body.toutf8.split(/<dt>/)[1..-1]
  a[-1].sub!(/<\/dl>/,"")
  a.map do | m |
    resu = Resu.new
     m[/(\d{1,4})/m]  ; resu.num = $1
     m[/<b>(.*?)<\/b>/m]
     s = $1 ; s.gsub!(/<small>.*?<\/small>.*/ , "")
     resu.name = s
     m[/"mailto:(.*?)"/m]  ; resu.mail = $1
     m[/<dd>(.*?)<br><br>/m]  ; resu.message = $1
     #   m[/<\/b>(.*?)<b>/m] #  puts $1 ; resu.wacchoi = $1
     mm = m.clone
     mm.gsub!(/<\/font>/,"")
     mm.gsub!(/<\/a>/,"")
     if mm[/<\/b>(.*?)ID/m]
       resu.time = $1
     elsif mm[/<\/b>(.*?)<dd>/m]
       resu.time = $1
     end
     resu.time = $1 if resu.time[%r"(\d{4}/\d{1,2}/\d{1,2}.*?\d{1,2}:\d{1,2}:\d{1,2})"]
     if m[/ID(.*?)<dd>/m]
       resu.id = $1[1..-1]
     else ;"ID nasi" end
#
    mm = m.clone
    mm.gsub!(/<\/a>/,"")
    s =[]
    s << mm.scan(/&gt;&gt;(\d{1,4})/)
    s << mm.scan(/&gt;&gt;(\d{1,4}),(\d{1,4})/)
    mm.scan(/&gt;&gt;(\d{1,4}-\d{1,4})/) do |r,*|
      v = r.split("-")
      s << (v[0]..v[1]).to_a
    end
    s.flatten!.sort!.uniq!
    resu.anka = s
  #
    resu.link = resu.message.scan(/>(http.*?)<\/a>/).flatten
    m[ r = /<img src="(.*?)">/ ] ; resu.img = $1
    resu.message.gsub!( r ,"")    ####### resu.message replace ####

    next resu
  end # return
end


if $0 == __FILE__

  url ="http://vipper.2ch.net/test/read.cgi/news4vip/1466038451/1-30"
  resu_list = th_kaiseki url
  resu_list.each do |m| puts "num:#{m.num}","name:#{m.name}","mail:#{m.mail}","message:#{m.message}","time:#{m.time}","id:#{m.id}","anka:#{m.anka}","link:#{m.link}","img:#{m.img}" end


end

out

num:1
name:以下、無断転載禁止でVIPがお送りします
mail:
message: 梅雨だけどお前らどうせ暇だろｗｗｗｗｗｗこいし <br> 鯖は「Zinnia(ジニア)」　多い時には40人近くのVIPPERが集まるよ！ <br> <br> <br> 【ECOVIPWIKI】<a href="http://jump.2ch.net/?www56.atwiki.jp/ecovipwiki/" target="_blank">http://www56.atwiki.jp/ecovipwiki/</a> <br> 【ECO公式】<a href="http://jump.2ch.net/?www.econline.jp/" target="_blank">http://www.econline.jp/</a>　重い氏ね <br> 【ECOWiki】<a href="http://jump.2ch.net/?eco.acronia.net/wiki/" target="_blank">http://eco.acronia.net/wiki/</a>　なぜかECOのWikiは無駄に充実している <br> <br> <br> 【えころてん】<a href="http://jump.2ch.net/?ecocc.sak" target="_blank">http://ecocc.sak</a>　ura.ne.jp/shop/ <br> 露店情報やアイテムの相場が調べられる。一部正確じゃないから注意な！ <br> 【Ecologie】<a href="http://jump.2ch.net/?ecologie.sak" target="_blank">http://ecologie.sak</a>　ura.ne.jp/index.htm　マップ情報、敵配置などの情報 <br> <br> <br> 新規ちゃんはまずここ読め。それでもわかんなかったら茶室で聞け <br> はじめてのえこびっぷ：<a href="http://jump.2ch.net/?www56.atwiki.jp/ecovipwiki/pages/25.html" target="_blank">http://www56.atwiki.jp/ecovipwiki/pages/25.html</a> <br> チュートの流れ（工事中）：<a href="http://jump.2ch.net/?www56.atwiki.jp/ecovipwiki/pages/57.html" target="_blank">http://www56.atwiki.jp/ecovipwiki/pages/57.html</a> <br> 初心者の館：<a href="http://jump.2ch.net/?ec.gamedb.info/wiki/Tutorial.html" target="_blank">http://ec.gamedb.info/wiki/Tutorial.html</a> <br> <br> <br> 種族はエミル(人間)、タイタニア(天使)、ドミニオン(悪魔)、DEM(機械)の4種。 <br> 職業は基本的に12職で、二次職になると2つになったりするがあまり気にしなくていい。 <br> 種族によって向き不向きが出る職業はないが、バックパッカーはリュックが装備できるのでエミルが多少有利。 <br> DEMは上記3種族とは全く異なる。ほぼ課金前提種族なので素人にはお勧めできない。 <br> <br> <br> ※アカウントハックについて <br> 現在流行はしないまでもアカウントハックが発生してます <br> 慣れてきたらIDロックやOTPを導入するといいでしょう（入れとかないと補償しないと明言されてる） 
time:2016/06/16(木) 09:54:11
id:HYoLXfjV0
anka:[]
link:["http://www56.atwiki.jp/ecovipwiki/", "http://www.econline.jp/", "http://eco.acronia.net/wiki/", "http://ecocc.sak", "http://ecologie.sak", "http://www56.atwiki.jp/ecovipwiki/pages/25.html", "http://www56.atwiki.jp/ecovipwiki/pages/57.html", "http://ec.gamedb.info/wiki/Tutorial.html"]
img:
num:2
name:以下、無断転載禁止でVIPがお送りします
mail:
message: Q：どんなゲーム？ <br> 　A：1．まず靴下を履きます　2．視点を低くします　3．ニヤニヤしましょう <br> 　いわゆるアバターゲー、豊富な服装、豊富な髪型、そして豊富なおひゃんつ（ここ重要） <br> 　その服装の大半が課金ではあるが、ゲーム内で大体が出回るのでゲーム内通貨でどうにかなる <br> Q：過疎鯖かよーｗｗｗｗｗないわーｗｗｗｗ <br> 　A：氏ね <br> Q：楽しそうですね＾＾　混ぜてくださいｗ <br> 　A：くせえ　氏ね <br> Q：茶室のパス <br> 　A：スレタイ <br> Q：最近はじめた新規とかいるの <br> 　A：新規エントリー見ればわかる、始めるならエントリーに書いたほうがいい <br> 　ttp://www56.atwiki.jp/ecovipwiki/pages/21.html <br> Q：古参には追いつけるの？ <br> 　A：ECOのレベリングはぬるいほうなので時間さえあればすぐ追いつく <br> 　あとはお前次第（異常に早い奴は1週間、年単位の奴もいる） <br> Q：経験者ってか今いるキャラで参加したいんだけど？ <br> 　A：入ってもかまわないが煙たがられても自己責任 
time:2016/06/16(木) 09:56:11
id:HYoLXfjV0
anka:[]
link:[]
img:
num:3
name:以下、無断転載禁止でVIPがお送りします
mail:
message: <a href="http://jump.2ch.net/?i.imgur.com/80YkRF8.jpg" target="_blank">http://i.imgur.com/80YkRF8.jpg</a> <br> <a href="http://jump.2ch.net/?i.imgur.com/GdD9Puw.jpg" target="_blank">http://i.imgur.com/GdD9Puw.jpg</a> <br> <a href="http://jump.2ch.net/?i.imgur.com/U1SabUI.jpg" target="_blank">http://i.imgur.com/U1SabUI.jpg</a> <br> <a href="http://jump.2ch.net/?i.imgur.com/n962qC3.jpg" target="_blank">http://i.imgur.com/n962qC3.jpg</a> <br> <a href="http://jump.2ch.net/?i.imgur.com/2HOjHIl.jpg" target="_blank">http://i.imgur.com/2HOjHIl.jpg</a> <br> <a href="http://jump.2ch.net/?i.imgur.com/3JKD8zz.jpg" target="_blank">http://i.imgur.com/3JKD8zz.jpg</a> <br> <a href="http://jump.2ch.net/?i.imgur.com/mzlILMb.jpg" target="_blank">http://i.imgur.com/mzlILMb.jpg</a> <br> <a href="http://jump.2ch.net/?i.imgur.com/dffnqIC.jpg" target="_blank">http://i.imgur.com/dffnqIC.jpg</a> <br> <a href="http://jump.2ch.net/?i.imgur.com/puT0dLw.jpg" target="_blank">http://i.imgur.com/puT0dLw.jpg</a> <br> <a href="http://jump.2ch.net/?i.imgur.com/i0s3pfh.jpg" target="_blank">http://i.imgur.com/i0s3pfh.jpg</a> <br> <a href="http://jump.2ch.net/?i.imgur.com/e6lmDjC.jpg" target="_blank">http://i.imgur.com/e6lmDjC.jpg</a> <br> <a href="http://jump.2ch.net/?i.imgur.com/lAl8AgR.jpg" target="_blank">http://i.imgur.com/lAl8AgR.jpg</a> <br> ぱんつこれくしょん 
time:2016/06/16(木) 09:58:15
id:HYoLXfjV0
anka:[]
link:["http://i.imgur.com/80YkRF8.jpg", "http://i.imgur.com/GdD9Puw.jpg", "http://i.imgur.com/U1SabUI.jpg", "http://i.imgur.com/n962qC3.jpg", "http://i.imgur.com/2HOjHIl.jpg", "http://i.imgur.com/3JKD8zz.jpg", "http://i.imgur.com/mzlILMb.jpg", "http://i.imgur.com/dffnqIC.jpg", "http://i.imgur.com/puT0dLw.jpg", "http://i.imgur.com/i0s3pfh.jpg", "http://i.imgur.com/e6lmDjC.jpg", "http://i.imgur.com/lAl8AgR.jpg"]
img:
num:4
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: メンテだけどしんきはよ <br> メンテ中に蔵DLとうｐデートしとけば捗るぞ！ 
time:2016/06/16(木) 09:58:56
id:JPrwsBwY0
anka:[]
link:[]
img:
num:5
name:以下、無断転載禁止でVIPがお送りします
mail:
message: 公式動画集 <br> <a href="http://jump.2ch.net/?www.facebook.com/media/set/?set=vb.166490443461634&amp;type=2" target="_blank">http://www.facebook.com/media/set/?set=vb.166490443461634&amp;type=2</a> 
time:2016/06/16(木) 10:00:18
id:HYoLXfjV0
anka:[]
link:["http://www.facebook.com/media/set/?set=vb.166490443461634&amp;type=2"]
img:
num:6
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ほっしゅ 
time:2016/06/16(木) 10:03:08
id:HYoLXfjV0
anka:[]
link:[]
img:
num:7
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: メンテ中にronin買ってこなくちゃ 
time:2016/06/16(木) 10:09:04
id:mjHF4QPJa
anka:[]
link:[]
img:
num:8
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ho 
time:2016/06/16(木) 10:11:29
id:HYoLXfjV0
anka:[]
link:[]
img:
num:9
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ほっしゅ 
time:2016/06/16(木) 10:19:50
id:HYoLXfjV0
anka:[]
link:[]
img:
num:10
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ho 
time:2016/06/16(木) 10:28:12
id:HYoLXfjV0
anka:[]
link:[]
img:
num:11
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ほしゅ 
time:2016/06/16(木) 10:36:33
id:HYoLXfjV0
anka:[]
link:[]
img:
num:12
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ho 
time:2016/06/16(木) 10:44:54
id:HYoLXfjV0
anka:[]
link:[]
img:
num:13
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ほっしゅ 
time:2016/06/16(木) 10:53:15
id:HYoLXfjV0
anka:[]
link:[]
img:
num:14
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ほしゅ 
time:2016/06/16(木) 11:01:37
id:HYoLXfjV0
anka:[]
link:[]
img:
num:15
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ho 
time:2016/06/16(木) 11:09:58
id:HYoLXfjV0
anka:[]
link:[]
img:
num:16
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ほっしゅ 
time:2016/06/16(木) 11:18:19
id:HYoLXfjV0
anka:[]
link:[]
img:
num:17
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ho 
time:2016/06/16(木) 11:26:41
id:HYoLXfjV0
anka:[]
link:[]
img:
num:18
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ほっしゅ 
time:2016/06/16(木) 11:35:02
id:HYoLXfjV0
anka:[]
link:[]
img:
num:19
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ho 
time:2016/06/16(木) 11:43:23
id:HYoLXfjV0
anka:[]
link:[]
img:
num:20
name:以下、無断転載禁止でVIPがお送りします
mail:
message: 最近遊べてないけど集まりどうなんですか 
time:2016/06/16(木) 11:47:04
id:zI7YyDINa
anka:[]
link:[]
img:
num:21
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ほしゅ 
time:2016/06/16(木) 11:51:44
id:HYoLXfjV0
anka:[]
link:[]
img:
num:22
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ほっしゅ 
time:2016/06/16(木) 12:00:06
id:HYoLXfjV0
anka:[]
link:[]
img:
num:23
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ho 
time:2016/06/16(木) 12:08:27
id:HYoLXfjV0
anka:[]
link:[]
img:
num:24
name:以下、無断転載禁止でVIPがお送りします
mail:
message: ひとすくないからふっきはよ 
time:2016/06/16(木) 12:14:29
id:HYoLXfjV0
anka:[]
link:[]
img:
num:25
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ほしゅ 
time:2016/06/16(木) 12:16:48
id:HYoLXfjV0
anka:[]
link:[]
img:
num:26
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ほっしゅ 
time:2016/06/16(木) 12:25:09
id:HYoLXfjV0
anka:[]
link:[]
img:
num:27
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: 深夜は居る連中でよろしくやってるし昼間はこの時間帯は人が居るんじゃないかな？今日メンテだけど <br> 夜はアクティブ多いし新規で手厚い支援が欲しかったら夜遊ぶのがおすすめ <br> ふるさんや復帰なら自分のペースでどうぞ 
time:2016/06/16(木) 12:28:40
id:JPrwsBwY0
anka:[]
link:[]
img:
num:28
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ほしゅ 
time:2016/06/16(木) 12:33:31
id:HYoLXfjV0
anka:[]
link:[]
img:
num:29
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ho 
time:2016/06/16(木) 12:41:52
id:HYoLXfjV0
anka:[]
link:[]
img:
num:30
name:以下、無断転載禁止でVIPがお送りします
mail:age
message: ほしゅ 
time:2016/06/16(木) 12:50:13
id:HYoLXfjV0
anka:[]
link:[]
img:
[Finished in 1.287s]

todo.md

ﾜｯﾁｮｲやIPは取得なし 時間は秒まで取得、コンマ以下は取得なし img：お絵かき機能で書き込まれたレスがあった場合にURL取得

2ch側の仕様変更に弱いコード