lista nome, atividade e data de "morto ou desaparecido" de centenas de desaparecidos em http://www.desaparecidospoliticos.org.br

lista_desaparecidos.rb

require 'rubygems'
require 'sanitize'
require 'mechanize'

URL = "http://www.desaparecidospoliticos.org.br"
browser = Mechanize.new
browser.user_agent_alias = 'Mac Safari'
puts "Listando..."
browser.get("#{URL}/pessoas.php?m=3") do |lista|
	lista.search('//a[starts-with(@href, "pessoa.php?id=")]').each do |link|	    
	    nome = link.text
	    atividade = ""
	    morto = ""
	    browser.get("#{URL}/#{link.values.first}") do |pessoa|
		    el = pessoa.at("strong[text()='Atividade:']")
		    atividade = el.parent.parent.at("td[2]").text if el
		    morto = Sanitize.clean(pessoa.at('table.tb_nomes/tr/td/div.margin_5').parent.parent.search("td[2]").first.children.to_s.encode("utf-8")).gsub(/\s+/, " ").strip
		end
		puts nome
		puts atividade unless atividade.empty?
		puts morto
		puts
	end
end