Zakladni vypis bi-gramu a tri-gramu v Ruby

gistfile1.rb

require 'rubygems'

def words text
 text.downcase.scan(/[a-z]+/)
end

$words = words("V knize „Rok devaty“, ktera navazuje na predchazejici, svou strukturou podobne knihy, ktere vychazeji kazdorocne jiz od roku 2004 vzdy v breznu, ve vyroci me prvni prezidentske inaugurace, je pomerne plasticky predstaven devaty rok meho prezidentovani. Kniha obsahuje me publikovane i nepublikovane texty, prednasky, projevy, prohlaseni, vybrane dopisy, stanoviska k zakonum a spoustu dalsich dokumentu, ktere byly napsany ci proneseny v ceskem jazyce. Vynechany byly texty prilis kratke nebo mene vyznamne. Zadny jiny vyber delan nebyl. Je tam prakticky vsechno.
V knize nejsou me texty psane primo v anglictine a nemcine (kterych jsou vsak za rok desitky), pokud nemaji svou ceskou verzi. V knize neni obsazena jina kniha – Evropska integrace bez iluzi – ktera byla take v nakladatelstvi Knizni klub vydana v listopadu (uvadim zde jen jeji predmluvu). V roce 2011 vyslo i nekolik mych zahranicnich publikaci – ma „Modra, nikoli zelena planeta“ v portugalstine v Brazilii (prekladu teto knihy je ve svete uz celkem 17), v Polsku a Rusku byly vydany preklady me knihy „Kde zacina zitrek“ a v Nemecku vysel rozsahly sbornik mych nemeckych textu s nazvem „Evropa?“. Ten otaznik vzbudil pocatkem roku 2011 pozornost. Koncem roku si tyto otazniky kladlo daleko vice lidi. Casopiseckych publikaci bylo ve svete v ruznych jazycich daleko vice – od Australie po Chile.
Z jedne strany se tedy jedna o knihu dokumentacni, ktera ukazuje, co prezident delal, na co reagoval, co se snazil svym nazorem ovlivnit, kde byl a co tam rikal, jakych udalosti se ucastnil. Z druhe strany je to velmi specificky „odraz“ roku 2011. Odraz nesporne selektivni, ale protoze selekce vyjadruje priority, zajmy a pocity „selektujiciho“, je – ac nestandardni – presto svebytnou vypovedi o roce 2011. Snad bude ve vsech techto ohledech pro nekoho zajimavym ctenim.
Rok 2011 mne moc netesil, a to urcite ne proto, ze jsem se dozil kulateho, ne zrovna nejmladsiho zivotniho vyroci. Dokonce ani ne proto, ze mne par mesicu trapil zanet Achillovy slachy, ktery mne brzdil v mych sportovnich radostech. Spise z velmi pozorneho vnimani toho, co se deje v nasi zemi, v Evrope a snad i v cele zapadni civilizaci.
U nas si nepretrzite podkopavame vnitrni soudrznost zeme, narodni pospolitost, schopnost jit spolecne za urcitym cilem permanentnim rozhadavanim nasi politicke sceny, medialni agresivitou, hlasitymi pozadavky dobre organizovanych profesnich skupin (pocinaje lekari na pocatku roku, konce piloty v jeho zaveru), nekonstruktivnim pristupem ruznych vecnych revolucionaru a disidentu (vseho druhu), kteri se stale nechteji pohybovat v systemu parlamentni demokracie a trzni ekonomiky a pres svou silackou a populistickou kritiku nenabizeji zadnou alternativu – pouze 22 let chteji pro sebe same nejruznejsi privilegia, protoze maji pocit, ze si je diky sve vyjimecnosti zaslouzi.
Zvetsili jsme si take to, co uz vice nez dve desetileti nazyvam mezerou mezi realitou a ocekavanimi. Kroky vpred byly na pocatku – bezprostredne po opusteni komunismu – velke a ve srovnani s tim jsou to nyni uz spise jen krucky. To tak byt muselo, ale navic se pozitivni vyvoj reality v posledni dobe evidentne zpomaluje. Ocekavani naopak stale rostou a diky tomu se nuzky rozeviraji.  Nezijme chybne formulovanymi ocekavanimi, radeji se starejme o svuj vlastni vykon a prinos.
Do obrovskych problemu se dostala Evropa, organizovana v Evropske unii. Ta je instituci, ktera Evrope evidentne neprospiva. Evropa by potrebovala jinou integraci. Hlavne by ale potrebovala vykon a vykonnost, nikoli paternalisticky stat, ktery Evropany demotivuje. Nedavno jsem cetl peknou analyzu konce Rimske rise a v ni vetu „Rimane byli zaslepeni pocitem sve superiority“. Mam pocit, ze presne totez plati i o dnesnich Evropanech. Evropa uz nechce moc pracovat a chranit si sve vlastni ja. Evropa uz chce zit v postindustrialni, v postmilitarni, v postproduktivni ere, ac nic takoveho neni mozne. Americky autor A. W. Mitchell predvida, ze se Evropska unie stane novou habsburskou Evropou se vsemi problemy, ktere kdysi tato rise, do ktere jsme take patrili, mela.
Evropa je extremnim pripadem celeho Zapadu, ktery si take namlouva, ze je vyjimecny a ze si zaslouzi byt navodem pro zbytek sveta. Namlouva si take, ze je na nej utoceno z vnejsku – v minulem stoleti nejdrive nacismem, pak komunismem a nyni militantnim islamismem. Kdyz pomineme, ze ty prvni dva byly navysost zapadni provenience, je evidentni, ze skutecne nebezpeci prichazi i ve dvacatem prvnim stoleti opet zevnitr. Zapad ztraci viru v sebe sama a bez te to proste nejde.
O tom vsem je tato kniha. Dekuji Kniznimu klubu za jeji peclivou pripravu a tisk, dekuji svemu sekretariatu za celorocni praci i za pomoc pri priprave teto publikace – Monice Cerne, Martinovi Slanemu, Mirce Jelinkove a Petru Macinkovi, dekuji svym „panum“ v Kancelari prezidenta republiky za cenne podnety k jednotlivym textum teto knihy. Za chyby rucim samozrejme ja sam.")
bi_grams = Hash.new(0)
tri_grams = Hash.new(0)

num = $words.length - 2
num.times {|i|
  bi = $words[i] + ' ' + $words[i+1]
  tri = bi + ' ' + $words[i+2]
  bi_grams[bi] += 1
  tri_grams[tri] += 1
}

puts "bi-grams:"
bb = bi_grams.sort{|a,b| b[1] <=> a[1]}
(num / 20).times {|i|  puts "#{bb[i][0]} : #{bb[i][1]}"}
puts "tri-grams:"
tt = tri_grams.sort{|a,b| b[1] <=> a[1]}
(num / 20).times {|i|  puts "#{tt[i][0]} : #{tt[i][1]}"}