Scraping Belarusian sentences for Common Voice from news stories by Euroradio

README.md

This gist describes the procedure of scraping Belarusian sentences from online news stories by Euroradio, a major media outlet. At the time of writing (2021-07-12), tentative permission has been obtained from the editorial to use their sentences as CC0, but no formal agreement has been signed yet. See this thread for details.

Get index pages

The website was crawled on 2021-06-29. At that time, the archive of news stories had 9508 pages, each containing 20 hyperlinks. To reproduce this workflow, you would first need to find out the current number of index pages, superseding 9508. This can be done by plugging numbers into the URL template https://euroradio.pl/all-news?page=..., e.g. https://euroradio.pl/all-news?page=10000, and identifying the last non-empty page. Once ready, run:

N_PAGES=9508 # put your number here
mkdir index
seq 1 $N_PAGES | xargs -n 1 -I {} bash -c "curl https://euroradio.pl/all-news?page={} > index/{}.html; sleep 3"

Retrieve texts

We drop the articles published in 2020 or later, as these are likely to be politically sensitive (details here). ~170K articles, dating back to 2007...2019, remain in consideration:

cat index/*.html | grep 'class="field' | grep "field-item even" | grep "data-utc-timestamp" | grep -Pv ">[0-9]{2}/[0-9]{2}/202[01] " | grep -Po 'href="[^"]+"' | sed 's@href="@@;s/"$//' | grep -Pv '/(cats|taxonomy|cdn-cgi)/' | sort | uniq > links.txt
mkdir -p articles articles/report articles/node
shuf links.txt | xargs -n 1 -I {} bash -c "curl https://euroradio.pl{} > articles{}.html; sleep 2"

The download takes around a week. To speed up this stage, you may want to split the file links.txt into several parts and process them on multiple machines, then put together articles folders. The full dataset is available upon request.

Remove markup

Put the script remove_markup.py (see below) in the working directory, one level above articles, and invoke it:

cd articles
find . -type f | grep -P '.html$' | python3 ../remove_markup.py -

This would yield .clean files, one per each original document. Note that the script utilizes all available CPU cores, this can be overridden in the source code. Processing may take up to several hours, depending on how strong is your CPU.

Split into sentences

Put the script split_sentences.py (see below) in the working directory and invoke it:

find . -type f | grep -P '.clean$' | python3 ../split_sentences.py -

This would yield .split files, one per each original document. These files have one sentence per line. Note that the script utilizes all available CPU cores, this can be overridden in the source code. Processing may take up to one hour.

Run extraction

Now concatenate the .split files with a couple of tweaks:

mkdir -p ../extraction-input
find . -type f | grep -P '.split$' | xargs cat | sed -r 's/^"//;s/"\././' | grep -v 'гл\. тут' | sort | uniq > ../extraction-input/file

Assuming the sentence extractor repo is cloned in the working directory, set min_word_count = 4 in be.toml and run extraction:

cd ../cv-sentence-extractor
cargo run --release -- extract-file -l be -d ../extraction-input > ../extraction-output.txt

This is expected to conclude in under an hour, producing the file extraction-output.txt with ~370K sentences.

Filter out sensitive items

Not all sentences in extraction-output.txt are equally suitable for voice recording. As usual in the media, many news reported by Euroradio are bad news, with overall negative sentiment, featuring all kinds of accidents. Another issue is that the ongoing wave of political repression in Belarus may threaten the local community of Common Voice enthusiasts if we're not prudent enough and roll out sentences featuring Lukashenko, police, peaceful demonstrations, human rights, jail, torture, etc. For the local enthusiasts, not to be linked to any activity deemed "extremist" by the state (under a very broad definition of "extremism") is a matter of physical security. In a somewhat Kafkaesque twist, we'd like to filter out as many sensitive items as we can.

To that end, a statistical model is trained on top of sentence representations provided by multilingual BERT via bert-as-service. We use a small hand-tagged dataset euroradio_sentiment_labeled_sample.csv (see below) to train a classifier that would distinguish between "good" and "bad" sentences. The Jupyter notebook euroradio_bert_filtering.ipynb (see below) implements the classifier. You can run this notebook on Colab; put the labeled dataset euroradio_sentiment_labeled_sample.csv and the collection of sentences extraction-output.txt on your Google Drive. As output you would get CSV files euroradio_all_auto_classified_slab1.csv to euroradio_all_auto_classified_slab8.csv on your Google Drive, around 50K sentences each. In these CSVs, each sentence is assigned a confidence score – a probability of being "good". The idea is to sort all sentences by decreasing confidence and keep only the best ones, e.g. top 100K.

Once you have the CSVs in the working directory, open python3 and run:

import pandas as pd
# Concatenate hand-tagged and automatically tagged data
df = pd.concat([pd.read_csv("euroradio_all_auto_classified_slab%s.csv" % i) for i in range(1, 9)])
df_labeled = pd.read_csv("euroradio_sentiment_labeled_sample.csv")
df_labeled["score"] = df_labeled["status"]
del df_labeled["status"]
df = pd.concat([df, df_labeled])
# Keep the best sentences
df_top = df.sort_values("score", ascending=False)[:100000]  # set limit here
df_top.to_csv("euroradio_all_auto_classified_top.csv", index=False)
with open("euroradio_all_auto_classified_top_noscore.txt", "w") as f:
    for s in df_top["sentence"]:
        print(s, file=f)

This yields two files: euroradio_all_auto_classified_top.csv with 100K sentences and their confidence scores, and euroradio_all_auto_classified_top_noscore.txt containing only the sentences.

Postprocess and filter by spell-check

A few final touches are required:

• Apply additional keyword-based filtering, to make sure Lukashenko's thugs not gonna go after us.
• Drop taraškievica spellings, or normalize them into the modern standard orthography if possible (like ня → не).
• Drop sentences in Russian.
• Correct minor orthographic and typesetting issues.

cat euroradio_all_auto_classified_top_noscore.txt | grep -Piv 'лукаш[эы]|дыктат[ау]|ідэ[оа]л[оа]г|міліц|к[аэ]дэб|апазіц|бел\-ч|мітынг|дэманстра[нц]|пратэст|затрыма[лн]|ізалятар|допы[тц]' | grep -Piv '([нсц])ь\1|сь[вн]' | grep -Piv "[^а-яёіў'](в|что)[^а-яёіў']" | grep -Pv 'ств,а' | sed -r 's/ ня / не /g;s/^Ня /Не /;s/^Ў/У/;s/яўдалося/е ўдалося/g;s/прыдзецца/прыйдзецца/g;s/,([а-яёіў])/, /g;s/я—- /я — /;s/цьфу- /цьфу-/g;s/([^?!][?!])\.$/\1/' > euroradio_all_auto_classified_top_noscore_stage2.txt

Following a procedure described elsewhere, we feed the file euroradio_all_auto_classified_top_noscore_stage2.txt into a spell checker available online, then create blacklist.txt (see below) and remove sentences with spelling errors:

for line in $(cat blacklist.txt | sed -r 's/^у/[уў]/'); do
  cat euroradio_all_auto_classified_top_noscore_stage2.txt | grep -Pi "([^а-яёіў]|^)$line([^а-яёіў]|$)" >> accumulator;
done
cat accumulator | sort | uniq > euroradio-sampled-sentences-blacklisted.txt
comm -23 <(sort euroradio_all_auto_classified_top_noscore_stage2.txt) <(sort euroradio-sampled-sentences-blacklisted.txt) | uniq | shuf > euroradio-sampled-sentences-non-blacklisted.txt

Also, we'd like to drop sentences that occur in the previous two bulk submissions, wiki.be.txt and knihi.com-sampled-sentences-non-blacklisted.txt. Assuming both files are in the working directory, run:

comm -23 <(sort euroradio-sampled-sentences-non-blacklisted.txt) <(cat wiki.be.txt knihi.com-sampled-sentences-non-blacklisted.txt | sort) | shuf > euroradio-sampled-sentences-non-blacklisted-unique.txt
mv euroradio-sampled-sentences-non-blacklisted-unique.txt euroradio-sampled-sentences-non-blacklisted.txt

Creating a random sample of 4K sentences for validation concludes the procedure:

head -n 4000 euroradio-sampled-sentences-non-blacklisted.txt | sort > euroradio-sampled-sentences-non-blacklisted-4K.txt

A few sensitive patterns, discovered in the 4K sample, are removed a posteriori:

cat euroradio-sampled-sentences-non-blacklisted.txt | grep -Piv 'рэжым[^не]|крывав|закрытым рэжыме|санкц|праваабарон|галасаванн|назіральнік|сцяг[^нв]|сімволік|пікет|затрым[^к]|абвінавачв?ан|турэ?м|перадач|сілав.*структур|прэзідэнцк.*(гон|камп)|(^|[^а-яёіў])(акцы[яій]($|[^н])|шэсц[еяі]|тэрмін[^о]|камер[^нц]|білі[^с])' | grep -v 'Пуцін|Коля|Казулін|Статкевіч' > euroradio-sampled-sentences-non-blacklisted-final.txt
mv euroradio-sampled-sentences-non-blacklisted-final.txt euroradio-sampled-sentences-non-blacklisted.txt

This brings the number of sentences in the dataset from 98'624 down to 97'753, which is the final submission.

Update: Sample one more batch of sentences

So far, out of ~370K sentences extracted from Euroradio stories, we've sampled 100K of the least sensitive ones (with overall positive sentiment, not particularly likely to cause any legal trouble for the community members residing in Belarus) and additionally filtered them, as described above. To augment the Belarusian dataset, now we're creating another 20K sentence batch from the Euroradio data.

Assuming the CSVs created here are still available, open python3 and run:

import pandas as pd
df = pd.concat([pd.read_csv("euroradio_all_auto_classified_slab%s.csv" % i) for i in range(1, 9)])
df_labeled = pd.read_csv("euroradio_sentiment_labeled_sample.csv")
df_labeled["score"] = df_labeled["status"]
del df_labeled["status"]
df = pd.concat([df, df_labeled])
df_top = df.sort_values("score", ascending=False)[100000:120000]  # the next 20K sentences
df_top.to_csv("euroradio_all_auto_classified_100to120.csv", index=False)
with open("euroradio_all_auto_classified_100to120_noscore.txt", "w") as f:
    for s in df_top["sentence"]:
        print(s, file=f)

Apply keyword-based filtering to the result and do some minor tweaks, specific to this dataset:

cat euroradio_all_auto_classified_100to120_noscore.txt | grep -Piv 'лукаш[эы]|дыктат[ау]|ідэ[оа]л[оа]г|міліц|к[аэ]дэб|апазіц|бел\-ч|мітынг|дэманстра[нц]|пратэст|затрыма[лн]|ізалятар|допы[тц]' | grep -Piv 'рэжым[^не]|крывав|закрытым рэжыме|прэзідэн|санкц|праваабарон|галасаванн|рэферэндум|назіральнік|актыві|подпіс|паліты[кч]|балат(ава|у)|бээнэф|маладафронт|пераслед|падазраван|за крат|марыхуан|сцяг[^нв]|сімволік|пікет|масав.*мерапр|затрым[^к]|абвінавачв?ан|турэ?м|перадач|сілав.*структур|прэзідэнцк.*(гон|камп)|(^|[^а-яёіў])(акцы[яій]($|[^н])|шэсц[еяі]|тэрмін[^о]|камер[^нц]|білі[^с])' | grep -Piv 'кіраўні.*(дзяржа|краін)|(^| |-)следч|пракурор|пракуратур|арышт|штраф[^н]|(адміністрацыйн|крымінальн|судов).*(працэс|пераслед)|галад(оў[кц]|у[ею]|ава)|(фашы|нацы|нацыяналі)(с[тц]|зм)|рэвалюц|эскалац|майдан|збро[яіей]|([^і]|^)люстрац|нецэнзурн|маразм|дэбіл|с[еэ]кс|сперм' | grep -v 'Пуцін|Коля|Казулін|Статкевіч|Нехта' | grep -Piv '([нсц])ь\1|сь[вн]' | grep -Piv "[^а-яёіў'](в|что)[^а-яёіў']" | grep -Pv 'ств,а' | sed -r 's/ ня / не /g;s/^Ня /Не /;s/^Ў/У/;s/яўдалося/е ўдалося/g;s/прыдзецца/прыйдзецца/g;s/поп- зоркі/поп-зоркі/;s/,([а-яёіў])/, /g;s/я—- /я — /;s/цьфу- /цьфу-/g;s/([^?!][?!])\.$/\1/' > euroradio_all_auto_classified_100to120_noscore_stage2.txt

Now create the blacklist, as described here, by feeding the file euroradio_all_auto_classified_100to120_noscore_stage2.txt into an online spell checker. The output file, manually post-edited, is blacklist2.txt (see below). Join it together with the blacklist compiled earlier and run filtering:

cat blacklist.txt blacklist2.txt | sort | uniq > blacklist-upd.txt

for line in $(cat blacklist-upd.txt | sed -r 's/^у/[уў]/'); do
  cat euroradio_all_auto_classified_100to120_noscore_stage2.txt | grep -Pi "([^а-яёіў]|^)$line([^а-яёіў]|$)" >> accumulator2;
done
cat accumulator2 | sort | uniq > euroradio-sampled-sentences-blacklisted-batch2.txt
comm -23 <(sort euroradio_all_auto_classified_100to120_noscore_stage2.txt) <(sort euroradio-sampled-sentences-blacklisted-batch2.txt) | uniq | shuf > euroradio-sampled-sentences-non-blacklisted-batch2.txt

Conclude the procedure with removing sentences that have already been added to the Belarusian dataset of Common Voice. Assuming the previous bulk submissions, stored in server/data/be, have been downloaded to the working directory, run:

comm -23 <(sort euroradio-sampled-sentences-non-blacklisted-batch2.txt) <(cat wiki.be.txt knihi.com-sampled-sentences-non-blacklisted.txt euroradio-sampled-sentences-non-blacklisted.txt novychas-sampled-sentences-non-blacklisted.txt | sort) | shuf > euroradio-sampled-sentences-non-blacklisted-batch2-unique.txt
mv euroradio-sampled-sentences-non-blacklisted-batch2-unique.txt euroradio-sampled-sentences-non-blacklisted-batch2.txt

The new submission euroradio-sampled-sentences-non-blacklisted-batch2.txt has 18'692 sentences.

blacklist.txt

аб'вілі
абасраная
абасрацца
абвінавачыла
абкаканыя
абмяжаванне
абнародвана
абсіраць
авольней
агадзіцеся
агранізуюць
Агромістая
агромісты
Агурэк
Аданк
адбымаўся
адвароткай
адволі
адвялося
адкупляуся
адмсыловы
аднаўлене
азербайджнцы
айрэнбішныя
аказываецца
акапельны
акончылася
Актанаровіч
алчыняла
аму
аналізіруе
андрэграўнд
анечне
Антунет
аплочаве
аповяд
аправікамі
апрантыя
апэратыўныя
арандаратам
арганізатарў
арт-екты
артыста-столькі
архітыповыя
аршытаваных
атракрцыёны
Ахіджакава
ацвярожваем
Ашманкевіч
аэнсавання
байкрух
Балканец
баранавіцкх
Барматуха
барыгі
барысаўчыне
Баўгарскія
Баўмгернтнера
баяюся
безбалюча
Безпакараным
блаху
боюсь
буйнгых
буйные
буўзем
был
бым
ваізію
валлюты
васвятляць
васьмаразовай
ведома
вёльмі
Велярад
верагоднаць
відачочна
відэзапісаў
відэроліка
візату
Внаваўца
вогненымі
возме
войсковага
вусне
Выбары-не
Выв
выгядаў
выдумывалі
выйграваю
выйці
выкаладзены
выконвацць
вынік-нашыя
вынікусёлета
выпрабаванем
Выратваць
высвеліць
выскокахуткасных
высоканізкамастацкай
выствятляць
выязжаем
вядомые
вяртаца
гадзінічкі
галоўна
ганарлуся
гарадскы
гаспарады
гаўнюк
геймдэйва
гербата
грамядзян
грасці
гролінгу
гэіыя
гэтіты
Гэткмі
дабрачыннам
даводзцца
давядзец
давядзеца
даеце
дажа
даклана
далжно
датычыццца
даяжджаеш
двумя
двухпакёвая
дзесяцю
Дзя
дзяецца
дзясяцітысячнікі
дзяўчыный
дзячыў
днасастаўных
доўгатэрміновый
ды-джэйскім
Дынаадварот
Дэ
дэмозапіс
Ё
ё
едзжу
Езжу
ей
еканкрэтнае
ельмі
Ен
ен
ёпт
жнайшлі
з'езалі
Забач
заваротмі
завочку
задавалненне
зазумеў
Заідзэ
заказчікі
залежаыла
замалўкі
замацца
Запоўнененая
запрасілі-прыемна
запраста
запрэзэнтаваць
зарэгіставаная
зафіксакаваць
зацелася
збіраююца
звыклык
здавалас
Здаеца
Здарылая
здаш
злаба
змалананая
змінулых
знаім
знайшліў
знешнеаканамічнанага
зоакраме
зп'яну
зрабяць
зразумеце
зспытаем
Зьміцер
інвестраў
індзі-рокераўсакавік
індустрыяльзаваная
ініцыятвыва
Іноў
інтэлегентна-панкавай
ітэгравацца
Каардэнуйцеся
кажалі
Как
как
какашка
каковы
какрэтна
Каладоўшчыкі
камандыровачных
камерцыяналізаваць
каміэт
канктрэтна
канфедыцыяльная
канцык
канцэрт-вазьмі
кап'ютар
кап'ютараных
капазіцыі
кардынацыйных
Карокачасовы
кастрычніка-пачатку
касцетам
кацэрт
квізе
кінатаэтра
кірамш
козінае
коляць
команды
Кондрусь
контынгент
краўндфандынг
краунфандынгавую
кропаках
лабства
лаў-прадзе
лацугом
ле
лейбле
Лепэр
лігнвістычных
ліннам
лічаце
лучшэ
любойцаной
люлей
маднату
мадэль'ераў
Маесэнс
малавек
Малай
манатажа
Марытана
масстартам
масштабнае
машчымы
маяцца
медыятыўных
месце
месяца-паўтара
метанітавых
метровагон
міжнародняй
Міжтым
мільёну-паўтара
Мінгандалю
мініму
многамузыкаў
моцыі
мрожа
мужчынае
мэйн
мэнджэр
мэсдж
мяукаць
наброханы
нава
наведвальнікісайту
навор'е
надыйдзе
наеонт
назідацельным
найвыдатна
найгодны
найгрубае
найхвалюючы
накал
нароўных
Насамарэч
настаронцы
насторйвацца
натуральне
Наўпростых
нахер
нахран
Неага
невытрымаць
невялікя
незляжалы
некуль
непрадбмачлівы
непрафейсійнага
непрыстыжна
непублікаванымі
нераспарацаваная
нестаяк
неўдалося
нечканых
нечыва
нечыёй
нешат
нібыіа
нігучала
Нікуда
ніхрана
нічыво
нічыі
но
нявядомасці
няслухабельная
ожа
олькі
ольш
па-ангійску
па-гейску
па-ранейшаум
па-скотцку
па-спраўднаму
пабольшэ
павінн
пагаражаць
паглядзлі
паглядім
пагляжу
падабаецца-гэта
падаману
падзеласа
падрымаюць
падтыраныя
пазаёміліся
пакажыць
палёна
памой
панката
панкаты
парвапарушэнне
парвядзе
паркрыты
парпусціць
партнёскіх
парцягваюць
парэбнае
Пасраць
пасял
патрагавацца
патрэбае
патрэбнам
патэбен
паўднёвы-захад
паўднёвым-захадзе
паўднёвым-усходзе
паўкілаграмы
паўночным-усходзе
пацвяржаем
Пачатаць
паштампце
паэллі
Паэтаму
пдзеі
пдумаць
пейнтбольных
пеправажна
Перадабортное
перадуць
пераследваецца
ператворцца
перачным
пердуны
пермоўныя
перспектывыу
першаадкрыальнік
першакламнай
песню-і
пісю
плануць
плытай
плятформе
подлецы
Позвуу
порна-гламур
порнаконкурс
порнасайты
похер-венікі
Правааабронцы
правадзілася
правіцоўцам
прадаёцца
прадажнаць
прадугледжаве
прает
прайгназуецца
пралку
прапускаець
прастым
працывілізацы
пройдзуць
пршпіліў
прыбамабасы
прыгожным
прыдуць
прыезжая
прызвычаілся
прызначная
прыктычных
прынамсці
прыносліа
прынцэса-тэрапіі
прыпадносіць
прыпапсаваны
прыукрасна
прэсс-канферэнцыі
птушкак
Пуйдзеш
путан
путаны
пямяшканні
раглядацца
радаецца
радную
радыё-вядучая
раз'яднаня
разаабрацца
разаблачаць
развівалія
разгледжаня
разгодваць
размаўлеш
размаўлялялі
размаўную
разнабаковасць
разнабаковым
разнайстайнасці
разпаветрыванне
разумеце
разумецюць
разурэння
Раскадаванне
раскруцваюць
раследаваць
раследуюць
Распаўсюджваныя
расстаяў
раставаліся
расхерачыць
расходвалі
расчаруюсь
ратрак
раунла
Рашыш
рашэнем
роззява
рознастайнасць
рома
ругае
Рукі-галава
рыжанка
рынамсі
рэаліязацыя
Рэдліхс
рэзанас
рэкамэндаваць
рэмнем
рэпатажы
сабрага
Саксена
салідарнаць
самааброны
самаго
сапарт-каманды
сараўды
саромцеся
саудчэку
сацыяльнаарыентаваны
сачынне
свабадней
свайго-гарбатага
свамімі
свачка
света
своп-здзелкі
сезонымі
сёлеты
сёмкамі
сённня
сепарам
сепарскі
сёр'ёзных
сертіфікацыю
сігетаўцаў
сінтэментальнай
сіські
скарачанне
складанабытавую
скока
скрайнім
сладзеная
смс-кі
снюс
спало
спарстмена
спеты
спраборнічаць
спросцілася
спужваю
сраку
стабым
стандарны
старажынныя
Старпёры
стартсменак
стасаваную
стварэннеем
стралялніна
Страстны
стрыжневой
студзеня-пачатак
суб'ёктыўных
суйчынніца
супарцоўнікаў
супроцьпаставіць
супрываджацца
сфотаць
схон
сцу
сыдйду
сымвалічную
сырэй
сэлма
сэрыя
сюрэалістаў
сюрэалістычна
сям'ю-дзяцей
сярэднй
та
тайгерлілічна
такоеабяцанне
тамболей
танцплацы
танчуць
тафгаяў
трайкам
тржнера
трыёпс
трэнерую
тумае
турынаболы
тусачам
Туслайтэ
тэатрэтычная
удвох
узельнічаць
узройні
Уімблдоне
указываць
уляўленне
умеркваным
унесення
універасльная
універсітэтскіх
унівэрсальнай
уніерсітэт
упарадку
упрынцыпе
уратваць
урбан-шматлакацыйнага
урэшцеда
усёёё
усёроўна
усіё
услух
устааляваць
усцешчвае
усялкія
утырыўся
ушыбам
уяго
уяляеце
ўдвох
ўзельнічаць
ўзройні
ўказываць
ўляўленне
ўмеркваным
ўнесення
ўніверасльная
ўніверсітэтскіх
ўнівэрсальнай
ўніерсітэт
ўпарадку
ўпрынцыпе
ўратваць
ўрбан-шматлакацыйнага
ўрэшцеда
ўсёёё
ўсёроўна
ўсіё
ўслух
ўстааляваць
ўсцешчвае
ўсялкія
ўтырыўся
ўшыбам
ўяго
ўяляеце
фаловеры
фанатская
фанацікі
фемен
феміністкую
фестваль
фолаў
фольк-каманды
фольк-песняй
фольк-року
фольк-хіты
фота-стопа
францускай
фэервэрк
фэн-клуба
фэнам
херня
хіжынах
Хілюту
хочаш-не
храна
хтосці
церпялівасць
цікавасць,—ну
Ціпа
цудоўнеўшы
цыліндраванае
цяепр
цялёпаемся
цяпертакое
цяяпер
чакалаі
чатары
чатырста
чкаецца
чмо
чупінцамі
чырво-зялёным
чэм
шампіёны
шансуе
шгучалі
Шкаленне
шмон
шолшы
шт
што-заўгодна
штоьсці
шукацьнеабходную
ыло
ьыў
экспідзіцыю
экспэртызу
экстрымальны
электоннай
элктрычнасць
энэргаёмістае
энэрганосьбітаў
энэргічным
этая
эўскера
Ябс
ягоный
яедумку
яскарвы
агульным-то
адварот-паварот
багель
банколе
брэус
булель
бэрат
бяз
вачох
вель-мі-ма-ла
вельмі-то
відавчна
вкантакце
вкусненько
вывучанне
выкрэсліш
выпьеце
габані
галава-то
гасьцей
гершл
гігі
гледавчы
гюнеш
дапусьцяць
двваяка
долман
дооооо
ён-то
жана
журналістам-то
жываком
заўтра-то
змясьцілі
зрузумела
імавернасьць
капуэры
кіно-то
кліп-па-беларуску
кола-колу
корганам
краіна-то
мы-то
недаладу
некія
павялічэнне
па-дыяганалі
пазьбегнуць
пайсьці
пасьпеем
пла-до-ва-я-гад-нае
прыязжаць
пытання-то
пьём
пьяны
рамантычный
рок'н'ролам
сістэматызацыіі
схаавць
таіму
увогуле-то
ўвогуле-то
хамізм
чацьвёрты
чацьвёртым
швецкія
ывбары
як-то
я-то

blacklist2.txt

абгрэйдам
абыходзмцца
адзінацаць
адпіяраны
адпраіць
адырклі
акапельна
акаунтаў
акаўнту
алка-джазавікі
ансоўная
астанім
аўдзітараў
аўкцыон
аўтаамбілі
баіцца-не
бакіеў
барчыкаў
барчыках
бегаровары
безпраблемна
безумозна
беларта
беспрацоў'я
брыт-рок
брэнд-бука
будаўніцтвагатовая
ваўкавычане
відыё
відэа-зваротаў
відэакамэру
відэа-фільм
відэё-ролікі
восемь-дзевяць
вучнаў
выбарачана
высокасцеблевых
вялікабрытаніі
галалёдіца
гаражане
гей-прайда
гердан
голштынскую
гомаэратычная
грвюць
гробаны
грыгенча
гуцыць
даведаюццца
даглядац
дажды
дамрачова
дангэтуль
дасуль
даўбакства
даўны-даўно
двухэтажным
джугнлі
дзвухгадовай
дзейхіна
дзендзівіцкі
дзіцячые
дзясяцікласніцы
драм'энд'бэйс
дылетанскім
ды-хаць
дэмаруху
еўрарыё
жаллёва-камунальнай
жартоўліва-абразлівыя
завірухамабіля
загінўушых
заканчаваецца
закікаўленыя
залес
запіламі
запужваннне
захаранкі
здарылдася
здому
івент
іавар
інафрмацыю
інжынерынгавыя
інспецыі
інсцэнізавала
інтэрнет-рэсурсаў
інтэрнет-старонкі
інтэрнет
інтэрнеце
кадараў
кампазітар-песесннік
канцэце
кан'яка
клаунадныя
кнігаў
комнату
кратку
краудфандынг
кубінізацыі
кузіч
культаралагічнымі
кунаш
кыргізы
ла
легалайз
лейкімію
лекарні
летальных
лісеўска
лічыцм
логунгамі
ло
максімалімзму
маменькімі
марцік
менцюкі
меседжы
метэрэалагічныя
міграны
можнаспампаваць
музыкавызначае
мую
мышын
мыючыя
мэнеджэр
мэсадж
мядзьведзем-пярэваратнем
навоева
назапашавання
назвычайных
найбуйнымі
намалявааць
наннясення
напрацягу
натарыюс
неабходнасьць
небачна
невырашана
незадавальняючую
незадаволенасьці
незележных
ні-чо-га
новый
нормандэйла
ноутбук
нянашы
он-лайн
пабудуце
павялічэннем
падатквікі
падтырмаць
пазачорговае
паімеў
палюбому
памёрла
парнаграфічнасць
партнерскага
па-новай
пасьмешышча
паўдзльнічала
па-сутнасці
перападрыхтоцы
плэй-бэка
подліку
пост-фольку
праблематчына
прадпрыемсівы
прадпрыемстванабываў
праодзілі
прапусцў
праспяе
прынтаравы
прыходзць
прэдмет
прэію
псайэмбіент
псеўдаробскія
разгледзілі
ракаскарпіёна
рапрасавыных
рок-н-рол-лайф-стайл
ругайн
рэканструцыю
сакуратар
свбоды
сведчыь
сезонай
секс-цацкі
семера
сённюшнюю
сігетаўскіх
сімболікі
сімвалізаў
сімовлікай
ска
скандальныім
слабко
слепому
слюнцявую
смалявічаў
смскі
смс-паведамленне
спаборнітваў
спадзеяцца
спазьняецца
спансараванне
сперычуэлсаў
спецыялізаванных
спросіццца
спявяць
стаімо
сталявоза
стасевіча
стаўленна
сукавенка
сурпрызаў
сутыкавых
сцюарта
сьмяшыць
сэкс-бізнэсе
сэкс
сэксам
сэксуальных
сэксу
сэксуальнага
сэксуальнае
сэксуальнасці
сэксуальны
сядушцы
так-то
трыўмфальна
тэкствы
тэлевізійный
тэністы
увайш
увая
увес
угоншчыцай
удзе
узаемаадносінаў
узбагачальную
упылыў
ураўнаважнаваецца
ухажваюць
уцюрыць
фольк-плыня
фольк-эмбіент
фота-
фотасета
хараткар
хард-кор
хатэльерамі
хлопцоў
хлоцаў
цмянасцю
цямер
цянюты
цяплыню
чэлябінцы
шагом
шафра
шахетры
шачанка
шлёмаў
шоў-мэна
шпіталяваныя
штанге
шчакоча
эксурсію
якіяажно
ямецкія
яне
ярмошына

euroradio_bert_filtering.ipynb

euroradio_sentiment_labeled_sample.csv

remove_markup.py

import sys
import os
import re

from bs4 import BeautifulSoup
from tqdm.contrib.concurrent import process_map

CLEAN_POSTFIX = ".clean"
N_CORES = os.cpu_count()  # or specify explicitly
CHUNK_SIZE = 32

def task(path):
    try:
        with open(path, encoding="utf-8") as f:
            soup = BeautifulSoup(f, features="lxml")
    except OSError as e:
        print("remove_markup.py, didn't open: " + path)
        return

    for tag in soup.findAll("div", {"itemprop": "image"}):
        tag.decompose()
    for tag in soup.findAll("div", {"class": "another-galleries"}):
        tag.decompose()
    for tag in soup.findAll("h3", {"class": "views-field"}):
        tag.decompose()
    for tag in soup.findAll("a", {"class": "euroradio-slider-button"}):
        tag.decompose()

    txt = "\n".join([
        x.text.strip() for x in soup.findAll(lambda tag: tag.name == "div"
                                                         and "itemprop" in tag.attrs
                                                         and tag["itemprop"] in ["headline", "description", "articleBody"])
    ])
    txt = "\n".join([x.strip() for x in txt.split("\n") if x.strip()])
    txt = re.sub(r"\n([а-яёіў])", r" \1", txt)

    try:
        with open(path + CLEAN_POSTFIX, "w", encoding="utf-8") as f:
            print(txt, file=f)
    except OSError as e:
        print("remove_markup.py, didn't write: " + path + CLEAN_POSTFIX)
        return

paths = [
    path.strip() for path in sys.stdin
    if not os.path.exists(path.strip() + CLEAN_POSTFIX)
]
process_map(task, paths, max_workers=N_CORES, chunksize=CHUNK_SIZE)
print("Complete, %s articles processed" % len(paths))

split_sentences.py

import sys
import os

from sentence_splitter import split_text_into_sentences
from tqdm.contrib.concurrent import process_map

SPLIT_POSTFIX = ".split"
N_CORES = os.cpu_count()  # or specify explicitly
CHUNK_SIZE = 32

def task(path):
    sentences = []

    try:
        with open(path, encoding="utf-8") as f:
            for paragraph in f:
                sentences += split_text_into_sentences(text=paragraph, language="ru")
    except OSError as e:
        print("split_sentences.py, didn't open: " + path)
        return

    try:
        with open(path + SPLIT_POSTFIX, "w", encoding="utf-8") as f:
            for s in sentences:
                print(s, file=f)
    except OSError as e:
        print("split_sentences.py, didn't write: " + path + SPLIT_POSTFIX)
        return

paths = [
    path.strip() for path in sys.stdin
    if not os.path.exists(path.strip() + SPLIT_POSTFIX)
]
process_map(task, paths, max_workers=N_CORES, chunksize=CHUNK_SIZE)
print("Complete, %s articles processed" % len(paths))