Скрипт формирования adfree файла hosts на маршрутизаторе

make_hosts.sh

#!/bin/sh

LINKS="http://winhelp2002.mvps.org/hosts.txt http://someonewhocares.org/hosts/zero/hosts"

PATH_ADFREE=/tmp/adfree
FILE_HOSTS=$PATH_ADFREE/adhosts
FILE_UPDATED=$PATH_ADFREE/updated

FILE_RAWLIST=$PATH_ADFREE/raw.list
FILE_TOTLIST=$PATH_ADFREE/tot.list

HOSTS="0.0.0.0 s1.2mdn.net
0.0.0.0 devads.skypeassets.net
0.0.0.0 devapps.skype.net
0.0.0.0 qawww.skypeassets.net
0.0.0.0 qaapi.skype.net
0.0.0.0 preads.skypeassets.net
0.0.0.0 preapps.skype.net
0.0.0.0 apps.skype.com
0.0.0.0 api.skype.com
0.0.0.0 static.skypeassets.com
0.0.0.0 serving.plexop.net
0.0.0.0 flex.msn.com
0.0.0.0 cdn.mbstatic.org
0.0.0.0 marathonbet.com
0.0.0.0 megogo.net
0.0.0.0 adselector.ru
0.0.0.0 pluso.ru
0.0.0.0 flash.begun.ru"

mkdir -p $PATH_ADFREE

# Сохранить предыдущую версию статистики по списку 
if test -f $FILE_UPDATED
then
  mv -f $FILE_UPDATED $FILE_UPDATED.prev
fi

rm -f $FILE_TOTLIST

# Закачать все списки и объединить их в один
for url in $LINKS
do
  # Закачать список в сыром виде
  # sed-обработка нужна для удаления символа ^M в конце каждой строки (Windows-кодировка)
  wget $url -O - | sed 's/^\(.*\).$/\1/' > $FILE_RAWLIST

  # Вытащить из списка дату его обновления
  cat $FILE_RAWLIST | head -n 20 | grep pdated: >> $FILE_UPDATED

  # Добавить в итоговый список только строки с хостами
  cat $FILE_RAWLIST | grep -e '^0' >> $FILE_TOTLIST
  rm $FILE_RAWLIST
done

# Прибавить дополнительные хосты
echo "$HOSTS" >> $FILE_TOTLIST

# Удалить дублирующие строки и отсортировать итоговый список
cat $FILE_TOTLIST | sort -u > $FILE_HOSTS
rm $FILE_TOTLIST

# Подсчитать количество хостов в итоговом списке
wc -l $FILE_HOSTS | cut -d' ' -f 1 >> $FILE_UPDATED

# -------------------------------------------------------------------
# Далее специфично для DD-WRT-прошивки роутера

# Заставить dnsmasq пересчитать hosts-файл
# killall -SIGHUP dnsmasq

# Перезапустить dnsmasq
# Такой способ перезапуска позволяет не указывать в Web-админке роутера
# дополнительную опцию сервиса DNSMasq для ссылки на adfree-hosts-файл
#grep addn-hosts /tmp/dnsmasq.conf || echo "addn-hosts=$FILE_HOSTS" >> /tmp/dnsmasq.conf
#killall dnsmasq
#dnsmasq --conf-file=/tmp/dnsmasq.conf

# После перезапуска dnsmasq можно удалить adhosts-файл для экономии RAM-памяти на роутере
# так как он закачивается в кэш dnsmasq
#sleep 1
#rm $FILE_HOSTS