ratik/tz_backend.md

## tz_backend.md

      
    Raw
  

              tz_backend.md
            
          
    Необходимо создать консольную (работающую из командной строки) утилиту. Программа спрашивает домен и забирает с введённого адреса файл robots.txt. Затем скрипт парсит файл и выводит его содержимое в виде объекта. Ключами объекта являются параметры User-Agent, а значениями — вложенный объект. Вложенный объект содержит два поля Allow и Dissallow, каждый из которых является массивом соответствующих URL из robots.txt.


Код выложить на GitHub


Код должен быть написан на Node.js


Пример:
{
  "*": {
      "Disallow": ["/cgi-bin"],
      "Allow": ["/"]
   },
  "GoogleBot": {
      "Disallow": ["/cgi-bin"],
      "Allow": ["/"]
   }
}