Robots.txt template

robots.txt

User-agent: *
Allow: /

Disallow: /cgi-bin  # классика..
Disallow: /?  # все параметры запроса на главной
Disallow: /wp-  # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: *?s=  # поиск
Disallow: *&s=  # поиск
Disallow: /search  # поиск
Disallow: /author/  # архив автора
Disallow: *?attachment_id=  # страница вложения
Disallow: */trackback  # все трекбеки
Disallow: */feed  # все фиды
Disallow: */embed  # все встраивания
Disallow: */page/  # все виды пагинации
Allow: /archives/*  # открываем content
Allow: */uploads  # открываем uploads
Allow: /*/*.js  # внутри /wp- (/*/ - для приоритета)
Allow: /*/*.css  # внутри /wp- (/*/ - для приоритета)
Allow: /wp-*.png  # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpg  # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.jpeg  # картинки в плагинах, cache папке и т.д.
Allow: /wp-*.gif  # картинки в плагинах, cache папке и т.д.

Crawl-delay: 3  # минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей для поисковых роботов

Host: https://site.com
Sitemap: https://site.com/sitemap.xml