Попробуй обновленный Аудит сайта Serpstat

Закрыть

SEO

– Читать 18 минут –

23 мая 2018

Прочитать позже

Что такое robots.txt и как правильно его настроить?

Иллюстрация: Наталья Сорока

Фото Романа Вердыша, автора статьи о настройке robots.txt

Роман Вердыш

Автор блога romanus.ru и директор SEO-компании в Минске acades.by

Служебный файл robots.txt содержит правила для индексации вашего сайта определенными (или всеми) ботами поисковых систем. С его помощью можно попробовать закрыть сайт от индексации Google и оставить его открытым только для Яндекса.

Получится ли? Держите ответ в уме, ниже вы сможете проверить, совпадают ли наши мысли.

Да-да, опять robots.txt — вы всё-всё знаете лучше меня. И я опять буду писать прописные истины, но какого же черта я это делаю?

Я просто оставлю скрин переписки действующего сеошника с программистом (который, конечно же, «шарит в SEO»), после того, как я посоветовал их клиенту закрыть мусор от индексации простым правилом Disallow: *? :

Диалог SEO-специалиста и разработчика о закрытии страницы от индексации

Я замазал фамилии, все же этика и все в этом духе. Но после таких перлов от людей, которые продвигают сайт за деньги и называют себя специалистами мне кажется статья более, чем актуальна :)

Содержание

1. Что такое robots.txt?
1.1. Почему важно управлять индексацией
1.2. Что нужно закрывать в robots.txt
1.3. Влияние файла robots.txt на Яндекс и Google
1.4. Онлайн-генераторы
2. Структура и правильная настройка robots.txt
2.1. Директива User-agent
2.2. Директива Allow
2.3. Директива Disallow
2.4. Директива Host
2.5. Директива Sitemap
2.6. Директива Clean-param
2.7. Директива Crawl-Delay
2.8. Дополнение
3. 6 популярных косяков в robots.txt
4. Пример robots.txt
5. Проверка и валидация
6. Файл robots.txt для популярных CMS
7. Заключение

Для тех, кто не любит читать — я снял короткое видео с пояснениями и основными моментами:

Что такое robots.txt?

robots.txt — это простой текстовый файл, название которого пишется в нижнем регистре и лежит он в корневой директории сайта:

Файл robots.txt в каталоге документов сайта

Если вы правильно его разместили, то он откроется по адресу: site.ru/robots.txt

*Чтобы найти все страницы сайта, которые закрыты в robots.txt, можно использовать «Аудит сайта» Serpstat.

Почему важно управлять индексацией

Если у вас сайт на голом HTML + CSS, т. е. вы каждую страничку верстаете вручную, не используете скрипты и базы данных (сайт из 100 страниц — это 100 HTML-файлов у вас на хостинге), то вам эта статья не нужна. В таких сайтах управлять индексацией незачем.

Но у вас не простой сайт-визитка из пары страниц (хотя и такие уже давно создаются на CMS вроде Wordpress/MODx и других) и вы работаете с любой CMS (а значит и с языками программирования, скриптами, базой данных и т. д.) — то столкнетесь с такими «прелестями», как:

дубли страниц;
мусорные страницы;
недостаточно качественные страницы и многое другое.

Основная проблема в том, что в индекс поисковых систем попадает то, что там быть не должно — страницы, не несущие никакой пользы людям и засоряющие поиск.

Вроде бы не так страшно, место в Яндексе не закончится, но быстро закончится доверие поисковой системы к вашему ресурсу. Как следствие — понижение позиций и трафика, фильтры, депрессия и т. д.

Наличие дублей страниц сайта в индексе поисковика

Когда из 500 страничного сайта в индексе оказывается 3100 страниц

Так же есть такая штука, как краулинговый бюджет — определенное количество страниц, которые робот может просканировать за один раз. Он определяется для каждого сайта индивидуально. Имея кучи незакрытого мусора страницы могут дольше индексироваться из-за того, что им не хватило краулингового бюджета.

SEO-инсайты, которые можно достать из логов серверов

Что нужно закрывать в robots.txt

Чаще всего в индекс попадает следующий хлам:

Страницы поиска. Если вы не собираетесь их модерировать и прорабатывать — закрывайте их от индексации.

Корзина магазина.

Страницы благодарности и оформления заказов.

Иногда имеет смысл закрывать страницы пагинации.

Сравнения товаров.

Сортировки.

Фильтры, если невозможно их оптимизировать и модерировать.

Теги, если вы не можете их оптимизировать и модерировать.

Страницы регистрации и авторизации.

Личный кабинет.

Списки желаний.

Профили юзеров.

Фиды.

Различные лэндинги, созданные только под акции и распродажи.

Системные файлы и каталоги.

Языковые версии, если они не оптимизированы.

Версии для печати.

Пустые страницы и т. д.

Закрывать нужно все, что не полезно для пользователя, не готово, не доработано или является дублем. Изучайте свой сайт и смотрите, какие URL генерируются на выходе.

Даже, если вы сразу не сможете закрыть 100% проблем, остальное дозакрывается на этапе индексации. Не всегда сразу можно понять, какие косяки вылезут, и не всегда они вылезают из-за технических проблем. Существует и человеческий фактор.

Влияние файла robots.txt на Яндекс и Google

Яндекс пока считает правила, описанные в файле, как указания к действию — он не будет индексировать указанные страницы.

Google же считает себя умнее и сам решает что и как ему индексировать. Однако если СРАЗУ закрыть страницы в robots.txt (до выпуска сайт в индекс), то вероятность того, что они попадут в Google намного ниже.

Но как только на закрытые страницы пойдут ссылки или трафик — поисковая система сочтет их нужными для индексации.

Потому в Google надежнее закрывать страницы от индексации через мета-тег robots:

Как задать в robots.txt директивы для роботов Google и Яндекса

<html>
 <head>
  <meta name=“robots” content=“noindex,nofollow”>
  <meta name=“description” content=“Эта страница ….”>
   <title>…</title>
 </head>
<body>

Онлайн-генераторы

По аналогии с sitemap.xml у многих людей может возникнуть мысль о генераторах. Они есть. Они бесплатно. Они нафиг никому не нужны.

Для примера возьмем генератор PR-CY.

Все, что он делает — подставляет за вас слово «Disallow» и «User-agent». Экономии времени — 0, пользы — 0, смысла использовать — тоже 0.

Ищем смысл онлайн-генераторов robots.txt

Пишем все руками, чаще всего достаточно юзер-агентов «*» и Yandex, остальные используйте при необходимости.

Структура и правильная настройка robots.txt

Структура файла robots.txt имеет следующий вид:

Указание робота
- Директивы для выполнения данным роботом
- Дополнительные опции
Указание робота 2
- Директивы для выполнения данным роботом
- Дополнительные опции
И т. д.

Порядок следования директив в файле не играет роли, т. к. поисковая система интерпретирует ваши правила в зависимости от длины префикса URL (от коротких к длинным).

Для понимания:

/catalog — короткий;
/catalog/tag/product — длинный.

Также хочу заметить, что важен регистр написания: Catalog, CataloG и catalog — это 3 разных алиаса (псевдонима страницы).

Давайте разбирать директивы.

Директива User-agent

Здесь указывается робот, для которого будут актуальны правила, которые описаны ниже. Чаще всего встречаются записи:

User-agent: * (для всех роботов);
User-agent: Yandex (конкретно для всех роботов Яндекса).

Я всегда делаю правила для 2 роботов * и Yandex, т. к. ранее были случаи, когда бот Яндекса просто проигнорировал правила в *. С тех пор прошло много времени, но перепроверять сие действие нет желания, проще сделать 2 юзер-агента.

Для Яндекса у нас есть следующие юзер-агенты (если вы решите закрывать страницы именно для конкретного бота, а не всех):

YandexBlogs — робот, индексирующий посты и комментарии;
YandexBot — основной индексирующий робот;
YandexCalendar — робот Яндекс.Календаря;
YandexDirect — скачивает информацию о контенте сайтов-партнеров Рекламной сети, чтобы уточнить их тематику для подбора релевантной рекламы, интерпретирует robots.txt особым образом;
YandexDirectDyn — робот генерации динамических баннеров, интерпретирует robots.txt особым образом;
YaDirectFetcher — робот Яндекс.Директа, интерпретирует robots.txt особым образом;
YandexImages — индексатор Яндекс.Картинок;
YandexMarket — робот Яндекс.Маркета;
YandexMedia — робот, индексирующий мультимедийные данные;
YandexMetrika — робот Яндекс.Метрики;
YandexNews — робот Яндекс.Новостей;
YandexPagechecker — валидатор микроразметки.

Для Google:

APIs-Google — агент пользователя, который API Google применяет для отправки push-уведомлений;
Mediapartners-Google — робот-анализатор AdSense;
AdsBot-Google-Mobile — проверяет качество рекламы на веб-страницах, предназначенных для устройств Android и IOS;
AdsBot-Google — проверяет качество рекламы на веб-страницах, предназначенных для компьютеров;
Googlebot-Image — робот индексирующий картинки;
Googlebot-News — робот Google новостей;
Googlebot-Video — робот Google видео;
Googlebot — основной инструмент для сканирования контента в Интернете;
Googlebot-Mobile — робот индексирующий сайты для мобильных устройств.

Директива Disallow

Запрет указанного URL для индексации. Используется практически в каждом robots.txt, поскольку чаще нужно закрывать мусор, а не открывать отдельные части сайта.

Пример использования:

У нас есть поиск на сайте, который генерирует URL вида:

/search?q=poiskoviy-zapros
/search?q=poiskoviy-zapros-2
/search?q=poiskoviy-zapros-3

Видим, что у него есть основа /search. Смотрим структуру сайта, чтобы убедиться, что с такой же основной нет ничего важного и закрывает весь поиск от индексации:

Disallow: /search

Директива Host

Раньше это был указатель на главное зеркало сайта. Как правило, директива Host указывается в самом конце файла robots.txt:

User-agent: Yandex
Disallow: /cgi-bin
Host: site.ru

Для Google — бесполезная строка. Для Яндекса c 20 марта 2018 года — тоже.
Сейчас достаточно иметь 301 редирект с «Не главного» зеркала на «Главное».

Директива Sitemap

Указание пути до карты сайта. В идеале sitemap.xml должен лежать в корне сайта. Но если ваш путь отличается — данная директива поможет поисковым ботам ее найти.

Важно! Указывайте именно абсолютный путь.

Указывается он так:

Sitemap: https://site.ru/site_structure/my_sitemaps1.xml

Директива Clean-param

Если у вас на сайте есть динамические параметры, которые не влияют на содержимое страницы (идентификаторы сессий, пользователей, рефереров и т. д.) — можно их описать именно этой директивой.

Т. е. вы дадите понять роботу Яндекса, чтобы он не напрягался лишний раз и не сканировал одинаковые страницы, а уделял больше времени важным документам.

Пример от Яндекса:

Например, на сайте есть страницы:

www.example.com/some_dir/get_book.pl?ref=site_1&book_id=123
www.example.com/some_dir/get_book.pl?ref=site_2&book_id=123
www.example.com/some_dir/get_book.pl?ref=site_3&book_id=123

Параметр ref используется только для того, чтобы отследить с какого ресурса был сделан запрос. Он не меняет содержимое — по всем трем адресам будет показана одна и та же страница с книгой book_id=123. Тогда, если указать директиву следующим образом:

Как настроить обработку GET-параметров в robots.txt с помощью директивы Clean-param

User-agent: Yandex
Clean-param: ref /some_dir/get_book.pl

робот Яндекса сведет все адреса страницы к одному:

www.example.com/some_dir/get_book.pl?book_id=123

Если на сайте доступна такая страница, именно она будет участвовать в результатах поиска.

P.S. От себя еще добавлю, что данная директива на практике используется нечасто. В основном для UTM-меток.

Директива Crawl-Delay

Если поисковые роботы сильно грузят ваш сервер, то можно попросить их заходить реже. Честно скажу, что я никогда не юзал данную директиву. Видимо, это для хостингов, которые стоят на балконе в квартире или типа того.

Кажется, что можно заставить бота посещать страницы сайта 10 раз за секунду, указав значение 0.1, но нет:

Реализация:

Crawl-delay: 2.5 — Задаст таймаут в 2.5 секунды

P.S. Я никогда не парюсь и оставляю все на усмотрение Яндекса. Проблем пока не наблюдал.

Дополнение

Символ # — комментирование. Все, что находится после данного символа (в этой же строке) — игнорируется.
Символ * — любая последовательность символов.

Пример использования:

У вас есть товары и в каждом товаре есть отзывы:

Site.ru/product-1/reviews/
Site.ru/product-2/reviews/
Site.ru/product-3/reviews/

У нас отличается товар, но отзывы имеют одинаковый алиас. Закрыть отзывы с помощью Disallow: /reviews мы не можем, т .к. у нас префикс начинается не с /reviews, а с /product-1, /product-2 и т. д.

Следовательно, нам нужно как бы пропустить названия продуктов:

Disallow: /*/reviews

Символ $ — означает конец строки. Чтобы объяснить суть его работы вернемся к примеру выше. Нам также нужно закрыть отзывы, но оставить открытой страницы отзывы от Жорика и его друзей:

Site.ru/product-1/reviews/George
Site.ru/product-1/reviews/Huan
Site.ru/product-1/reviews/Pedro

Если мы используем наш вариант с Disallow: /*/reviews — отзыв Жорика погибнет, как и всех его друзей. Но Жорик оставил хороший отзыв!

Решение:

Disallow: /*/reviews/$

Мы поставили / на конце URL и поставили $, чтобы показать, что на слэше закончилась наша строка.

Да, мы могли просто вернуть отзыв Жорика с помощью Allow и повторить еще 2 раза для 2 других URL, но это не рационально, потому что если завтра нужно будет открыть 1 тыс. отзывов — вы же не будете 1 тыс. строк писать?

6 популярных косяков в robots.txt

На самом деле нет ничего сложного в ковырянии robots.txt. Важно пользоваться валидатором, знать директивы и следить за регистром. Однако стоит избегать некоторых ошибок:

Пустой Disallow

Удобно копировать Disallow, когда пишешь его кучу раз, но потом забываешь удалить пустой и остается строка:

Disallow:

Disallow без указания значения = разрешение к индексации сайта.

Кривое закрытие от Яндекса

Видел, как закрывают сайт от Яндекса методом:

Disallow: Yandex

Название робота всегда пишется в User-Agent.

Ошибка названия

Написать Robots.txt, т. е. нарушить регистр 1 буквы. Все должно быть в нижнем регистре. Сюда же идет написание robots.txt.

Всегда пишется robots.txt

Перечисление папок

Перечисления в директиве Disallow различных каталогов через запятую или пробел. Это так не работает.

Каждое правило идет с новой строки. И либо вы пользуетесь символами * и $ для решения задачи, либо закрываете каждую папку отдельно с новой строки, т. е.:

Disallow: /category-1
Disallow: /category-2

Перечисление файлов

Перечисление файлов, которые нужно закрыть.

Достаточно закрыть папку, и все файлы в ней также будут закрыты для индексации.

Забивание на проверки

Есть люди, которые закрывают страницы, используют сложные правила, но при этом забивают на проверку своего robots.txt в валидаторе, а иногда даже не могут проверить в нем определенные варианты.

Яркий пример этого был в начале поста. Есть много случаев, когда оптимизаторы, не перепроверив данные, закрывали целые разделы сайта.
Всегда используйте валидатор!

Пример robots.txt

В качестве примера я возьму свой блог, и его robots и дам комментарии к каждой строке. Т. к. директивы для Яндекса и прочих роботов одинаковы, я прокомментирую только первую часть. Данный файл не менялся с момента создания блога, потому есть устаревшие моменты:

User-agent: Yandex # Обращение к роботу Яндекса
Disallow: /wp-content/uploads/ # Закрываем всю папку 
Allow: /wp-content/uploads/*/*/ # Открываем папки картинок вида /uploads/close/open/
Disallow: /wp-login.php # Закрытие файла. Делать не нужно 
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin # Закрываем папку
Disallow: /wp-admin # Закрываем все служебные папки в CMS
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback # Закрываем URL содержащие /trackback
Disallow: */feed # Закрываем URL содержащие /feed
Disallow: */comments # Закрываем URL содержащие /comments
Disallow: /archive # Закрываем архивы
Disallow: /?feed= # Закрываем фиды
Disallow: /?s= # Закрываем URL поиска по сайту
Allow: /wp-content/themes/RomanusNew/js* # Открываем только папку js
Allow: /wp-content/themes/RomanusNew/style.css # Открываем файл style.css
Allow: /wp-content/themes/RomanusNew/css* # Открываем только папку css
Allow: /wp-content/themes/RomanusNew/fonts* # Открываем только папку fonts
Host: romanus.ru # Указание главного зеркала, уже неактуально
Sitemap: http://romanus.ru/sitemap.xml # Абсолютная ссылка на карту сайта

Проверка и валидация

Не стоит публиковать файл robots.txt сразу на сайт, лучше зайти в Яндекс Вебмастер и проверить его корректность, а также что именно он закрывает:

анализ robots.txt с помощью Яндекс.Вебмастер

Давайте проверим самые «скользкие» моменты:

Disallow: /wp-content/uploads/
Allow: /wp-content/uploads/*/*/
Disallow: */trackback
Disallow: /?feed=
Disallow: /?s=
Allow: /wp-content/themes/RomanusNew/js*
Allow: /wp-content/themes/RomanusNew/style.css

Итого:

Отлично, все, что нужно — закрыто. Открыты нужные файлы и папки. Так же подсвечивается по какому правилу блочится каждый URL.

Особо внимательные могли увидеть, что открыт для индексации URL http://romanus.ru/random-1/?s=random-page. Дело в том, что у меня URL поиска имеют вид строго site.ru/?s=… Они не могут быть в какой-то папке.

В другом случае, мне пришлось бы заменить правило Disallow: /?s= на Disallow: */?s=

Файл robots.txt для популярных CMS

Сразу скажу, что не стоит в лоб использовать любые найденные в сети файлы robots.txt. Это относится к любым файлам и любой информации.

Поэтому если у вас окажется немного нестандартное решений или дополнительные плагины, которые меняют URL и т. д., то могут быть проблемы с индексацией и закрытием лишнего.

Поэтому предлагаю ознакомиться и взять за основу robots.txt для следующих CMS:

Заключение

Если подвести итог, то алгоритм работы с файлом robots.txt:

Создать и разместить в корне сайта.

Взять за основу типовой robots.txt для своей CMS.

Добавить в него типовые мусорные страницы, описанные в статье.

Просканировать свой сайт любым краулером (типа Screaming Frog SEO Spider или Netpeak Spider), чтобы посмотреть на общую картину URL и того, что вы закрыли. Возможно встретятся еще мусорные страницы.

Пустить сайт в индекс.

Мониторить Яндекс Вебмастер и Google Webmasters на предмет мусорных страниц и оперативно их закрывать от индексации (и делать это не только с помощью robots.txt).

Оцените статью по 5-бальной шкале

4.66 из 5 на основе 54 оценок

Нашли ошибку? Выделите её и нажмите Ctrl + Enter, чтобы сообщить нам.

Рекомендуемые статьи

SEO

Собираем семантическое ядро для сайтов услуг: особенности подхода

Илья Русаков 16 мая 2018 г.

18264

SEO

Игорь Шулежко: «Pinterest и другие источники трафика»

11 мая 2018 г.

5310

SEO

Что учитывать при анализе SERP

Олег Саламаха 07 мая 2018 г.

10959

Влад Наумов

Первый из популярных косяков содержит косяк.

Директива "Disallow: " ≠ "Disallow: / "

http://prntscr.com/jlr37k
http://prntscr.com/jlr3wp
http://prntscr.com/jlr4he

Romanus

У меня подготовлены отмазки от "день рождения был 21-го" и до "магнитных бурь" :)
Но действительно, я накосячил, когда писал.

Disallow без указания значения = разрешение к индексации сайта.

Валерия Очереднюк

Исправили.

Пані Яновська

Когда Вы уже начнете понимать разницу между сканированием и индексированием? Уже и справку Гугла по robots.txt исправили, а все пишут запрещает индексирование. Директивы файла robots.txt носят рекомендационный характер и только на сканирование.

Romanus

Справедливо, но не в контексте robots.txt и людей, которым она нужна.
Т.е. конечная цель - не допустить попадания в индекс, соответственно людям будет понятнее "запрет к индексированию" и это будет верно (если краулер не может просканировать страницу, соответственно он не может ее проиндексировать). Отталкиваемся исходя из аудитории, которой нужна данная информация.

Для Google носит рекомендательный характер - об этом и сказано в статье. Для Яндекса - наоборот.

Пані Яновська

Странный ответ, я так считал, что тут публикуются материалы, которые соответствуют справочным материалам поисковых систем.
В случае с Гугл, такие страницы закрытые в robots.txt от сканирования, могут быть в индексе, правда в скрытых результатах.
При внедрении новой консоли гугл, многие вебмастера были приятно удивлены сообщением "Проиндексировано, несмотря на блокировку в файле robots.txt".

Romanus

https://yandex.ru/support/w... - справка Яндекса. В видео говорить "запрет на индексацию всего сайта". Логично, страницы, которые краулер не может просканировать, индексатор соответственно не может проиндексировать. Но конечное действие в случае с Яндексом - страница с запретом в robots.txt не попадет в индекс.

В случае Google - всё иначе, о чем указано в статье.

Насчет новой консоли это вы про ребрендинг из GWT в Google Search Console в 2015 (или около того)? Если да, то Google мог игнорировать robots.txt еще и раньше.

Читатель

Дякую, мріяв про таку статтю

Andrii Maselko

Подскажите плизз вот что, не могу разобраться.

1. Чем отличаются команды
Disallow: /wp-admin/ от Disallow: /wp-admin или Disallow: /wp-

2. Кажется в инструкции Гугл написано что нельзя от ботов скрывать файлы css и js но какая команда подойдет т.к. все рекомендуют по разному:
Allow: /*/*.js или Allow: /*.js или Allow: *.js или /wp-content/*.js

3. Также и картинки чтобы индексировались нужно открыть для индексации. Дело в том что при публикации картинок Вордпресс автоматически создает свою страницу для каждой картинки (URL) такая страница если на нее зайти по прямой ссылке пустая только с фотографией. Так вот что делать? Плагин Yoast рекомендует: если вы никогда не используете эти URL, лучше деактивировать их и перенаправить их на сам медиа-объект. Т.е. они рекомендуют перенаправить URL вложений на файл вложения. Они делают это если включить перенаправление. Я сейчас отключил это перенаправление и у меня появилась дополнительная карта сайта со страницами фотографий, но интересно что почему то не все фотографии. Вот страница: https://www.nsdancing.com/a...
Что посоветуете делать?

4. Кажется что в файле robots также нужно открыть длоя индексации все файлы изображений, но какой командой? В инете предлагают кучу вариантов:
Allow: /wp-content/uploads/ или Allow: /wp-content/*.jpg или Allow: /wp-*.jpg или Allow: /*.jpg или Allow: *.jpg

5. Как рекомендуют спецы по настройке файла для robots.txt всякий раз когда я вставляю команду Allow: /wp-admin/admin-ajax.php то позже в Гугл сорч консоли появляется ошибка с ответом сервера 400 именно на эту команду. Что мне делать?

Пожалуйста подскажите как лучше. Спасибо!