Как настроить обработку GET-параметров в robots.txt с помощью директивы Clean-param

Если у вас, например, интернет-магазин, то, вероятно, присутствуют фильтры. Это значит, что под каждый пункт сортировки автоматически создается новый URL-адрес страницы. Параметры отображены в адресе страницы после символа «?» и распределены амбассадором «&». Например:

Чтобы при запросе «косметика» на веб-сайте пользователь сортировал товар по производителю, бренду, виду, цвету — используются специальные параметры. Каждое сочетание генерирует новые URL.

При сканировании такого адреса поисковый краулер замечает, что контент на странице полностью или частично скопирован. Тогда алгоритм объединяет такие адреса в одну общую группу и самостоятельно решает, который из них достоин оказаться в выдаче. Наличие страниц-дублей указывает поисковой системе, что сайтом не занимаются. В результате она может пессимизировать его рейтинг.

Другой вред, который могут принести такие страницы, если не отрегулировать их сканирование: страницы расходуют краулиноговый бюджет. Чтобы не тратить его впустую, а использовать для полезных страниц, используйте директиву Clean-param.

Скачайте на компьютер robots.txt из корневой папки. Откройте его через Блокнот или Notepad++. Директива clean-param — межсекционная, поэтому ее можно разместить любом месте файла. Учтите, что при перечислении параметров регистр букв имеет значение.

Разделяют перечисление параметров амбассадором «&». Укажите в первом поле через «&» параметры, которые не должны учитываться поисковым роботом при сканировании. Во втором поле напишите префикс пути страниц, к которым применяется это правило.

Примеры внедрения:

Сохраните отредактированный документ и проверьте его правильность. Для этого воспользуйтесь Анализатором robots.txt в Вебмастере. Для проверки загрузите текстовый документ robots.txt или вставьте скопированный текст в пустое поле и нажмите «Проверить».

Если ошибок не обнаружено, то смело загружайте robots.txt в корень сайта. Если ошибки присутствуют, устраните их. Яндекс их подсветит.

Clean-param — это директива, которая помогает настроить обработку GET-параметров в robots.txt. Она сообщает поисковому роботу, что данные параметры не дубли и учитывать их в ранжировании не стоит. Неотрегулированное сканирование адресов с Get-параметрами вредит SEO продвижению сайта. Причин несколько:

Сообщите поисковым роботам, как правильно обращаться с такими адресами. Внесите изменения в robots.txt, предварительно скачав его на рабочий стол. Укажите директиву Clean-param для Яндекса. Пропишите параметры, которые не стоит учитывать при сканировании.

Проверяйте правильность документа в анализаторе Яндекса и переносите правильный документ robots.txt в корневую папку сайта.