Как настроить обработку GET-параметров в robots.txt с помощью директивы Clean-param

Обработка GET-запросов в robots.txt с помощью директивы Clean-param

ЧЕК-ЛИСТ: ТЕХНИЧЕСКАЯ ЧАСТЬ — ПАНЕЛИ ВЕБ-МАСТЕРОВ

Инструкцию одобрил SEO Classifieds Specialist в Inweb

Виктор Саркисов

Clean-param — это директива, которую задают в корневом файле robots.txt. Используйте ее, чтобы обозначить поиску Яндекса, что на сайте присутствуют динамические параметры и на них следует реагировать определенным способом.

Robots.txt — файл, который расположен в корневой папке сайта. Цель документа — помочь в сканировании сайта, ограничив доступ к неполезным страницам сайта — техническим страницам. Директива, используемая для исключения из поиска страниц, которые обладают динамическими параметрами, называется Clean-param. Предназначение директивы:

обработка GET-запроса (нужно объяснить поисковому краулеру, что на сайте есть динамические GET-параметры);
не создавать и не учитывать дубли страниц при сканировании.

Данная директива работает только для Яндекса, Google иначе решает эту задачу.

Зачем использовать директиву Clean-param в robots.txt

Если у вас, например, интернет-магазин, то, вероятно, присутствуют фильтры. Это значит, что под каждый пункт сортировки автоматически создается новый URL-адрес страницы. Параметры отображены в адресе страницы после символа «?» и распределены амбассадором «&». Например:

Чтобы при запросе «косметика» на веб-сайте пользователь сортировал товар по производителю, бренду, виду, цвету — используются специальные параметры. Каждое сочетание генерирует новые URL.

При сканировании такого адреса поисковый краулер замечает, что контент на странице полностью или частично скопирован. Тогда алгоритм объединяет такие адреса в одну общую группу и самостоятельно решает, который из них достоин оказаться в выдаче. Наличие страниц-дублей указывает поисковой системе, что сайтом не занимаются. В результате она может пессимизировать его рейтинг.

Другой вред, который могут принести такие страницы, если не отрегулировать их сканирование: страницы расходуют краулиноговый бюджет. Чтобы не тратить его впустую, а использовать для полезных страниц, используйте директиву Clean-param.

Настройка директивы clean-param

Скачайте на компьютер robots.txt из корневой папки. Откройте его через Блокнот или Notepad++. Директива clean-param — межсекционная, поэтому ее можно разместить любом месте файла. Учтите, что при перечислении параметров регистр букв имеет значение.

Разделяют перечисление параметров амбассадором «&». Укажите в первом поле через «&» параметры, которые не должны учитываться поисковым роботом при сканировании. Во втором поле напишите префикс пути страниц, к которым применяется это правило.

Примеры внедрения:

Примеры использования директивы Clean-param

Сохраните отредактированный документ и проверьте его правильность. Для этого воспользуйтесь Анализатором robots.txt в Вебмастере. Для проверки загрузите текстовый документ robots.txt или вставьте скопированный текст в пустое поле и нажмите «Проверить».

Если ошибок не обнаружено, то смело загружайте robots.txt в корень сайта. Если ошибки присутствуют, устраните их. Яндекс их подсветит.

Заключение

Clean-param — это директива, которая помогает настроить обработку GET-параметров в robots.txt. Она сообщает поисковому роботу, что данные параметры не дубли и учитывать их в ранжировании не стоит. Неотрегулированное сканирование адресов с Get-параметрами вредит SEO продвижению сайта. Причин несколько:

Параметр генерирует новые адреса страниц, поиск расценивает это как дублирование.

Расходуется краулинговый бюджет, которого впоследствии может не хватить на более ценные страницы.

Сообщите поисковым роботам, как правильно обращаться с такими адресами. Внесите изменения в robots.txt, предварительно скачав его на рабочий стол. Укажите директиву Clean-param для Яндекса. Пропишите параметры, которые не стоит учитывать при сканировании.

Проверяйте правильность документа в анализаторе Яндекса и переносите правильный документ robots.txt в корневую папку сайта.

Эта статья — часть модуля «Список задач» в Serpstat

«Список задач» — готовый to-do лист, который поможет вести учет
о выполнении работ по конкретному проекту. Инструмент содержит готовые шаблоны с обширным списком параметров по развитию проекта, к которым также можно добавлять собственные пункты.

Начать работу со «Списком задач»