Как настроить обработку GET-параметров в robots.txt с помощью директивы Clean-param

- обработка GET-запроса (нужно объяснить поисковому краулеру, что на сайте есть динамические GET-параметры);
- не создавать и не учитывать дубли страниц при сканировании.
Данная директива работает только для Яндекса, Google иначе решает эту задачу.
Зачем использовать директиву Clean-param в robots.txt

При сканировании такого адреса поисковый краулер замечает, что контент на странице полностью или частично скопирован. Тогда алгоритм объединяет такие адреса в одну общую группу и самостоятельно решает, который из них достоин оказаться в выдаче. Наличие страниц-дублей указывает поисковой системе, что сайтом не занимаются. В результате она может пессимизировать его рейтинг.
Другой вред, который могут принести такие страницы, если не отрегулировать их сканирование: страницы расходуют краулиноговый бюджет. Чтобы не тратить его впустую, а использовать для полезных страниц, используйте директиву Clean-param.
Настройка директивы clean-param
Разделяют перечисление параметров амбассадором «&». Укажите в первом поле через «&» параметры, которые не должны учитываться поисковым роботом при сканировании. Во втором поле напишите префикс пути страниц, к которым применяется это правило.




Заключение
Проверяйте правильность документа в анализаторе Яндекса и переносите правильный документ robots.txt в корневую папку сайта.

о выполнении работ по конкретному проекту. Инструмент содержит готовые шаблоны с обширным списком параметров по развитию проекта, к которым также можно добавлять собственные пункты.
Serpstat — набор инструментов для поискового маркетинга!
Находите ключевые фразы и площадки для обратных ссылок, анализируйте SEO-стратегии конкурентов, ежедневно отслеживайте позиции в выдаче, исправляйте SEO-ошибки и управляйте SEO-командами.
Набор инструментов для экономии времени на выполнение SEO-задач.
Кейсы, лайфхаки, исследования и полезные статьи
Не успеваешь следить за новостями? Не беда! Наш любимый редактор подберет материалы, которые точно помогут в работе. Только полезные статьи, реальные кейсы и новости Serpstat раз в неделю. Присоединяйся к уютному комьюнити :)
Нажимая кнопку, ты соглашаешься с нашей политикой конфиденциальности.