Мы используем файлы cookie для обеспечения работоспособности сервиса, улучшения навигации и маркетинговых активностей Serpstat. Нажимая "Принять и продолжить", вы соглашаетесь с нашей Политика конфиденциальности

Сообщить об ошибке

Отменить
14179
How-to Читать 4 минуты

Как настроить обработку GET-параметров в robots.txt с помощью директивы Clean-param

Обработка GET-запросов в robots.txt с помощью директивы Clean-param
ЧЕК-ЛИСТ: ТЕХНИЧЕСКАЯ ЧАСТЬ — ПАНЕЛИ ВЕБ-МАСТЕРОВ
Инструкцию одобрил SEO Classifieds Specialist в Inweb
Clean-param — это директива, которую задают в корневом файле robots.txt. Используйте ее, чтобы обозначить поиску Яндекса, что на сайте присутствуют динамические параметры и на них следует реагировать определенным способом.
Robots.txt — файл, который расположен в корневой папке сайта. Цель документа — помочь в сканировании сайта, ограничив доступ к неполезным страницам сайта — техническим страницам. Директива, используемая для исключения из поиска страниц, которые обладают динамическими параметрами, называется Clean-param. Предназначение директивы:

  • обработка GET-запроса (нужно объяснить поисковому краулеру, что на сайте есть динамические GET-параметры);
  • не создавать и не учитывать дубли страниц при сканировании.

Данная директива работает только для Яндекса, Google иначе решает эту задачу.

Зачем использовать директиву Clean-param в robots.txt

Если у вас, например, интернет-магазин, то, вероятно, присутствуют фильтры. Это значит, что под каждый пункт сортировки автоматически создается новый URL-адрес страницы. Параметры отображены в адресе страницы после символа «?» и распределены амбассадором «&». Например:
Фильтры в URL-адресе
Чтобы при запросе «косметика» на веб-сайте пользователь сортировал товар по производителю, бренду, виду, цвету — используются специальные параметры. Каждое сочетание генерирует новые URL.

При сканировании такого адреса поисковый краулер замечает, что контент на странице полностью или частично скопирован. Тогда алгоритм объединяет такие адреса в одну общую группу и самостоятельно решает, который из них достоин оказаться в выдаче. Наличие страниц-дублей указывает поисковой системе, что сайтом не занимаются. В результате она может пессимизировать его рейтинг.

Другой вред, который могут принести такие страницы, если не отрегулировать их сканирование: страницы расходуют краулиноговый бюджет. Чтобы не тратить его впустую, а использовать для полезных страниц, используйте директиву Clean-param.

Настройка директивы clean-param

Скачайте на компьютер robots.txt из корневой папки. Откройте его через Блокнот или Notepad++. Директива clean-param — межсекционная, поэтому ее можно разместить любом месте файла. Учтите, что при перечислении параметров регистр букв имеет значение.

Разделяют перечисление параметров амбассадором «&». Укажите в первом поле через «&» параметры, которые не должны учитываться поисковым роботом при сканировании. Во втором поле напишите префикс пути страниц, к которым применяется это правило.
Настройка директивы Clean-param
Примеры внедрения:
Примеры директивы Clean-param
Примеры использования директивы Clean-param
Сохраните отредактированный документ и проверьте его правильность. Для этого воспользуйтесь Анализатором robots.txt в Вебмастере. Для проверки загрузите текстовый документ robots.txt или вставьте скопированный текст в пустое поле и нажмите «Проверить».
Анализ robots.txt в Яндексе
Если ошибок не обнаружено, то смело загружайте robots.txt в корень сайта. Если ошибки присутствуют, устраните их. Яндекс их подсветит.

Заключение

Clean-param — это директива, которая помогает настроить обработку GET-параметров в robots.txt. Она сообщает поисковому роботу, что данные параметры не дубли и учитывать их в ранжировании не стоит. Неотрегулированное сканирование адресов с Get-параметрами вредит SEO продвижению сайта. Причин несколько:
    1
    Параметр генерирует новые адреса страниц, поиск расценивает это как дублирование.
    2
    Расходуется краулинговый бюджет, которого впоследствии может не хватить на более ценные страницы.
    Сообщите поисковым роботам, как правильно обращаться с такими адресами. Внесите изменения в robots.txt, предварительно скачав его на рабочий стол. Укажите директиву Clean-param для Яндекса. Пропишите параметры, которые не стоит учитывать при сканировании.

    Проверяйте правильность документа в анализаторе Яндекса и переносите правильный документ robots.txt в корневую папку сайта.
    Эта статья — часть модуля «Список задач» в Serpstat
    Как настроить обработку GET-параметров в robots.txt с помощью директивы Clean-param 16261788189416
    «Список задач» — готовый to-do лист, который поможет вести учет
    о выполнении работ по конкретному проекту. Инструмент содержит готовые шаблоны с обширным списком параметров по развитию проекта, к которым также можно добавлять собственные пункты.
    Начать работу со «Списком задач»

    Сэкономьте время на изучении Serpstat

    Хотите получить персональную демонстрацию сервиса, тестовый период или эффективные кейсы использования Serpstat?

    Оставьте заявку и мы свяжемся с вами ;)

    Оцените статью по 5-бальной шкале

    2.74 из 5 на основе 19 оценок
    Нашли ошибку? Выделите её и нажмите Ctrl + Enter, чтобы сообщить нам.