Serpstat использует файлы cookie для обеспечения работоспособности сервиса, улучшения навигации, предоставления возможности связаться с командой поддержки, а также маркетинговых активностей Serpstat.

Нажав кнопку "Принять и продолжить", вы соглашаетесь с Политики конфиденциальности

Принять и продолжить

Закрыть

Сообщить об ошибке

Отменить
2604 2
How-to Читать 4 минуты 16 ноября 2018

Как настроить обработку GET-параметров в robots.txt с помощью директивы Clean-param

Обработка GET-запросов в robots.txt с помощью директивы Clean-param
ЧЕК-ЛИСТ: ТЕХНИЧЕСКАЯ ЧАСТЬ — ПАНЕЛИ ВЕБ-МАСТЕРОВ
Инструкцию одобрил SEO Classifieds Specialist в Inweb
Clean-param — это директива, которую задают в корневом файле robots.txt. Используйте ее, чтобы обозначить поиску Яндекса, что на сайте присутствуют динамические параметры и на них следует реагировать определенным способом.
Robots.txt — файл, который расположен в корневой папке сайта. Цель документа — помочь в сканировании сайта, ограничив доступ к неполезным страницам сайта — техническим страницам. Директива, используемая для исключения из поиска страниц, которые обладают динамическими параметрами, называется Clean-param. Предназначение директивы:

  • обработка GET-запроса (нужно объяснить поисковому краулеру, что на сайте есть динамические GET-параметры);
  • не создавать и не учитывать дубли страниц при сканировании.

Данная директива работает только для Яндекса, Google иначе решает эту задачу.

Зачем использовать директиву Clean-param в robots.txt

Если у вас, например, интернет-магазин, то, вероятно, присутствуют фильтры. Это значит, что под каждый пункт сортировки автоматически создается новый URL-адрес страницы. Параметры отображены в адресе страницы после символа «?» и распределены амбассадором «&». Например:
Фильтры в URL-адресе
Чтобы при запросе «косметика» на веб-сайте пользователь сортировал товар по производителю, бренду, виду, цвету — используются специальные параметры. Каждое сочетание генерирует новые URL.

При сканировании такого адреса поисковый краулер замечает, что контент на странице полностью или частично скопирован. Тогда алгоритм объединяет такие адреса в одну общую группу и самостоятельно решает, который из них достоин оказаться в выдаче. Наличие страниц-дублей указывает поисковой системе, что сайтом не занимаются. В результате она может пессимизировать его рейтинг.

Другой вред, который могут принести такие страницы, если не отрегулировать их сканирование: страницы расходуют краулиноговый бюджет. Чтобы не тратить его впустую, а использовать для полезных страниц, используйте директиву Clean-param.

Настройка директивы clean-param

Скачайте на компьютер robots.txt из корневой папки. Откройте его через Блокнот или Notepad++. Директива clean-param — межсекционная, поэтому ее можно разместить любом месте файла. Учтите, что при перечислении параметров регистр букв имеет значение.

Разделяют перечисление параметров амбассадором «&». Укажите в первом поле через «&» параметры, которые не должны учитываться поисковым роботом при сканировании. Во втором поле напишите префикс пути страниц, к которым применяется это правило.
Настройка директивы Clean-param
Примеры внедрения:
Примеры директивы Clean-param
Примеры использования директивы Clean-param
Сохраните отредактированный документ и проверьте его правильность. Для этого воспользуйтесь Анализатором robots.txt в Вебмастере. Для проверки загрузите текстовый документ robots.txt или вставьте скопированный текст в пустое поле и нажмите «Проверить».
Анализ robots.txt в Яндексе
Если ошибок не обнаружено, то смело загружайте robots.txt в корень сайта. Если ошибки присутствуют, устраните их. Яндекс их подсветит.

Заключение

Clean-param — это директива, которая помогает настроить обработку GET-параметров в robots.txt. Она сообщает поисковому роботу, что данные параметры не дубли и учитывать их в ранжировании не стоит. Неотрегулированное сканирование адресов с Get-параметрами вредит SEO продвижению сайта. Причин несколько:
    1
    Параметр генерирует новые адреса страниц, поиск расценивает это как дублирование.
    2
    Расходуется краулинговый бюджет, которого впоследствии может не хватить на более ценные страницы.
    Сообщите поисковым роботам, как правильно обращаться с такими адресами. Внесите изменения в robots.txt, предварительно скачав его на рабочий стол. Укажите директиву Clean-param для Яндекса. Пропишите параметры, которые не стоит учитывать при сканировании.

    Проверяйте правильность документа в анализаторе Яндекса и переносите правильный документ robots.txt в корневую папку сайта.
    Эта статья — часть модуля «Список задач» в Serpstat
    «Список задач» — готовый to-do лист, который поможет вести учет
    о выполнении работ по конкретному проекту. Инструмент содержит готовые шаблоны с обширным списком параметров по развитию проекта, к которым также можно добавлять собственные пункты.
    Начать работу со «Списком задач»

    Сэкономьте время на изучении Serpstat

    Хотите получить персональную демонстрацию сервиса, тестовый период или эффективные кейсы использования Serpstat?

    Оставьте заявку и мы свяжемся с вами ;)

    Оцените статью по 5-бальной шкале

    1.8 из 5 на основе 5 оценок
    Нашли ошибку? Выделите её и нажмите Ctrl + Enter, чтобы сообщить нам.

    Поделитесь статьей с вашими друзьями

    Войти Регистрация

    Вы исчерпали лимит запросов.

    Или email
    Забыли пароль?
    Или email
    Back To Login

    Не волнуйтесь! Напишите свой электронный адрес и мы пришлем вам новый пароль.

    Вы уверены?

    Awesome!

    To complete your registration you need to enter your phone number

    Назад

    Мы отправили код подтверждения на ваш номер телефона

    Your phone Resend code Осталось запросов

    Что-то пошло не так.

    Свяжитесь с нашей службой поддержки
    Или подтвердите регистрацию с помощью Телеграм бота Перейдите по этой ссылке
    Выберите один из проектов

    Знакомство с сервисом

    Ознакомьтесь с основными возможностями Serpstat удобным способом!

    Отправьте заявку для ознакомления с сервисом и мы свяжемся с вами в кратчайшие сроки. Наш специалист предложит подходящий вариант, который может включать персональную демонстрацию, пробный период, материалы для обучения и повышения экспертизы, личную консультацию, а также комфортные условия для начала работы с Serpstat.

    Имя

    Email

    Телефон

    Будем рады вашему комментарию
    Увеличить лимиты

    Улучшить тариф

    Экспорт недоступен для вашего тарифного плана. Вам необходимо улучшить свой тариф до Lite или выше, чтобы получить доступ к инструменту Подробнее

    Зарегистрироваться

    Спасибо, мы с вами свяжемся в ближайшее время

    Пригласить
    Просмотр Редактирование

    E-mail
    Сообщение
    необязательно
    E-mail
    Сообщение
    необязательно

    У вас закончились лимиты

    Вы достигли лимита на количество созданных проектов и больше не можете создавать новые проекты. Увеличьте лимиты или удалите существующие проекты.

    Я хочу больше лимитов