Как настроить обработку GET-параметров в Google и Яндексе

ЧЕК-ЛИСТ: ТЕХНИЧЕСКАЯ ЧАСТЬ — ПАНЕЛИ ВЕБ-МАСТЕРОВ

Инструкцию одобрил SEO Classifieds Specialist в Inweb

Виктор Саркисов

GET-параметры — это все параметры, которые содержатся в URL адресе после знака «?», разделенные амперсандом «&». Разберемся, как настроить их индексацию в Google и Яндекс, чтобы избежать дублирования.

Основной риск GET-параметра заключается в получении множества URL страниц с идентичным контентом и тратой краулингового бюджета роботов без необходимости. Бюджета может не хватить на сканирование полезных страниц. Это приводит к пессимизации страниц-дублей в SERP.

GET-запрос позволяет передать определенные показатели, например, номер товара или номер заказа. Однако в результате могут возникнуть страницы-дубли, например, в интернет-магазинах, где генерируется большое количество страниц. Пример:

Параметры бывают разными. Рассмотрим на примере URL с идентичным контентом. Существует идентификатор сеанса — прибавляемое число к URL, которое создает новую страницу для пользователя с особым для него содержанием. Это позволяет, например, демонстрировать каждому пользователю свою корзину.

Параметры используются не для того, чтобы разделять пользователей. Их цель — чтобы, например, при запросе «ботинки» на сайте обуви пользователь отфильтровал товар по бренду, цвету, размеру, материалу. При этом каждое сочетание будет добавлять новые параметры к существующему URL. Страницы не будут сильно отличаться по содержанию. Это приведет к созданию полных или частичных копий.

Одинаковая страница с разными URL из-за фильтров

Когда поисковые системы находят такие URL и начинают их сканировать, они замечают дублирование информации. Алгоритм группирует адреса и выбирает среди них один для отображения в SERP. Он определяет «победителя» по своему усмотрению и повлиять на него не получится.

Однако вы можете самостоятельно указать поисковой системе, как правильно обрабатывать такие URL, чтобы не допускать расхода краулингового бюджета на дублирующиеся страницы, которого впоследствии окажется недостаточно для полезных страниц, приносящих трафик.

Настройка обработки GET-параметров в Google

Помочь поисковой системе правильно обработать URL может инструмент, содержащийся в Google Search Console — «Параметры URL». Он классифицирует параметры. Поэтому, например, если у вас международный интернет-магазин, страницы не будут дублироваться в поиске при настроенном параметре «Country».

Как настроить обработку GET-запроса?

Перейдите в инструмент по ссылке или через раздел Сканирования, как на картинке:

Параметры URL адреса в Google Search Console

Добавьте параметры и укажите, изменяется ли содержание страниц. Введите параметр так, как в самом URL. Учтите, что регистр букв имеет значение:

Добавление параметров URL в Google Search Console

GET-параметры в Google делятся на два вида:

активные;
пассивные.

Активные параметры: brand, gender, country и sortorder изменяют содержимое на странице. Они сортируют, ограничивают, переводят язык, разделяют постранично, делают выборки. Пассивные параметры: sessionid или affiliateid действуют наоборот — не изменяют контент, позволяют вести статистику по просмотрам и переходам. К пассивным параметрам относится идентификатор сеансов. URL адреса на картинке отображают один и тот же контент:

Если содержание страницы изменяется, то уточните, как именно это происходит в соответствующем меню:

Настройка параметров URL в Google Search Console

Укажите, какие URL адреса с подобным параметром Google должен сканировать. Разберем каждый из предложенных:

«На усмотрение Googlebot» — это универсальный вариант, который следует выбрать, если вы точно не уверены в том, как работает параметр либо его действие может изменяться. Googlebot просканирует его и самостоятельно определит лучший метод для обработки параметра;
«Каждый URL-адрес». Настройка позволяет системе определять уникальность содержимого. Используйте этот вариант в том случае, если вы уверены, что параметр редактирует содержание страницы. Иначе система просканирует дубль контента;

Обработка и сканирование GET-параметров в Google Search Console

«Только URL со значением» означает, что поисковый робот сканирует страницы с параметром, значение которого выбрали вы, а остальные проигнорирует. Применять такую настройку следует, когда значение параметра дает возможность менять порядок показа контента;

Пример сканирования URL со значением в Google Search Console

«Никакие URL» запрещает сканировать адреса, которые содержат определенный параметр.

Предотвращение повторного сканирования в Google Search Console

Сохраните настройки после того, как определились, как Google должен сканировать адреса. Так вы завершите настройку параметров.
В дальнейшем их можно отредактировать либо удалить.

Сохранение параметров URL в Google Search Console

Управление URL с несколькими параметрами означает, что если в одном адресе содержится несколько параметров, необходимо задать порядок индексирования. Если настройки не задать, Google отдаст предпочтение параметру со строгими правилами.

Индексирование URL c параметрами в Google Search Console

Настройка обработки GET-запроса в Яндекс

Подобного инструмента для Яндекса нет. Чтобы настроить корректную обработку данных GET-параметров используют другие методы:

robots.txt: директива clean-param для cof, cx;
noindex/nofollow;
canonical.

Robots.txt не гарантирует, что страницы с параметрами не вылезут в поиске. Для Яндекса robots.txt является директивой. Google воспринимает файл как рекомендацию. Если знать, какие фрагменты присутствуют в url с GET-параметром, то их можно заранее закрыть в robots.txt. В Google метод применяют в совокупности с другими способами, например, прописывают канонические страницы canonical.

Использование noindex/nofollow как отдельного способа не всегда корректно, из-за этого его применяют реже.

Пропишите канонические адреса для параметров страниц. Используйте в файле robots.txt директиву Clean-param. Директива перечисляет для поискового робота параметры, которые не следует учитывать при сканировании. Для перечисления используется символ «&».

Перечислите параметры в первом поле, разделяя их амбассадором. Во втором поле укажите префикс пути страницы, для которой данное правило применяется. Директива межсекционная, поэтому может быть расположена в любом месте файла, если же таких директив несколько, то робот учтет все. Регистр букв имеет значение, также действует ограничение на объем — до 500 символов. Рассмотрим примеры реализации директивы:

Примеры директивы Clean-param в robots.txt

Отредактируйте sitemap.xml так, чтобы она не вела робота на закрытые страницы.

Заключение

HTTP GET-запрос необходим, чтобы отобразить пользователю страницу с измененным для него контентом. Подходящий пример — это фильтры в интернет-магазинах. В URL адресе данные параметры отображаются после символа «?» с разделением через «&» . Ссылка такого формата:

Индексирование таких страниц может стать проблемой, так как поисковые роботы определяют их как дубли из-за полностью или частично совпадающего контента. Еще один риск — трата краулингового бюджета поисковых роботов. В результате не будут просканированы полезные страницы, приносящие трафик.

Настроить обработку GET-параметров в Google несложно:

Перейдите в Google Search Console и выберите инструмент «Параметры URL», который содержится в меню «Сканирование».

Добавьте параметры, которые есть в адресе, и задайте метод их обработки для Google.

Выберите, как должен Google сканировать активные страницы:

на усмотрение Googlebot;
каждый URL-адрес;
только URL со значением;
никакие URL.

Для Яндекса существуют другие способы настройки обработки параметров. Задать их необходимо, перечислив параметры в корневом файле robots.txt, используя директиву Clean-param. Директива межсекционная и может располагаться в любом месте. В первом поле перечислите параметры, которые поиск не должен учитывать, а во втором напишите префикс пути страницы, для которой применяется правило.

Для Google дополнительно пропишите канонические адреса canonical и внесите изменения в карту sitemap.xml.

Эта статья — часть модуля «Список задач» в Serpstat

«Список задач» — готовый to-do лист, который поможет вести учет
о выполнении работ по конкретному проекту. Инструмент содержит готовые шаблоны с обширным списком параметров по развитию проекта, к которым также можно добавлять собственные пункты.

Начать работу со «Списком задач»