SEO-оптимизация профиля в Инстаграм для успешного продвижения
Как найти и удалить дубли страниц на сайте: инструкция для новичков

Дубликаты: в чем опасность?

Возвращаясь к сайтам: в той же ситуации оказывается и поисковая система, когда ей нужно выбрать из двух одинаковых страниц одну и показать ее в результатах выдачи.
Конечно, поисковик учитывает и другие параметры при ранжировании, такие как внешние и внутренние ссылки, поведение пользователей, но факт остается фактом: из 2-х одинаково красных яблок, Google или Yandex должны выбрать одно. В этом-то и состоит вся трудность.
Возникновение такой дилеммы может привести к различным негативным последствиям:
- Снижению релевантности основной посадочной страницы, а, значит, и снижению позиций ключевых слов.
- «Скачкам» позиций ключевых слов за счет постоянной смены релевантной привязки с одной страницы на другую.
- Общему понижению в ранжировании, когда проблема приобретает масштабы не отдельных URL, а всего сайта.
Какими бывают дубли?
- Полные дубли — когда одна и та же страница размещена по 2-м и более адресам.
- Частичные дубли — когда определенная часть контента дублируется на ряде страниц, но они уже не являются полными копиями.
Полные дубликаты — откуда они берутся?
Такую проблему еще часто называют: «Не выбрано главное зеркало сайта».
http://mysite.com/index,
http://mysite.com/index/,
http://mysite.com/index.php,
http://mysite.com/index.php/,
http://mysite.com/index.html,
http://mysite.com/index.html/.
Один из этих URL может быть адресом главной страницы по умолчанию.
Когда пользователь приходит по URL адресу с параметром «?ref=…», должно происходить автоматическое перенаправление на URL без параметра, что, к сожалению, часто забывают реализовать разработчики.
Так, например, один и тот же товар может быть доступен по четырем разным URL-адресам:
http://mysite.com/catalog/dir/tovar.php,
http://mysite.com/catalog/tovar.php,
http://mysite.com/tovar.php,
http://mysite.com/dir/tovar.php.
http://mysite.com/olololo-test-olololo
где текст, выделенным красным — это любой набор латинских символов и цифр.
Данные метки нужны для того, чтобы передавать некоторые дополнительные данные в системы контекстной рекламы и статистики. Несмотря на то, что, по идее, они не должны индексироваться поисковыми системами, частенько можно встретить полный дубль страницы с utm-меткой в выдаче.
Полные дубли представляют серьезную опасность с точки зрения SEO, так как критично воспринимаются поисковыми системами и могут привести к серьезным потерям в ранжировании и даже к наложению фильтра, пессимизирующего весь сайт.
Частичные дубликаты — что представляют из себя?
Как правило, каким-то образом меняя выводимый товарный ассортимент на странице категории магазина, страница изменяет свой URL (фактически все случаи, когда вывод не организован посредством скриптов). При этом SEO-текст, заголовки, часто и мета-данные — не меняются. Например:
http://mysite.com/catalog/category/ — стартовая страница категории товаров
http://mysite.com/catalog/category/?page=2 — страница пагинации
При том, что URL адрес изменился и поисковая система будет индексировать его как отдельную страницу, основной SEO-контент будет продублирован.

Достаточно часто можно встретить ситуацию, когда при выборе соответствующей вкладки на странице товара, происходит добавление параметра в URL-адрес, но сам контент фактически не меняется, а просто открывается новый таб.
Данные страницы полностью дублируют ценный SEO-контент основных страниц сайта, но имеют упрощенную версию по причине отсутствия большого количества строк кода, обеспечивающего работу функционала. Например:
http://mysite.com/main/hotel/al12188 — страница отеля
http://mysite.com/main/hotel/al12188/print — ЧБ версия для печати
http://mysite.com/main/hotel/al12188/print?color=1 — Цветная версия для печати.
Найти их можно заменив в оригинальном URL-адресе страницы «!#» на «?_escaped_fragment_=». Как правило, в индекс такие страницы попадают только тогда, когда были допущены ошибки в имплементации метода индексации AJAX страниц посредством перенаправления бота на страницу-слепок и робот обрабатывает два URL-адреса: основной и его Html-версию.
Основная опасность частичных дублей в том, что они не приводят к резким потерям в ранжировании, а делают это постепенно и незаметно для владельца сайта. То есть найти их влияние сложнее и они могут систематически, на протяжении долгого времени «отравлять жизнь» оптимизатору.
C помощью каких инструментов искать дубли?
1. Мониторинг выдачи посредством оператора «site:»

2. Десктопные программы-парсеры и сервисы

Пример отчета по выявлению потенциальных дублей из Netpeak Spider

3. Поисковая консоль Google

4. Ручной поиск непосредственно на сайте
Как побороть и чем?

Пример установки тега на странице пагинации:

Быстро проанализировать robots.txt, состояние тега canonical поможет:
Как быстро найти дубли страниц на сайте с помощью Serpstat
Для того, чтобы провести проверку сайта на ошибки, необходимо сначала создать проект и сделать соответствующие настройки. Подробнее об этом читайте в статье.
Чтобы найти дубли страниц, в сводке по ошибкам необходимо перейти в раздел «Метатеги» и найти пункт «Дублирующийся Title». Если возле него чек-бокс будет окрашен в серый цвет, значит на вашем сайте найдены такие неполадки.


Заключение
Запомните следующее:
Сэкономьте время на изучении Serpstat
Хотите получить персональную демонстрацию сервиса, тестовый период или эффективные кейсы использования Serpstat?
Оставьте заявку и мы свяжемся с вами ;)
Рекомендуемые статьи
Кейсы, лайфхаки, исследования и полезные статьи
Не успеваешь следить за новостями? Не беда! Наш любимый редактор Анастасия подберет материалы, которые точно помогут в работе. Присоединяйся к уютному комьюнити :)
Нажимая кнопку, ты соглашаешься с нашей политикой конфиденциальности.
Комментарии