Почему сайт не индексируется или
как проверить индексацию сайта в Google и Яндекс

Александр Сопоев

При проверке сайта важно знать какие страницы индексируются, а какие — нет. Чем больше в индексе полезных страниц, тем лучше сайт в глазах поисковой системы. И тем, теоретически, больше трафика, охвата и денег вы сможете получить.

Если реальное количество страниц на сайте не соответствует количеству проиндексированных страниц, это может сигнализировать о проблемах на сайте. В данной статье вы узнаете все о том, как проверить индексацию в Google и Яндекс.

Содержание

1. Когда страница попадает в индекс?
2. Почему страница не попала в индекс?
3. Порядок работы с индексацией
3.1 Составляем список всех страниц сайта
3.2 Проверяем индексацию этих страниц
3.3 Размечаем страницы — на важные и неважные
3.4 Выясняем дату посещения роботом
3.5 Смотрим есть ли ссылки на эти страницы
3.6 Оцениваем полноту индексации и ловим расхождения
3.7 Анализируем и исправляем
4. Дополнительно
4.1 Анализируем ошибки индексации в Яндекс.Вебмастере и Google Search Console
4.2 Подключаем для Яндекса «Обход по счетчикам»
4.3 Проверяем sitemap
4.4. Проверяем в выдаче вручную с помощью оператора «site:»
4.5 Проверяем ограничения в robots.txt
4.6 Как позвать робота на страницу?
4.7 Анализируем динамику индексации сайта
5. Ссылки на справки Яндекса и Google

Когда страница попадает в индекс?

Страница попадает в индекс после посещения поискового робота, в том случае если он посчитает ее важной.

То есть, чтобы страница попала в индекс:

Робот должен зайти на нее.

Робот должен посчитать ее важной.

Робот может посетить страницу, но не добавить ее в индекс, если сочтет неважной эту страницу.

Бесполезно звать робота повторно, если он уже посещал страницу и не добавил в индекс — сначала нужно найти и устранить предположительные причины, по которым робот мог посчитать ее неважной.

Почему страница не попала в индекс?

Возможные причины:

1

Робот поисковой системы пока не дошел:

страница недавно появилась и робот просто пока не дошел до нее: возможно все в порядке и страница просто пока не успела проиндексироваться.

на страницу нет ссылок: нужно проверить наличие в sitemap.xml и перелинковку на сайте.

2

Робот счел страницу неважной

Отсутствие уникального контента.

Уникальность контента — важный параметр для поисковых систем. Есть два варианта неуникального контента:

Содержание не уникальное в рамках сайта (то есть это по сути дубль — есть такая же страница по другому адресу на этом же сайте). Если на сайте есть дубликаты страницы — поисковый робот может не индексировать их все, ограничившись одной копией на свое усмотрение.

Такая проблема может появиться из-за ошибки при разработке, неоптимизированной структуры системы управления. Дубли страниц на сайте можно найти, например, с помощью инструмента «Аудит сайта» Serpstat. Дополнительно — вот статья, информация из которой может быть полезной при поиске и удалении дублей.

Содержание не уникальное в рамках интернета — контент страницы заимствован со стороннего источника, такая страница может не индексироваться.

Как найти и удалить дубли страниц на сайте: инструкция для новичков

Страница долго загружается.

Скорость загрузки страниц можно измерить с помощью разных средств, в том числе посмотреть в сервисах проверки, например:

Смотрим PageSpeed Insights. Смотрим рекомендации сервисов проверки. Проверяем разные типы страниц.
Смотрим также в Google Analytics. Отчет «Поведение» → «Скорость загрузки сайта». Удобно, что интегрировано с PageSpeed Insights и можно перейти («Поведение» → «Скорость загрузки сайта» → «Ускорение загрузки») в постраничный анализ (в столбце «Предложения PageSpeed»), а также увидеть тут же по страницам просадки (в столбце «Уровень скорости страниц»).
Скорость загрузки можно проверить с помощью Аудита сайта Serpstat. В разделе «Скорость загрузки» вы найдете этот параметр для мобильных и десктопных устройств, а также ошибки, замедляющие скорость, и рекомендации по их устранению.
Проверить скорость страницы прямо в браузере — можно с помощью расширения Serpstat Website SEO Checker.
В Google Chrome скорость можно смотреть прямо на странице, используя F12 (или сочетание клавиш Ctrl+Shift+I или щелкнув правой клавишей мышки и выбрав «Просмотреть код») → переходим во вкладку «Network»→«Doc», обновляем страницу и смотрим данные DOMContentLoaded (в идеале — чтобы было меньше 3-4 секунд):

Страница с глубокой вложенностью (находится далеко от главной).

По кликовой вложенности. Можно посмотреть разными инструментами — например, с помощью Аудита Serpstat или Netpeak Spider. Уровень вложенности можем уменьшить, оптимизировав структуру сайта, проработав меню.

По URL вложенности:

— высокий уровень вложенности — возможно занижение роботом частоты индексации этих страниц; — низкий уровень вложенности — тоже может быть проблемой, например — когда все страницы находятся на первом уровне вложенности и робот не может понять структуру (дерево вложенности).

Высокий процент отказов.

Можно посмотреть в Яндекс.Метрике и Google Analytics.

Отсутствует или мало контента на странице.

Робот может посчитать неинтересными страницы, на которых расположено мало контента и они могут не индексироваться в поисковых системах. Контент — это не только текст, но и товары, картинки, видео — все содержимое страницы.

Также возможна такая ситуация из-за ошибок — например из-за незакрытого <noindex>. Noindex можем проверить в RDS Bar: можно настроить «подсветку» — правый клик на значке RDS Bar'a → «Параметры» → «Подстановка»:

Контент сгенерирован автоматически.

Если контент генерируется автоматически и качество генерации оставляет желать лучшего (например, когда все слова в тексте просто заменили на их синонимы). Страницы с таким контентом могут не индексироваться.

Ошибки кодировки (например, вместо русского текста непонятные символы).

Браузер/робот сам определяет кодировку, исходя из того что он получает от сервера, из контента страницы и пр. Если в кодировке ошибка, браузер/робот может воспринимать текст как хаотичный набор символов. Почему могут быть такие ошибки:

не прописан тег <meta http-equiv="Content-Type" content="text/html; charset=кодировка" />;
документ имеет кодировку, отличную от указанной в <meta> (например сайт в UTF-8, а указана кодировка Windows-1251);
в htaccess не настроена кодировка;
на сервере прописана неверная кодировка;
кодировка базы данных отличается от кодировки скриптов сайта (когда например скрипты, заголовки и т.д. все в UTF-8, но база данных хранится в кодировке Windows-1251).

Кодировку на сайте также можно проверить с помощью Аудита сайта Serpstat.

Указан некорректный код ответа сервера.

Код ответа сервера – это информация, которую сервер сообщает посетителю перед тем, как начать передавать документы. Код ответа сервера может быть:

положительным – 200;
перенаправить посетителя на другую страницу (например – редирект 301);
может сообщить о том, что страницы не существует (например – 404).

Подробнее о кодах ответа можно почитать в справке Яндекса.

Как проверить код ответа?

для всего сайта смотрим с помощью Аудита Serpstat, ScreamingFrog или других инструментов;
для конкретной страницы смотрим:
- с помощью инструмента Яндекс.Вебмастера «Проверка ответа сервера» (удобно смотреть прямо с проверяемой страницы — с помощью букмарклета «Код ответа сервера в Я.Вебмастер»);
- в GoogleChrome смотрим прямо на странице, используя сочетание F12 (или сочетание клавиш Ctrl+Shift+i или щелкнув правой клавишей мышки и выбрав «Просмотреть код») → переходим во вкладку «Network»→«Doc», обновляем страницу и смотрим код ответа сервера в столбце «Status». Так же можно смотреть и в начальной вкладке «Network»→«All» (первой в списке всегда загружается наша конкретная страница), но мне больше нравится «Network»→«Doc», т.к. там ничего «лишнего» ;)

3

Есть ограничения на индексацию:

проверяем robots.txt, noindex, meta name="robots". Массово — смотрим в сводке по ошибкам Аудита сайта Serpstat, Screaming Frog или других сервисах;

Проверяем SEOHide: отключаем JavaScript (например с помощью расширения Quick Javascript Switcher) и смотрим как отображается.

4

В целом сайт может плохо индексироваться.

Возможные причины:

ошибка при выборе главного зеркала (с www или без www, http://или https://);

дубли с «/» на конце с без «/»;

молодой сайт — фильтр «Песочница»: у робота по сайту еще не накопилась статистика, у него низкий краулинговый бюджет и робот ходит по нему довольно плохо;

на сайт наложены санкции;

сайт продает ссылки;

на сайте вирусы;

на сайте много страниц с 4** или 3** кодами ответов (то есть, много ссылок на такие страницы): нужно актуализировать ссылки внутри сайта (в контенте, в меню).

Если страница выпала из индекса, то, как правило, причина кроется в тех же проблемах, из-за которых страницы в индекс не попадают.

Порядок работы с индексацией

По шагам:

1

Составляем список всех страниц сайта.

2

Проверяем индексацию этих страниц.

3

Размечаем страницы — на важные и неважные.

4

Выясняем дату посещения роботом.

5

Смотрим есть ли ссылки на эти страницы.

6

Ловим расхождения.

7

Анализируем и исправляем.

Далее пройдемся по каждому шагу подробнее.

1

Составляем список всех страниц сайта.

Выгружаем список всех страниц. Откуда его можем взять:

из парсеров (краулеров), которые обходят сайт (например — Screaming Frog, Netpeak Spider);

смотрим в админке/ просим программиста сделать выгрузку по всем адресам страниц, которые есть на сайте;

из карты сайта: этот способ может использоваться лишь как дополнительный — надо учитывать, что туда, например, могут не попасть неважные страницы, которые могут быть в индексе;

выгрузить из логов сервера все уникальные страницы, посещенные пользователями.

Это наиболее оптимальный способ. Данный источник будет наиболее полный. Не факт что прибегать к нему Вам понадобится, но знать про него лишним не будет.

Выгрузку желательно делать с учетом страниц пагинации и страниц, генерируемых фильтрами.

На крупных сайтах возможно будет полезным для дальнейшего анализа, рассматривать не разом все страницы на одной вкладке таблицы, а разбить на отдельные разделы/категории.

2

Проверяем индексацию этих страниц.

Смотрим в индексе страница или нет:

вручную (оператор «site:», Яндекс.Вебмастер и Google Search Console, RDS-Bar, букмарклеты);

с помощью программ-парсеров (например — Comparser, A-Parser);

сюда же отнесу еще один неочевидный способ съема — в Key Collector по URL через «Сбор позиций сайта»;

с помощью сервисов (например — Serpstat, СайтРепорт, OverLead).

3

Размечаем страницы на важные и неважные.

Размечаем вручную: смотрим URL и отмечаем.

Либо вырабатываем возможные шаблоны для поиска неважных страниц и их разметки, но тут для каждого сайта нужно думать отдельно. Находим закономерности и используем их для автоматизации поиска и разметки (например — с помощью формул в таблицах).

Составляем матрицу-сводку-списки:

все проиндексированные важные страницы;

все проиндексированные неважные страницы (это проблема);

все непроиндексированные важные страницы (это точка роста).

Почему неважные страницы в индексе — это проблема?

наличие в индексе неважных страниц (пустых, дублированных, страниц с ошибками, технических страниц) может замедлить индексирование важных страниц;

чем больше проиндексированных неважных страниц — тем меньше веса получают важные страницы;

угроза уменьшения/потери доверия поисковых систем к сайту (вплоть до попадания под фильтры);

при схожести страниц — важная страница может быть вытеснена неважной.

4

Выясняем дату посещения роботом.

Для каждой страницы узнаем дату посещения роботом. Как узнать?

Из Яндекс.Вебмастера (для Яндекса) и из Google Search Console (для Google).

Из логов сервера

Просим программиста сделать выгрузку-отчет из логов сервера о посещении страниц сайта роботами. В этом отчете смотрим только страницы с кодом ответа 200.

Если логи не пишутся (особенно если у вас крупный ресурс и есть проблемы с индексацией), нужно начать их писать.

В логах нас интересуют: URL страницы, дата посещения, User-Agent (т.е. то как представился посетитель, в данном случае нам нужны записи роботов поисковых систем).

Может быть полезно:

Смотрим страницы, которые посещали роботы поисковых систем, и те, что ими не посещались. На основе этого можно сделать вывод, что необходимо доработать в сайте чтобы робот заходил на эти страницы.

Также с помощью логов сервера можно увидеть, на какую страницу робот зашел и не взял ее в индекс. Нужно понять, почему это произошло.

Что делаем?

Как провести анализ логов сайта

Изучаем список непроиндексированных страниц, которые не посещал робот. Это будет список страниц, на которые необходимо привести робота, чтобы они попали в индекс.

Изучаем список непроиндексированных страниц, которые посетил робот, это будут страницы на которых есть проблемы (например, с дублями или статическим весом).

5

Смотрим, есть ли ссылки на эти страницы.

Проверяем есть ли ссылки на эту страницу — можем использовать выгрузку с этими данными, например, из Netpeak Spider и методом исключения найти страницы на которые нет ссылок.

6

Оцениваем полноту индексации и ловим расхождения

Это может помочь локализовать проблему и быстрее найти причины.

Смотрим:

соотношение имеющихся страниц к проиндексированным в Яндексе;

соотношение имеющихся страниц к проиндексированным в Google;

разницу между Яндексом и Google (по количеству проиндексированных страниц).

Это сравнение также может помочь выявить то, что можно улучшить. Например, видим, что в Яндексе проиндексировано только 15 процентов, а в Google 95%. Это локализует проблему. Далее нужно понять, почему в Яндексе такая просадка. Делаем предположение, «ага, возможно что-то в robots.txt» — и в первую очередь смотрим туда.

Для этого можно, например, в таблицу добавить столбцы и сводить там информацию по:

всего страниц;

проиндексировано в Яндекс;

проиндексировано в Google;

расхождение с Яндексом;

расхождение с Google;

расхождение между Яндексом и Google.

Если в одной поисковой системе страница проиндексирована, а во второй — нет, выявляем причину:

Смотрим блокировку в robots.txt.

Открываем сохраненную копию в поисковике и смотрим, есть ли различия. Это поможет обнаружить возможные проблемы, например, неиндексируемые области на Flash, Ajax, кривую верстку.

Отключаем Javascript, смотрим блоки в noindex, rel="nofollow" и т.п.

Сравниваем: существующая страница и сохраненная страница должны быть одинаковы, никакие блоки быть скрыты не должны.

Критично, если меню не индексируется.

7

Анализируем и исправляем.

Анализируем проблемные страницы и устраняем проблемы:

Если важная страница не в индексе, и робот ее не посещал — нужно привести на нее робота.

Если важная страница не в индексе, и робот ее посещал:

Находим причину, по которой робот мог счесть страницу неважной и вносим соответствующие корректировки.
Зовем робота повторно.

Если неважная страница в индексе — выявляем и устраняем причину.

Тут смотрим по ситуации — где-то нужно просто убрать/заменить ссылку, где-то закрыть в robots.txt. В случае с Google возможно воспользоваться их инструментом «Параметры URL» (Google Search Console → «Прежние инструменты и отчеты» → «Параметры URL»).

Если страницы неважные и они не в индексе — ничего предпринимать не нужно. Однако, для профилактики, чтобы они вдруг не попали в индекс:

закрыть их от индексации в robots.txt;

при необходимости использовать для Google инструмент «Параметры URL» (Google Search Console → «Прежние инструменты и отчеты» → «Параметры URL»).

Дополнительно:

1

Анализируем ошибки индексации в Яндекс.Вебмастере и Google Search Console

В Яндекс.Вебмастере регулярно проверяем:

«Индексирование» → «Статистика обхода». Смотрим какие страницы обходит робот. Подробнее читайте в справке Яндекс.

«Индексирование» → «Страницы в поиске». Подробнее смотрите здесь. Смотрим, чтобы важные страницы не вылетали из индекса, а неважные — в него не попадали.

В Google Search Console регулярно проверяем «Индекс» → «Покрытие» — смотрим:

раздел «Ошибка»: контролируем чтобы сюда не попадали важные страницы;

«Без ошибок, есть предупреждения»: здесь можно отловить закрытые в robots.txt, но при этом проиндексированные, страницы.

«Страница без ошибок»: здесь можно посмотреть, что залетает в индекс Google и нет ли там лишнего. Также можно увидеть проиндексированные страницы, которые отсутствуют в sitemap.

«Исключено». Следим чтобы важные страницы не вылетали из индекса.

2

Подключаем для Яндекса «Обход по счетчикам»

Инструкция по подключению — в справке Яндекса.

3

Проверяем sitemap

Подробнее о sitemap смотрите в источниках:

XML-формат файла Sitemap;

Использование файла Sitemap для Яндекс;

Как создавать и отправлять файлы Sitemap от Google.

Что делаем?

проверяем наличие в файле robots.txt;

проверяем в панелях вебмастеров;

в Вебмастере Яндекса:

Проверяем в «Инструменты» → «Анализ файлов Sitemap»;
Проверяем добавление в панель Яндекс.Вебмастере: «Индексирование» → «Файлы Sitemap». Если нет — добавляем.

в Google Search Console:

В Google Search Console — проверяем добавление в панель Вебмастера: «Индекс» → «Файлы Sitemap». Если нет — добавляем.

проверяем добавляются ли новые страницы в sitemap;

регулярно (раз в неделю-две) скармливаем sitemap в Screaming Frog, делаем обход по нему.

Для этого лучше всего использовать «Mode» → «List»:

Выбираем «Upload» → «Download Sitemap» или (если несколько sitemap объединены в одном индексе — когда в одной карте сайта ссылки на несколько карт) «Upload» → «Download Sitemap Index».

Если у вас, например, крупный интернет-магазин, осознанное разделение по разделам может быть полезным в дальнейшем для анализа этих разделов по отдельности (в частности — для анализа индексации).

Не делая такую проверку, можно упускать целый пул проблем. Это дополнительный срез для анализа, который дополняет основную проверку.

Также это поможет найти огрехи в шаблоне автогенерации sitemap, например:

дубли страниц;

замены страниц (пример — /home вместо / , когда это полный дубль);

неактуальные адреса — адрес страницы с http: когда актуальный с https;

адрес страницы с www. когда актуальный без www. и т.д.;

страницы с редиректом;

404-страницы.

В sitemap должны быть страницы только с ответом сервера 200.

страницы пагинации;

закрытые от индексации страницы.

В sitemap не должны быть:

страницы закрытые в robots.txt директивами Disallow или Clean-param;

закрытые в meta name="robots";

неканонические (с которых стоит rel cannonical).

незакрытые страницы, которых в сайтмапе быть не должно (пример — шаблонные, технические и пр.).

Также дополнительно мониторим выдачу в нише и смотрим картиночный потенциал: если в выдаче выводится блок с картинками — значит пользователи при выборе идут в картинки и ищут там. В таком случае, если сайт не оптимизирован под трафик по изображениям, здесь можно найти неочевидную точку роста. В таком случае, помимо прочего, создаем отдельный sitemap для картинок.

Пример: смотрим выдачу по «кейсы для оборудования» и видим там блок «Яндекс.Картинки» с картинками — это сигнал нам об этой возможной точке роста в данной нише:

Это значит, что при выборе, намереваясь купить, люди заходят в картинки и смотрят-выбирают там подходящий им вариант.

4

Проверяем индексацию в выдаче вручную с помощью оператора «site:»

С помощью оператора «site:» смотрим первые десять страниц выдачи. Делаем это и в Яндексе и в Google. Задача — изучить по максимуму то, что есть в индексе и исключить все ненужное. Это поможет сайту лучше индексироваться и лучше ранжироваться.

Ищем в индексе технические страницы — админка сайта, это openstat, utm-метки, корзина, страница заказа, личный кабинет пользователя, страницы поиска. При этом, если есть сомнения, — думаем. Например, страница Корзины, страница Поиска и т.п. «Корзина» является фактором ранжирования, и закрывать ее в robots.txt, вероятно, не стоит. Корзина — это коммерческий фактор, а также сквозной блок через весь сайт — лучше использовать закрытие в meta name="robots".

Какие страницы нужно закрыть от индексации

5

Проверяем ограничения в robots.txt

Смотрим чтобы важные страницы были доступны для индексации — чтобы они не были заблокированы в robots.txt. Возможно на одном из прошлых шагов, например, когда анализировали ошибки индексации, в Яндекс.Вебмастере, Google Search Console или при ручной проверке выдачи — уже заметили возможности для улучшения с помощью robots.txt. Внедряем их.

Также проверяем в Яндекс.Вебмастере → «Инструменты» → «Анализ robots.txt» (тут валидатор + проверка, можем проверить адреса страниц в блоке «Разрешены ли URL?»). Смотрим в Аудите Serpstat → «Закрытые в Robots.txt».

Для Google следует помнить, что прописанное в robots.txt ограничение — не панацея, поэтому Вам также может пригодиться инструмент «Параметры URL» (Google Search Console → «Прежние инструменты и отчеты» → «Параметры URL»).

6

Как позвать робота на страницу?

Добавляем страницу в sitemap.xml.

Добавляем страницу через панели Вебмастеров.

в Яндекс.Вебмастере:

«Индексирование»→ «Переобход страниц»;

«Индексирование»→ «Файлы Sitemap»→ «Добавить файл Sitemap» или нажать на значок «⟳» чтобы отправить добавленный Sitemap на переобход.

в Google Search Console:

«Проверка URL»→ Вбиваем адрес→ «Запросить индексирование»;

«Файлы Sitemap»→ «Добавьте файл Sitemap».

Подключаем в Яндекс.Вебмастере «Обход по счетчикам».

Делаем перелинковку.

Ставим ссылку на часто посещаемой странице и/или связанной по логике и отправляем ее на переобход. Для этого возможно будет полезным использовать mindmap — построить логическое дерево и на нем отобразить связи. Сюда же — создание отдельных блоков, в которые выводятся ссылки на новые страницы.

Ставим ссылки вне сайта, возможно из социальных сетей.

Используем HTML-карту сайта.

Внедряем модуль «Ловец ботов» (когда робот заходит на страницу — ему подставляются нужные ссылки, по которым ему нужно перейти).

7

Как проанализировать динамику индексации сайта.

Если сайт плохо индексируется, это значит что что-то с ним не так. Что не так? Причина может быть в дублях страниц или каких-то технических страницах, из-за которых робот не может понять структуру сайта и занижает краулинговый бюджет.

Если загружаем новый сайт или много новых страниц, нужно следить за динамикой индексации. По мере развития сайта динамика постепенно должна увеличиваться.

Каким образом можем проследить?

Чтобы оценить динамику — нужно знать сколько страниц залетают в индекс каждый день. Для этого:

используем расширенные настройки поиска;

смотрим данные в кабинетах Вебмастеров — Яндекс.Вебмастере и Google Search Console:

в Яндекс.Вебмастере смотрим «Индексирование» → «Страницы в поиске».

в Google Search Console — «Покрытие».

Используем расширенные настройки поиска.

Для этого в поисковой строке:

в Яндексе:

Используем сочетание из двух операторов:

— site:
— date:
Формат запроса: ГМД (Год/Месяц/День). Пример — date:20190927 (первые четыре цифры — год, две следующие — месяц, две последние — день). Нужно учесть что информация доступна только за последний месяц. Раз в неделю смотрим и фиксируем данные по каждому дню прошедшей недели.

в Google

Ищем через оператор «site:» и «Инструменты»→ «За все время»→ выбираем «За период…»→ выбираем там конкретную дату:

Раз в неделю смотрим и фиксируем данные по каждому дню прошедшей недели.

Да, в этих данных может быть погрешность, но для оценки относительной общей динамики эти данные полезны. Что делаем с этими данными?

Анализируем динамику индексации:

Пробиваем каждую дату.

Сводим данные в таблице.

Анализируем в моменте. Например, если ничего не добавлялось в индекс, а страницы лезут в индекс — значит есть проблемы.

Можем для наглядности построить график.

Так, кстати, можно анализировать и конкурентов ;) Следим за ними постоянно — собираем данные и сравниваем по индексации с собой. Возможно что-то подсматриваем у них и внедряем/тестируем у себя.

Ссылки на справки Яндекса и Google

Справка Яндекса «Индексирование сайта».

Справка Google «Индексирование страниц для включения в результаты поиска».

Что вы думаете об этой статье? Пишите в комментариях под статьей! А, чтобы не пропустить новости нашего сервиса, присоединяйтесь к Чату любителей серпстатить и подписывайтесь на наш телеграм-канал!

Почему сайт не индексируется или как проверить индексацию сайта в Google и Яндекс