Как проверить индексацию сайта в Google и Яндекс

Если реальное количество страниц на сайте не соответствует количеству проиндексированных страниц, это может сигнализировать о проблемах на сайте. В данной статье вы узнаете все о том, как проверить индексацию в Google и Яндекс.
2. Почему страница не попала в индекс
3. Как проверить индексацию сайта
- Составляем список всех страниц сайта
- Проверяем индексацию этих страниц
- Размечаем страницы — на важные и неважные
- Выясняем дату посещения роботом
- Смотрим есть ли ссылки на эти страницы
- Оцениваем полноту индексации и ловим расхождения
- Анализируем и исправляем
- Как проверить индексацию сайта в Google и Яндекс
4. Дополнительно
- Анализируем ошибки индексации в Яндекс.Вебмастере и Google Search Console
- Подключаем для Яндекса «Обход по счетчикам»
- Проверяем sitemap
- Проверяем в выдаче вручную с помощью оператора «site:»
- Проверяем ограничения в robots.txt
- Как ускорить индексацию сайта в Google
- Анализируем динамику индексации сайта
5. Ссылки на справки Яндекса и Google
FAQ
Когда страница попадает в индекс
То есть, чтобы страница попала в индекс:
Бесполезно звать робота повторно, если он уже посещал страницу и не добавил в индекс — сначала нужно найти и устранить предположительные причины, по которым робот мог посчитать ее неважной.
Почему страница не попала в индекс
- Содержание не уникальное в рамках сайта (то есть это по сути дубль — есть такая же страница по другому адресу на этом же сайте). Если на сайте есть дубликаты страницы — поисковый робот может не индексировать их все, ограничившись одной копией на свое усмотрение.
- Содержание не уникальное в рамках интернета — контент страницы заимствован со стороннего источника, такая страница может не индексироваться.
Что еще хочу добавить, так это то, что в Google наличие большого объема условно низкокачественных страниц оказывает значимое влияние на ранжирование прочих. Иными словами, добавляя в индекс мусор, мы снижаем некую общую оценку всего сайта, то есть отрицательно влияем на него вцелом.
Уже является классикой удаление 70-80% страниц проекта, что приводит к резкому его росту.
- Смотрим PageSpeed Insights. Смотрим рекомендации сервисов проверки. Проверяем разные типы страниц.
- Смотрим также в Google Analytics. Отчет «Поведение» → «Скорость загрузки сайта». Удобно, что интегрировано с PageSpeed Insights и можно перейти («Поведение» → «Скорость загрузки сайта» → «Ускорение загрузки») в постраничный анализ (в столбце «Предложения PageSpeed»), а также увидеть тут же по страницам просадки (в столбце «Уровень скорости страниц»).
- Скорость загрузки можно проверить с помощью Аудита сайта Serpstat. В разделе «Скорость загрузки» вы найдете этот параметр для мобильных и десктопных устройств, а также ошибки, замедляющие скорость, и рекомендации по их устранению.
- Проверить скорость страницы прямо в браузере — можно с помощью расширения Serpstat Website SEO Checker.
- В Google Chrome скорость можно смотреть прямо на странице, используя F12 (или сочетание клавиш Ctrl+Shift+I или щелкнув правой клавишей мышки и выбрав «Просмотреть код») → переходим во вкладку «Network»→«Doc», обновляем страницу и смотрим данные DOMContentLoaded (в идеале — чтобы было меньше 3-4 секунд):

- По кликовой вложенности. Можно посмотреть разными инструментами — например, с помощью Аудита Serpstat или Netpeak Spider. Уровень вложенности можем уменьшить, оптимизировав структуру сайта, проработав меню.
- По URL вложенности:
Также возможна такая ситуация из-за ошибок — например из-за незакрытого <noindex>. Noindex можем проверить в RDS Bar: можно настроить «подсветку» — правый клик на значке RDS Bar'a → «Параметры» → «Подстановка»:

- не прописан тег <meta http-equiv="Content-Type" content="text/html; charset=кодировка" />;
- документ имеет кодировку, отличную от указанной в <meta> (например сайт в UTF-8, а указана кодировка Windows-1251);
- в htaccess не настроена кодировка;
- на сервере прописана неверная кодировка;
- кодировка базы данных отличается от кодировки скриптов сайта (когда например скрипты, заголовки и т.д. все в UTF-8, но база данных хранится в кодировке Windows-1251).
- положительным – 200;
- перенаправить посетителя на другую страницу (например – редирект 301);
- может сообщить о том, что страницы не существует (например – 404).
Как проверить код ответа?
- для всего сайта смотрим с помощью Аудита Serpstat, ScreamingFrog или других инструментов;
- для конкретной страницы смотрим:
- с помощью инструмента Яндекс.Вебмастера «Проверка ответа сервера» (удобно смотреть прямо с проверяемой страницы — с помощью букмарклета «Код ответа сервера в Я.Вебмастер»);
- в GoogleChrome смотрим прямо на странице, используя сочетание F12 (или сочетание клавиш Ctrl+Shift+i или щелкнув правой клавишей мышки и выбрав «Просмотреть код») → переходим во вкладку «Network»→«Doc», обновляем страницу и смотрим код ответа сервера в столбце «Status». Так же можно смотреть и в начальной вкладке «Network»→«All» (первой в списке всегда загружается наша конкретная страница), но мне больше нравится «Network»→«Doc», т.к. там ничего «лишнего» ;)
- с помощью инструмента Яндекс.Вебмастера «Проверка ответа сервера» (удобно смотреть прямо с проверяемой страницы — с помощью букмарклета «Код ответа сервера в Я.Вебмастер»);

Как проверить индексацию сайта
1. Составляем список всех страниц сайта
Это наиболее оптимальный способ. Данный источник будет наиболее полный. Не факт что прибегать к нему Вам понадобится, но знать про него лишним не будет.
На крупных сайтах возможно будет полезным для дальнейшего анализа, рассматривать не разом все страницы на одной вкладке таблицы, а разбить на отдельные разделы/категории.
2. Проверяем индексацию этих страниц
3. Размечаем страницы — на важные и неважные
- все проиндексированные важные страницы;
- все проиндексированные неважные страницы (это проблема);
- все непроиндексированные важные страницы (это точка роста).
4. Выясняем дату посещения роботом
Если логи не пишутся (особенно если у вас крупный ресурс и есть проблемы с индексацией), нужно начать их писать.
В логах нас интересуют: URL страницы, дата посещения, User-Agent (т.е. то как представился посетитель, в данном случае нам нужны записи роботов поисковых систем).
Может быть полезно:
Также с помощью логов сервера можно увидеть, на какую страницу робот зашел и не взял ее в индекс. Нужно понять, почему это произошло.
Что делаем?
5. Смотрим, есть ли ссылки на эти страницы
6. Оцениваем полноту индексации и ловим расхождения
Смотрим:
Это сравнение также может помочь выявить то, что можно улучшить. Например, видим, что в Яндексе проиндексировано только 15 процентов, а в Google 95%. Это локализует проблему. Далее нужно понять, почему в Яндексе такая просадка. Делаем предположение, «ага, возможно что-то в robots.txt» — и в первую очередь смотрим туда.
7. Анализируем и исправляем
- Находим причину, по которой робот мог счесть страницу неважной и вносим соответствующие корректировки.
- Зовем робота повторно. Чтобы проиндексировать страницу в Google, используем проверку URL в Search Console.
Тут смотрим по ситуации — где-то нужно просто убрать/заменить ссылку, где-то закрыть в robots.txt. В случае с Google возможно воспользоваться их инструментом «Параметры URL» (Google Search Console → «Прежние инструменты и отчеты» → «Параметры URL»).
- закрыть их от индексации в robots.txt;
- при необходимости использовать для Google инструмент «Параметры URL» (Google Search Console → «Прежние инструменты и отчеты» → «Параметры URL»).
Аналогичную информацию получаем в Яндекс.Вебмастере, перейдя в «Индексирование» → «Статистику обхода».
Дополнительно
1. Анализируем ошибки индексации в Яндекс.Вебмастере и Google Search Console
- «Индексирование» → «Статистика обхода». Смотрим какие страницы обходит робот. Подробнее читайте в справке Яндекс.
- «Индексирование» → «Страницы в поиске». Подробнее смотрите здесь. Смотрим, чтобы важные страницы не вылетали из индекса, а неважные — в него не попадали.
- раздел «Ошибка»: контролируем чтобы сюда не попадали важные страницы;
- «Без ошибок, есть предупреждения»: здесь можно отловить закрытые в robots.txt, но при этом проиндексированные, страницы.
- «Страница без ошибок»: здесь можно посмотреть, что залетает в индекс Google и нет ли там лишнего. Также можно увидеть проиндексированные страницы, которые отсутствуют в sitemap.
- «Исключено». Следим чтобы важные страницы не вылетали из индекса.
2. Подключаем для Яндекса «Обход по счетчикам»
3. Проверяем sitemap
- Проверяем в «Инструменты» → «Анализ файлов Sitemap»;
- Проверяем добавление в панель Яндекс.Вебмастере: «Индексирование» → «Файлы Sitemap». Если нет — добавляем.
в Google Search Console:
- В Google Search Console — проверяем добавление в панель Вебмастера: «Индекс» → «Файлы Sitemap». Если нет — добавляем.

Если у вас, например, крупный онлайн магазин, осознанное разделение по разделам может быть полезным в дальнейшем для анализа этих разделов по отдельности (в частности — для анализа индексации).

Также это поможет найти огрехи в шаблоне автогенерации sitemap, например:
Пример: смотрим выдачу по «кейсы для оборудования» и видим там блок «Яндекс.Картинки» с картинками — это сигнал нам об этой возможной точке роста в данной нише:

4. Проверяем в выдаче вручную с помощью оператора «site:»
5. Проверяем ограничения в robots.txt
Также проверяем в Яндекс.Вебмастере → «Инструменты» → «Анализ robots.txt» (тут валидатор + проверка, можем проверить адреса страниц в блоке «Разрешены ли URL?»). Смотрим в Аудите Serpstat → «Закрытые в Robots.txt».
Для Google следует помнить, что прописанное в robots.txt ограничение — не панацея, поэтому Вам также может пригодиться инструмент «Параметры URL» (Google Search Console → «Прежние инструменты и отчеты» → «Параметры URL»).
6. Как ускорить индексацию сайта в Google
в Яндекс.Вебмастере:
- «Индексирование»→ «Переобход страниц»;
- «Индексирование»→ «Файлы Sitemap»→ «Добавить файл Sitemap» или нажать на значок «⟳» чтобы отправить добавленный Sitemap на переобход.
- «Проверка URL»→ Вбиваем адрес→ «Запросить индексирование»;
- «Файлы Sitemap»→ «Добавьте файл Sitemap».
7. Анализируем динамику индексации сайта
Если загружаем новый сайт или много новых страниц, нужно следить за динамикой индексации. По мере развития сайта динамика постепенно должна увеличиваться.
Каким образом можем проследить?
Чтобы оценить динамику — нужно знать сколько страниц залетают в индекс каждый день. Для этого:
- в Яндекс.Вебмастере смотрим «Индексирование» → «Страницы в поиске».
- в Google Search Console — «Покрытие».
- Используем сочетание из двух операторов:
— date:
Формат запроса: ГМД (Год/Месяц/День). Пример — date:20190927 (первые четыре цифры — год, две следующие — месяц, две последние — день). Нужно учесть что информация доступна только за последний месяц. Раз в неделю смотрим и фиксируем данные по каждому дню прошедшей недели.

Да, в этих данных может быть погрешность, но для оценки относительной общей динамики эти данные полезны. Что делаем с этими данными?
Анализируем динамику индексации:
Ссылки на справки Яндекса и Google
- Перейдите в Search Console.
- Выберите нужный ресурс.
- Зайдите в раздел Индекс → Sitemap.
- Добавьте URL файла Sitemap в соответствующее поле.
- Нажмите «Отправить» и ожидайте отображения результатов индексации.
- Для быстрой индексации сайта в Google можно использовать инструмент «Проверка URL» Search Console. Добавьте на проверку нужный адрес и ожидайте в течение нескольких минут проверки. После этого отправьте запрос на индексацию сайта.
- Чтобы проиндексировать сайт в Яндексе, используйте Яндекс.Вебмастер. Перейдите в инструмент «Переобход страниц», который находится в разделе «Индексирование». Отправьте URL-адрес сайта или конкретной веб-страницы.
- Индексация сайта в Гугле занимает от нескольких дней до нескольких недель.
- Узнать о результатах сканирования можно в Search Console, в разделе Индекс → Покрытие.
- Если запрашивается индексация отдельных страниц, существует ограничение на количество запросов в сутки.
- При повторных запросах сканирования индексация не осуществляется быстрее.
- Фильтры поисковых систем из-за заспамленности, неуникального контента, некачественных ссылок, наличия вредоносного программного обеспечения и пр.
- Некорректные технические настройки, запрещающие доступ ботов на сайт, например, запрет индексации в файле robots.txt.
- Молодой возраст сайта.
- Слишком низкая скорость загрузки страниц.
- Продажа ссылок на сайте.
FAQ
Как проиндексировать сайт в Гугл?
Чтобы проиндексировать сайт в Google, осуществите такие действия: Перейдите в Search Console. Выберите нужный ресурс. Зайдите в раздел Индекс → Sitemap. Добавьте URL файла Sitemap в соответствующее поле. Нажмите «Отправить» и ожидайте отображения результатов индексации.
Как быстро проиндексировать сайт?
Для быстрой индексации сайта в Google можно использовать инструмент «Проверка URL» Search Console. Добавьте на проверку нужный адрес и ожидайте в течение нескольких минут проверки. После этого отправьте запрос на индексацию сайта. Чтобы проиндексировать сайт в Яндексе, используйте Яндекс.Вебмастер. Перейдите в инструмент «Переобход страниц», который находится в разделе «Индексирование». Отправьте URL-адрес сайта или конкретной веб-страницы.
Как часто Гугл индексирует сайт?
Индексация сайта в Гугле занимает от нескольких дней до нескольких недель. Узнать о результатах сканирования можно в Search Console, в разделе Индекс → Покрытие. Если запрашивается индексация отдельных страниц, существует ограничение на количество запросов в сутки. При повторных запросах сканирования индексация не осуществляется быстрее/
Где проверить сайт на индексацию?
Проще всего проверить индексацию сайта с помощью оператора «site:» с добавлением URL-адреса ресурса в поиске Яндекс и Google. Так вы узнаете количество проиндексированных страниц. Для более подробной информации по каждой поисковой системе воспользуйтесь Яндекс.Вебмастером и Google Search Console. В панелях вебмастеров можно запросить индексацию всех важных страниц проекта.
Почему не индексируется сайт?
Чаще всего сайт не индексируется по таким причинам: Фильтры поисковых систем из-за заспамленности, неуникального контента, некачественных ссылок, наличия вредоносного программного обеспечения и пр. Некорректные технические настройки, запрещающие доступ ботов на сайт, например, запрет индексации в файле robots.txt. Молодой возраст сайта. Слишком низкая скорость загрузки страниц. Продажа ссылок на сайте.
Сэкономьте время на изучении Serpstat
Хотите получить персональную демонстрацию сервиса, тестовый период или эффективные кейсы использования Serpstat?
Оставьте заявку и мы свяжемся с вами ;)
Кейсы, лайфхаки, исследования и полезные статьи
Не успеваешь следить за новостями? Не беда! Наш любимый редактор Анастасия подберет материалы, которые точно помогут в работе. Присоединяйся к уютному комьюнити :)
Нажимая кнопку, ты соглашаешься с нашей политикой конфиденциальности.