Как проверить индексацию сайта в Google и Яндекс
При проверке сайта важно знать какие страницы индексируются, а какие — нет. Чем больше в индексе полезных страниц, тем лучше сайт в глазах поисковой системы. И тем, теоретически, больше трафика, охвата и денег вы сможете получить.
Если реальное количество страниц на сайте не соответствует количеству проиндексированных страниц, это может сигнализировать о проблемах на сайте. В данной статье вы узнаете все о том, как проверить индексацию в Google и Яндекс.
Если реальное количество страниц на сайте не соответствует количеству проиндексированных страниц, это может сигнализировать о проблемах на сайте. В данной статье вы узнаете все о том, как проверить индексацию в Google и Яндекс.
Содержание
1. Когда страница попадает в индекс
2. Почему страница не попала в индекс
3. Как проверить индексацию сайта
- Составляем список всех страниц сайта
- Проверяем индексацию этих страниц
- Размечаем страницы — на важные и неважные
- Выясняем дату посещения роботом
- Смотрим есть ли ссылки на эти страницы
- Оцениваем полноту индексации и ловим расхождения
- Анализируем и исправляем
- Как проверить индексацию сайта в Google и Яндекс
4. Дополнительно
- Анализируем ошибки индексации в Яндекс.Вебмастере и Google Search Console
- Подключаем для Яндекса «Обход по счетчикам»
- Проверяем sitemap
- Проверяем в выдаче вручную с помощью оператора «site:»
- Проверяем ограничения в robots.txt
- Как ускорить индексацию сайта в Google
- Анализируем динамику индексации сайта
5. Ссылки на справки Яндекса и Google
FAQ
2. Почему страница не попала в индекс
3. Как проверить индексацию сайта
- Составляем список всех страниц сайта
- Проверяем индексацию этих страниц
- Размечаем страницы — на важные и неважные
- Выясняем дату посещения роботом
- Смотрим есть ли ссылки на эти страницы
- Оцениваем полноту индексации и ловим расхождения
- Анализируем и исправляем
- Как проверить индексацию сайта в Google и Яндекс
4. Дополнительно
- Анализируем ошибки индексации в Яндекс.Вебмастере и Google Search Console
- Подключаем для Яндекса «Обход по счетчикам»
- Проверяем sitemap
- Проверяем в выдаче вручную с помощью оператора «site:»
- Проверяем ограничения в robots.txt
- Как ускорить индексацию сайта в Google
- Анализируем динамику индексации сайта
5. Ссылки на справки Яндекса и Google
FAQ
Когда страница попадает в индекс
Страница попадает в индекс после посещения поискового робота, в том случае если он посчитает ее важной.
То есть, чтобы страница попала в индекс:
То есть, чтобы страница попала в индекс:
Робот должен зайти на нее.
Робот должен посчитать ее важной.
Робот может посетить страницу, но не добавить ее в индекс, если сочтет неважной эту страницу.
Бесполезно звать робота повторно, если он уже посещал страницу и не добавил в индекс — сначала нужно найти и устранить предположительные причины, по которым робот мог посчитать ее неважной.
Бесполезно звать робота повторно, если он уже посещал страницу и не добавил в индекс — сначала нужно найти и устранить предположительные причины, по которым робот мог посчитать ее неважной.
Почему страница не попала в индекс
Возможные причины:
1
Робот поисковой системы пока не дошел:
страница недавно появилась и робот просто пока не дошел до нее: возможно все в порядке и страница просто пока не успела проиндексироваться.
на страницу нет ссылок: нужно проверить наличие в sitemap.xml и перелинковку на сайте.
2
Робот счел страницу неважной
Отсутствие уникального контента.
Уникальность контента — важный параметр для поисковых систем. Есть два варианта неуникального контента:
- Содержание не уникальное в рамках сайта (то есть это по сути дубль — есть такая же страница по другому адресу на этом же сайте). Если на сайте есть дубликаты страницы — поисковый робот может не индексировать их все, ограничившись одной копией на свое усмотрение.
- Содержание не уникальное в рамках интернета — контент страницы заимствован со стороннего источника, такая страница может не индексироваться.
Уникальный контент действительно важен. Только, когда об этом говорят, забывают добавить, что ваш уникальный контент может скопировать кто угодно, и, добавив в него буквально 1 абзац ничего не значащего текста, оказаться в глазах самой умной машины в мире намного более полезным, чем те, кто этот контент написал. Ну такая логика у Google. Я все хочу скопировать весь сайт документации гулгловской чтобы свою копию поставить выше оригинала таким образом. Может тогда до гениев от буквы G дойдет, что они устроили.
Что еще хочу добавить, так это то, что в Google наличие большого объема условно низкокачественных страниц оказывает значимое влияние на ранжирование прочих. Иными словами, добавляя в индекс мусор, мы снижаем некую общую оценку всего сайта, то есть отрицательно влияем на него вцелом.
Уже является классикой удаление 70-80% страниц проекта, что приводит к резкому его росту.
Что еще хочу добавить, так это то, что в Google наличие большого объема условно низкокачественных страниц оказывает значимое влияние на ранжирование прочих. Иными словами, добавляя в индекс мусор, мы снижаем некую общую оценку всего сайта, то есть отрицательно влияем на него вцелом.
Уже является классикой удаление 70-80% страниц проекта, что приводит к резкому его росту.
Demi Murych
Специалист в реверс-инжиниринге и техническом SEO
Страница долго загружается.
Скорость загрузки страниц можно измерить с помощью разных средств, в том числе посмотреть в сервисах проверки, например:
- Смотрим PageSpeed Insights. Смотрим рекомендации сервисов проверки. Проверяем разные типы страниц.
- Смотрим также в Google Analytics. Отчет «Поведение» → «Скорость загрузки сайта». Удобно, что интегрировано с PageSpeed Insights и можно перейти («Поведение» → «Скорость загрузки сайта» → «Ускорение загрузки») в постраничный анализ (в столбце «Предложения PageSpeed»), а также увидеть тут же по страницам просадки (в столбце «Уровень скорости страниц»).
- Скорость загрузки можно проверить с помощью Аудита сайта Serpstat. В разделе «Скорость загрузки» вы найдете этот параметр для мобильных и десктопных устройств, а также ошибки, замедляющие скорость, и рекомендации по их устранению.
- Проверить скорость страницы прямо в браузере — можно с помощью расширения Serpstat Website SEO Checker.
- В Google Chrome скорость можно смотреть прямо на странице, используя F12 (или сочетание клавиш Ctrl+Shift+I или щелкнув правой клавишей мышки и выбрав «Просмотреть код») → переходим во вкладку «Network»→«Doc», обновляем страницу и смотрим данные DOMContentLoaded (в идеале — чтобы было меньше 3-4 секунд):
Проверка скорости загрузки страницы в Google Chrome
Страница с глубокой вложенностью (находится далеко от главной).
- По кликовой вложенности. Можно посмотреть разными инструментами — например, с помощью Аудита Serpstat или Netpeak Spider. Уровень вложенности можем уменьшить, оптимизировав структуру сайта, проработав меню.
- По URL вложенности:
Высокий процент отказов.
Можно посмотреть в Яндекс.Метрике и Google Analytics.
Отсутствует или мало контента на странице.
Робот может посчитать неинтересными страницы, на которых расположено мало контента и они могут не индексироваться в поисковых системах. Контент — это не только текст, но и товары, картинки, видео — все содержимое страницы.
Также возможна такая ситуация из-за ошибок — например из-за незакрытого <noindex>. Noindex можем проверить в RDS Bar: можно настроить «подсветку» — правый клик на значке RDS Bar'a → «Параметры» → «Подстановка»:
Также возможна такая ситуация из-за ошибок — например из-за незакрытого <noindex>. Noindex можем проверить в RDS Bar: можно настроить «подсветку» — правый клик на значке RDS Bar'a → «Параметры» → «Подстановка»:
Настройка подсветки Noindex
Контент сгенерирован автоматически.
Если контент генерируется автоматически и качество генерации оставляет желать лучшего (например, когда все слова в тексте просто заменили на их синонимы). Страницы с таким контентом могут не индексироваться.
Ошибки кодировки (например, вместо русского текста непонятные символы).
Браузер/робот сам определяет кодировку, исходя из того что он получает от сервера, из контента страницы и пр. Если в кодировке ошибка, браузер/робот может воспринимать текст как хаотичный набор символов. Почему могут быть такие ошибки:
- не прописан тег <meta http-equiv="Content-Type" content="text/html; charset=кодировка" />;
- документ имеет кодировку, отличную от указанной в <meta> (например сайт в UTF-8, а указана кодировка Windows-1251);
- в htaccess не настроена кодировка;
- на сервере прописана неверная кодировка;
- кодировка базы данных отличается от кодировки скриптов сайта (когда например скрипты, заголовки и т.д. все в UTF-8, но база данных хранится в кодировке Windows-1251).
Указан некорректный код ответа сервера.
Код ответа сервера – это информация, которую сервер сообщает посетителю перед тем, как начать передавать документы. Код ответа сервера может быть:
Как проверить код ответа?
- положительным – 200;
- перенаправить посетителя на другую страницу (например – редирект 301);
- может сообщить о том, что страницы не существует (например – 404).
Как проверить код ответа?
- для всего сайта смотрим с помощью Аудита Serpstat, ScreamingFrog или других инструментов;
- для конкретной страницы смотрим:
- с помощью инструмента Яндекс.Вебмастера «Проверка ответа сервера» (удобно смотреть прямо с проверяемой страницы — с помощью букмарклета «Код ответа сервера в Я.Вебмастер»);
- в GoogleChrome смотрим прямо на странице, используя сочетание F12 (или сочетание клавиш Ctrl+Shift+i или щелкнув правой клавишей мышки и выбрав «Просмотреть код») → переходим во вкладку «Network»→«Doc», обновляем страницу и смотрим код ответа сервера в столбце «Status». Так же можно смотреть и в начальной вкладке «Network»→«All» (первой в списке всегда загружается наша конкретная страница), но мне больше нравится «Network»→«Doc», т.к. там ничего «лишнего» ;)
- с помощью инструмента Яндекс.Вебмастера «Проверка ответа сервера» (удобно смотреть прямо с проверяемой страницы — с помощью букмарклета «Код ответа сервера в Я.Вебмастер»);
Проверка кода ответа сервера в консоли разработчика Chrome
3
Есть ограничения на индексацию:
Важно проверить сайт на запрет индексации — проверяем robots.txt, noindex, meta name="robots". Массово — проверяем запрет в сводке по ошибкам Аудита сайта Serpstat, Screaming Frog или других сервисах;
Проверяем SEOHide: отключаем JavaScript (например с помощью расширения Quick Javascript Switcher) и смотрим как отображается.
4
В целом сайт может плохо индексироваться.
Возможные причины:
ошибка при выборе главного зеркала (с www или без www, http://или https://);
дубли с «/» на конце с без «/»;
молодой сайт — фильтр «Песочница»: у робота еще не накопилась статистика по ресурсу, он имеет недостаточный рейтинг, поэтому сайт не индексируется в Гугле. У него низкий краулинговый бюджет и робот ходит по нему довольно плохо;
на сайт наложены санкции;
сайт продает ссылки;
на сайте вирусы;
на сайте много страниц с 4** или 3** кодами ответов (то есть, много ссылок на такие страницы): нужно актуализировать ссылки внутри сайта (в контенте, в меню).
Если страница выпала из индекса, то, как правило, причина кроется в тех же проблемах, из-за которых страницы в индекс не попадают.
Персональная демонстрация
Оставьте заявку и мы проведем для вас персональную демонстрацию сервиса, предоставим пробный период и предложим комфортные условия для старта использования инструмента
Как проверить индексацию сайта
По шагам:
1
Составляем список всех страниц сайта.
2
Проверяем индексацию этих страниц.
3
Размечаем страницы — на важные и неважные.
4
Выясняем дату посещения роботом.
5
Смотрим есть ли ссылки на эти страницы.
6
Ловим расхождения.
7
Анализируем и исправляем.
Далее пройдемся по каждому шагу подробнее.
1. Составляем список всех страниц сайта
Выгружаем список всех страниц. Откуда его можем взять:
из парсеров (краулеров), которые обходят сайт (например — Screaming Frog, Netpeak Spider);
смотрим в админке/ просим программиста сделать выгрузку по всем адресам страниц, которые есть на сайте;
из карты сайта: этот способ может использоваться лишь как дополнительный — надо учитывать, что туда, например, могут не попасть неважные страницы, которые могут быть в индексе;
выгрузить из логов сервера все уникальные страницы, посещенные пользователями.
Это наиболее оптимальный способ. Данный источник будет наиболее полный. Не факт что прибегать к нему Вам понадобится, но знать про него лишним не будет.
Это наиболее оптимальный способ. Данный источник будет наиболее полный. Не факт что прибегать к нему Вам понадобится, но знать про него лишним не будет.
Выгрузку желательно делать с учетом страниц пагинации и страниц, генерируемых фильтрами.
На крупных сайтах возможно будет полезным для дальнейшего анализа, рассматривать не разом все страницы на одной вкладке таблицы, а разбить на отдельные разделы/категории.
На крупных сайтах возможно будет полезным для дальнейшего анализа, рассматривать не разом все страницы на одной вкладке таблицы, а разбить на отдельные разделы/категории.
2. Проверяем индексацию этих страниц
Смотрим в индексе страница или нет:
вручную (оператор «site:», Яндекс.Вебмастер и Google Search Console, RDS-Bar, букмарклеты);
с помощью программ-парсеров (например — Comparser, A-Parser);
сюда же отнесу еще один неочевидный способ съема — в Key Collector по URL через «Сбор позиций сайта»;
с помощью сервисов (например — Serpstat, СайтРепорт, OverLead).
3. Размечаем страницы — на важные и неважные
Размечаем вручную: смотрим URL и отмечаем.
Либо вырабатываем возможные шаблоны для поиска неважных страниц и их разметки, но тут для каждого сайта нужно думать отдельно. Находим закономерности и используем их для автоматизации поиска и разметки (например — с помощью формул в таблицах).
Составляем матрицу-сводку-списки:
- все проиндексированные важные страницы;
- все проиндексированные неважные страницы (это проблема);
- все непроиндексированные важные страницы (это точка роста).
Почему неважные страницы в индексе — это проблема?
наличие в индексе неважных страниц (пустых, дублированных, страниц с ошибками, технических страниц) может замедлить индексирование важных страниц;
чем больше проиндексированных неважных страниц — тем меньше веса получают важные страницы;
угроза уменьшения/потери доверия поисковых систем к сайту (вплоть до попадания под фильтры);
при схожести страниц — важная страница может быть вытеснена неважной.
4. Выясняем дату посещения роботом
Для каждой страницы узнаем дату посещения роботом. Как узнать?
Из Яндекс.Вебмастера (для Яндекса) и из Google Search Console (для Google).
Из логов сервера
Просим программиста сделать выгрузку-отчет из логов сервера о посещении страниц сайта роботами. В этом отчете смотрим только страницы с кодом ответа 200.
Если логи не пишутся (особенно если у вас крупный ресурс и есть проблемы с индексацией), нужно начать их писать.
В логах нас интересуют: URL страницы, дата посещения, User-Agent (т.е. то как представился посетитель, в данном случае нам нужны записи роботов поисковых систем).
Может быть полезно:
Если логи не пишутся (особенно если у вас крупный ресурс и есть проблемы с индексацией), нужно начать их писать.
В логах нас интересуют: URL страницы, дата посещения, User-Agent (т.е. то как представился посетитель, в данном случае нам нужны записи роботов поисковых систем).
Может быть полезно:
Смотрим страницы, которые посещали боты поисковых систем, и те, что ими не посещались. На основе этого можно сделать вывод, что необходимо доработать в сайте чтобы робот заходил на эти страницы.
Также с помощью логов сервера можно увидеть, на какую страницу робот зашел и не взял ее в индекс. Нужно понять, почему это произошло.
Что делаем?
Также с помощью логов сервера можно увидеть, на какую страницу робот зашел и не взял ее в индекс. Нужно понять, почему это произошло.
Что делаем?
Изучаем список непроиндексированных страниц, которые не посещал робот. Это будет список страниц, на которые необходимо привести робота, чтобы они попали в индекс.
Изучаем список непроиндексированных страниц, которые посетил робот, это будут страницы на которых есть проблемы (например, с дублями или статическим весом).
5. Смотрим, есть ли ссылки на эти страницы
Проверяем есть ли ссылки на эту страницу — можем использовать выгрузку с этими данными, например, из Netpeak Spider и методом исключения найти страницы на которые нет ссылок.
6. Оцениваем полноту индексации и ловим расхождения
Это может помочь локализовать проблему и быстрее найти причины.
Смотрим:
Смотрим:
соотношение имеющихся страниц к проиндексированным в Яндексе;
соотношение имеющихся страниц к проиндексированным в Гугл;
разницу между Яндексом и Google (по количеству проиндексированных страниц).
Это сравнение также может помочь выявить то, что можно улучшить. Например, видим, что в Яндексе проиндексировано только 15 процентов, а в Google 95%. Это локализует проблему. Далее нужно понять, почему в Яндексе такая просадка. Делаем предположение, «ага, возможно что-то в robots.txt» — и в первую очередь смотрим туда.
Это сравнение также может помочь выявить то, что можно улучшить. Например, видим, что в Яндексе проиндексировано только 15 процентов, а в Google 95%. Это локализует проблему. Далее нужно понять, почему в Яндексе такая просадка. Делаем предположение, «ага, возможно что-то в robots.txt» — и в первую очередь смотрим туда.
Для этого можно, например, в таблицу добавить столбцы и сводить там информацию по:
всего страниц;
проиндексировано в Яндекс;
проиндексировано в Google;
расхождение с Яндексом;
расхождение с Google;
расхождение между Яндексом и Google.
Если в одной поисковой системе страница проиндексирована, а во второй — нет, выявляем причину:
Смотрим блокировку в robots.txt.
Нужно открыть сохраненную копию в поисковике и посмотреть, есть ли различия. Это поможет обнаружить возможные проблемы, например, неиндексируемые области на Flash, Ajax, кривую верстку.
Отключаем Javascript, смотрим блоки в noindex, rel="nofollow" и т.п.
Сравниваем: существующая страница и сохраненная страница должны быть одинаковы, никакие блоки быть скрыты не должны.
Критично, если меню не индексируется.
7. Анализируем и исправляем
Анализируем проблемные страницы и устраняем проблемы:
Если важная страница не в индексе, и робот ее не посещал — нужно привести на нее робота.
Если важная страница не в индексе, и робот ее посещал:
- Находим причину, по которой робот мог счесть страницу неважной и вносим соответствующие корректировки.
- Зовем робота повторно. Чтобы проиндексировать страницу в Google, используем проверку URL в Search Console.
Если неважная страница в индексе — выявляем и устраняем причину.
Тут смотрим по ситуации — где-то нужно просто убрать/заменить ссылку, где-то закрыть в robots.txt. В случае с Google возможно воспользоваться их инструментом «Параметры URL» (Google Search Console → «Прежние инструменты и отчеты» → «Параметры URL»).
Тут смотрим по ситуации — где-то нужно просто убрать/заменить ссылку, где-то закрыть в robots.txt. В случае с Google возможно воспользоваться их инструментом «Параметры URL» (Google Search Console → «Прежние инструменты и отчеты» → «Параметры URL»).
Если страницы неважные и они не в индексе — ничего предпринимать не нужно. Однако, для профилактики, чтобы они вдруг не попали в индекс:
- закрыть их от индексации в robots.txt;
- при необходимости использовать для Google инструмент «Параметры URL» (Google Search Console → «Прежние инструменты и отчеты» → «Параметры URL»).
8. Как проверить индексацию сайта в Google и Яндекс
Чтобы проверить индексацию в Google, переходим в «Индекс» → «Покрытие» Google Search Console. Там отображаются ошибки и проблемы, которые возникли при индексации страниц, а также предупреждения, количество страниц без ошибок и исключенные страницы. Данные можно экспортировать в Google Таблицы либо в формате .XLSX или .CSV.
Аналогичную информацию получаем в Яндекс.Вебмастере, перейдя в «Индексирование» → «Статистику обхода».
Аналогичную информацию получаем в Яндекс.Вебмастере, перейдя в «Индексирование» → «Статистику обхода».
Дополнительно
1. Анализируем ошибки индексации в Яндекс.Вебмастере и Google Search Console
В Яндекс.Вебмастере регулярно проверяем:
- «Индексирование» → «Статистика обхода». Смотрим какие страницы обходит робот. Подробнее читайте в справке Яндекс.
- «Индексирование» → «Страницы в поиске». Подробнее смотрите здесь. Смотрим, чтобы важные страницы не вылетали из индекса, а неважные — в него не попадали.
В Google Search Console регулярно проверяем «Индекс» → «Покрытие» — смотрим:
- раздел «Ошибка»: контролируем чтобы сюда не попадали важные страницы;
- «Без ошибок, есть предупреждения»: здесь можно отловить закрытые в robots.txt, но при этом проиндексированные, страницы.
- «Страница без ошибок»: здесь можно посмотреть, что залетает в индекс Google и нет ли там лишнего. Также можно увидеть проиндексированные страницы, которые отсутствуют в sitemap.
- «Исключено». Следим чтобы важные страницы не вылетали из индекса.
2. Подключаем для Яндекса «Обход по счетчикам»
Чтобы ускорить индексацию, используем инструкцию по подключению — в справке Яндекса.
3. Проверяем sitemap
Подробнее о sitemap смотрите в источниках:
Что делаем?
проверяем наличие в файле robots.txt;
проверяем в панелях вебмастеров;
в Вебмастере Яндекса:
в Google Search Console:
- Проверяем в «Инструменты» → «Анализ файлов Sitemap»;
- Проверяем добавление в панель Яндекс.Вебмастере: «Индексирование» → «Файлы Sitemap». Если нет — добавляем.
в Google Search Console:
- В Google Search Console — проверяем добавление в панель Вебмастера: «Индекс» → «Файлы Sitemap». Если нет — добавляем.
проверяем добавляются ли новые страницы в sitemap;
регулярно (раз в неделю-две) скармливаем sitemap в Screaming Frog, делаем обход по нему.
Для этого лучше всего использовать «Mode» → «List»:
Настройка Screaming Frog
Выбираем «Upload» → «Download Sitemap» или (если несколько sitemap объединены в одном индексе — когда в одной карте сайта ссылки на несколько карт) «Upload» → «Download Sitemap Index».
Если у вас, например, крупный онлайн магазин, осознанное разделение по разделам может быть полезным в дальнейшем для анализа этих разделов по отдельности (в частности — для анализа индексации).
Если у вас, например, крупный онлайн магазин, осознанное разделение по разделам может быть полезным в дальнейшем для анализа этих разделов по отдельности (в частности — для анализа индексации).
Загрузка Sitemap в Screaming Frog
Не делая такую проверку, можно упускать целый пул проблем. Это дополнительный срез для анализа, который дополняет основную проверку.
Также это поможет найти огрехи в шаблоне автогенерации sitemap, например:
Также это поможет найти огрехи в шаблоне автогенерации sitemap, например:
дубли страниц;
замены страниц (пример — /home вместо / , когда это полный дубль);
неактуальные адреса — адрес страницы с http: когда актуальный с https;
адрес страницы с www. когда актуальный без www. и т.д.;
страницы с редиректом;
404-страницы.
В sitemap должны быть страницы только с ответом сервера 200.
страницы пагинации;
закрытые от индексации страницы.
В sitemap не должны быть:
страницы закрытые в robots.txt директивами Disallow или Clean-param;
закрытые в meta name="robots";
неканонические (с которых стоит rel cannonical).
незакрытые страницы, которых в сайтмапе быть не должно (пример — шаблонные, технические и пр.).
Также дополнительно мониторим выдачу в нише и смотрим картиночный потенциал: если в выдаче выводится блок с картинками — значит пользователи при выборе идут в картинки и ищут там. В таком случае, если сайт не оптимизирован под трафик по изображениям, здесь можно найти неочевидную точку роста. В таком случае, помимо прочего, создаем отдельный sitemap для картинок.
Пример: смотрим выдачу по «кейсы для оборудования» и видим там блок «Яндекс.Картинки» с картинками — это сигнал нам об этой возможной точке роста в данной нише:
Пример: смотрим выдачу по «кейсы для оборудования» и видим там блок «Яндекс.Картинки» с картинками — это сигнал нам об этой возможной точке роста в данной нише:
Блок Яндекс.Картинок
Это значит, что при выборе, намереваясь купить, люди заходят в картинки и смотрят-выбирают там подходящий им вариант.
4. Проверяем в выдаче вручную с помощью оператора «site:»
С помощью оператора «site:» смотрим первые десять страниц выдачи. Делаем это и в Яндексе и в Google. Задача — изучить по максимуму то, что есть в индексе и исключить все ненужное. Это поможет сайту лучше индексироваться и лучше ранжироваться.
Ищем в индексе технические страницы — админка сайта, это openstat, utm-метки, корзина, страница заказа, личный кабинет пользователя, страницы поиска. При этом, если есть сомнения, — думаем. Например, страница Корзины, страница Поиска и т.п. «Корзина» является фактором ранжирования, и закрывать ее в robots.txt, вероятно, не стоит. Корзина — это коммерческий фактор, а также сквозной блок через весь сайт — лучше использовать закрытие в meta name="robots".
5. Проверяем ограничения в robots.txt
Смотрим чтобы важные страницы были доступны для индексации — чтобы они не были заблокированы в robots.txt. Возможно на одном из прошлых шагов, например, когда анализировали ошибки индексации, в Яндекс.Вебмастере, Google Search Console или при ручной проверке выдачи — уже заметили возможности для улучшения с помощью robots.txt. Внедряем их.
Также проверяем в Яндекс.Вебмастере → «Инструменты» → «Анализ robots.txt» (тут валидатор + проверка, можем проверить адреса страниц в блоке «Разрешены ли URL?»). Смотрим в Аудите Serpstat → «Закрытые в Robots.txt».
Для Google следует помнить, что прописанное в robots.txt ограничение — не панацея, поэтому Вам также может пригодиться инструмент «Параметры URL» (Google Search Console → «Прежние инструменты и отчеты» → «Параметры URL»).
Также проверяем в Яндекс.Вебмастере → «Инструменты» → «Анализ robots.txt» (тут валидатор + проверка, можем проверить адреса страниц в блоке «Разрешены ли URL?»). Смотрим в Аудите Serpstat → «Закрытые в Robots.txt».
Для Google следует помнить, что прописанное в robots.txt ограничение — не панацея, поэтому Вам также может пригодиться инструмент «Параметры URL» (Google Search Console → «Прежние инструменты и отчеты» → «Параметры URL»).
6. Как ускорить индексацию сайта в Google
Добавляем страницу в sitemap.xml.
Добавляем страницу через панели Вебмастеров.
в Яндекс.Вебмастере:
- «Индексирование»→ «Переобход страниц»;
- «Индексирование»→ «Файлы Sitemap»→ «Добавить файл Sitemap» или нажать на значок «⟳» чтобы отправить добавленный Sitemap на переобход.
- «Проверка URL»→ Вбиваем адрес→ «Запросить индексирование»;
- «Файлы Sitemap»→ «Добавьте файл Sitemap».
Делаем перелинковку.
Ставим ссылку на часто посещаемой странице и/или связанной по логике и отправляем ее на переобход. Для этого возможно будет полезным использовать mindmap — построить логическое дерево и на нем отобразить связи. Сюда же — создание отдельных блоков, в которые выводятся ссылки на новые страницы.
Ставим ссылки вне сайта, возможно из социальных сетей.
Используем HTML-карту сайта.
Внедряем модуль «Ловец ботов» (когда робот заходит на страницу — ему подставляются нужные ссылки, по которым ему нужно перейти).
7. Анализируем динамику индексации сайта
Если сайт плохо индексируется, это значит что что-то с ним не так. Что не так? Причина может быть в дублях страниц или каких-то технических страницах, из-за которых робот не может понять структуру сайта и занижает краулинговый бюджет.
Если загружаем новый сайт или много новых страниц, нужно следить за динамикой индексации. По мере развития сайта динамика постепенно должна увеличиваться.
Каким образом можем проследить?
Чтобы оценить динамику — нужно знать сколько страниц залетают в индекс каждый день. Для этого:
Если загружаем новый сайт или много новых страниц, нужно следить за динамикой индексации. По мере развития сайта динамика постепенно должна увеличиваться.
Каким образом можем проследить?
Чтобы оценить динамику — нужно знать сколько страниц залетают в индекс каждый день. Для этого:
используем расширенные настройки поиска;
смотрим данные в кабинетах Вебмастеров — Яндекс.Вебмастере и Google Search Console:
- в Яндекс.Вебмастере смотрим «Индексирование» → «Страницы в поиске».
- в Google Search Console — «Покрытие».
Используем расширенные настройки поиска.
Для этого в поисковой строке:
в Яндексе:
- Используем сочетание из двух операторов:
— date:
Формат запроса: ГМД (Год/Месяц/День). Пример — date:20190927 (первые четыре цифры — год, две следующие — месяц, две последние — день). Нужно учесть что информация доступна только за последний месяц. Раз в неделю смотрим и фиксируем данные по каждому дню прошедшей недели.
в Google
Ищем через оператор «site:» и «Инструменты»→ «За все время»→ выбираем «За период…»→ выбираем там конкретную дату:
Использование оператора site в Google
Раз в неделю смотрим и фиксируем данные по каждому дню прошедшей недели.
Да, в этих данных может быть погрешность, но для оценки относительной общей динамики эти данные полезны. Что делаем с этими данными?
Анализируем динамику индексации:
Да, в этих данных может быть погрешность, но для оценки относительной общей динамики эти данные полезны. Что делаем с этими данными?
Анализируем динамику индексации:
Пробиваем каждую дату.
Сводим данные в таблице.
Анализируем в моменте. Например, если ничего не добавлялось в индекс, а страницы лезут в индекс — значит есть проблемы.
Можем для наглядности построить график.
Так, кстати, можно анализировать и конкурентов ;) Следим за ними постоянно — собираем данные и сравниваем по индексации с собой. Возможно что-то подсматриваем у них и внедряем/тестируем у себя.
Ссылки на справки Яндекса и Google
Вопрос:
Как проиндексировать сайт в Гугл?
Ответ:
Чтобы проиндексировать сайт в Google, осуществите такие действия:
- Перейдите в Search Console.
- Выберите нужный ресурс.
- Зайдите в раздел Индекс → Sitemap.
- Добавьте URL файла Sitemap в соответствующее поле.
- Нажмите «Отправить» и ожидайте отображения результатов индексации.
Вопрос:
Как быстро проиндексировать сайт?
Ответ:
- Для быстрой индексации сайта в Google можно использовать инструмент «Проверка URL» Search Console. Добавьте на проверку нужный адрес и ожидайте в течение нескольких минут проверки. После этого отправьте запрос на индексацию сайта.
- Чтобы проиндексировать сайт в Яндексе, используйте Яндекс.Вебмастер. Перейдите в инструмент «Переобход страниц», который находится в разделе «Индексирование». Отправьте URL-адрес сайта или конкретной веб-страницы.
Вопрос:
Как часто Гугл индексирует сайт?
Ответ:
- Индексация сайта в Гугле занимает от нескольких дней до нескольких недель.
- Узнать о результатах сканирования можно в Search Console, в разделе Индекс → Покрытие.
- Если запрашивается индексация отдельных страниц, существует ограничение на количество запросов в сутки.
- При повторных запросах сканирования индексация не осуществляется быстрее.
Вопрос:
Где проверить сайт на индексацию?
Ответ:
Проще всего проверить индексацию сайта с помощью оператора «site:» с добавлением URL-адреса ресурса в поиске Яндекс и Google. Так вы узнаете количество проиндексированных страниц. Для более подробной информации по каждой поисковой системе воспользуйтесь Яндекс.Вебмастером и Google Search Console. В панелях вебмастеров можно запросить индексацию всех важных страниц проекта.
Вопрос:
Почему не индексируется сайт?
Ответ:
Чаще всего сайт не индексируется по таким причинам:
- Фильтры поисковых систем из-за заспамленности, неуникального контента, некачественных ссылок, наличия вредоносного программного обеспечения и пр.
- Некорректные технические настройки, запрещающие доступ ботов на сайт, например, запрет индексации в файле robots.txt.
- Молодой возраст сайта.
- Слишком низкая скорость загрузки страниц.
- Продажа ссылок на сайте.
FAQ
Как проиндексировать сайт в Гугл?
Чтобы проиндексировать сайт в Google, осуществите такие действия: Перейдите в Search Console. Выберите нужный ресурс. Зайдите в раздел Индекс → Sitemap. Добавьте URL файла Sitemap в соответствующее поле. Нажмите «Отправить» и ожидайте отображения результатов индексации.
Как быстро проиндексировать сайт?
Для быстрой индексации сайта в Google можно использовать инструмент «Проверка URL» Search Console. Добавьте на проверку нужный адрес и ожидайте в течение нескольких минут проверки. После этого отправьте запрос на индексацию сайта. Чтобы проиндексировать сайт в Яндексе, используйте Яндекс.Вебмастер. Перейдите в инструмент «Переобход страниц», который находится в разделе «Индексирование». Отправьте URL-адрес сайта или конкретной веб-страницы.
Как часто Гугл индексирует сайт?
Индексация сайта в Гугле занимает от нескольких дней до нескольких недель. Узнать о результатах сканирования можно в Search Console, в разделе Индекс → Покрытие. Если запрашивается индексация отдельных страниц, существует ограничение на количество запросов в сутки. При повторных запросах сканирования индексация не осуществляется быстрее/
Где проверить сайт на индексацию?
Проще всего проверить индексацию сайта с помощью оператора «site:» с добавлением URL-адреса ресурса в поиске Яндекс и Google. Так вы узнаете количество проиндексированных страниц. Для более подробной информации по каждой поисковой системе воспользуйтесь Яндекс.Вебмастером и Google Search Console. В панелях вебмастеров можно запросить индексацию всех важных страниц проекта.
Почему не индексируется сайт?
Чаще всего сайт не индексируется по таким причинам: Фильтры поисковых систем из-за заспамленности, неуникального контента, некачественных ссылок, наличия вредоносного программного обеспечения и пр. Некорректные технические настройки, запрещающие доступ ботов на сайт, например, запрет индексации в файле robots.txt. Молодой возраст сайта. Слишком низкая скорость загрузки страниц. Продажа ссылок на сайте.
Что вы думаете об этой статье? Пишите в комментариях под статьей! А, чтобы не пропустить новости нашего сервиса, присоединяйтесь к Чату любителей серпстатить и подписывайтесь на наш телеграм-канал!
Сэкономьте время на изучении Serpstat
Хотите получить персональную демонстрацию сервиса, тестовый период или эффективные кейсы использования Serpstat?
Оставьте заявку и мы свяжемся с вами ;)
Нашли ошибку? Выделите её и нажмите Ctrl + Enter, чтобы сообщить нам.
Кейсы, лайфхаки, исследования и полезные статьи
Не успеваешь следить за новостями? Не беда! Наш любимый редактор Анастасия подберет материалы, которые точно помогут в работе. Присоединяйся к уютному комьюнити :)
Нажимая кнопку, ты соглашаешься с нашей политикой конфиденциальности.