Как устранить ошибки сканирования

В инструменте Google Search Console есть все необходимое, чтобы проверить сайт. Отчеты о статистике сканирования web-ресурса, количество показов и кликов, средняя позиция в поиске.

В отчетах сканирования вы можете обнаружить ошибки. Также дается краткое объяснение для вебмастера: отчего они появились, как их решать.

Информация в Search Console попадает с задержкой. Поэтому может по нескольку недель отображать информацию об ошибках, которые уже устранены.

Желательно кроме консолей проверять сайт другими средствами сканирования и аудирования сайта. Можно также провести аудит одной страницы сайта.

Google делит ошибки на 2 типа:

• ошибки сайта — появляются, если бот не может обойти весь ресурс;
  
• ошибки URL — говорят о проблеме с отдельными страницами.

Первые нужно устранять как можно быстрее: они влияют на возможность продвижения. Если сайт в целом не оптимизирован, устранение этих ошибок мало повлияет на его рост в поисковой выдаче.

Так выглядит панель вебмастера без ошибок:

Если есть проблемы, появляются блоки, где они конкретизируются:

На скриншоте ниже видно, что Sitemap.xml есть URL, который заблокирован тегом noindex. Достаточно убрать этот тег, чтобы наладить сканирование:

Но ошибки возникают и по другим причинам.

DNS, или Domain Name System. DNS — это система доменных имен, данные которой используются роботами при посещении ресурсов. Если возникают ошибки DNS, значит, поисковик не может связаться с сайтом, а пользователи его найти и открыть.

Google не сразу сообщает об ошибке: он может пару раз вернуться, и, если попытки будут неудачны, выдаст сообщение в консоли.

Разработчики Google утверждают, что большинство ошибок DNS на продвижение не влияют, так как не мешают сканированию. Но их все равно следует срочно исправлять, иначе пользователи могут уходить с сайта из-за медленной загрузки страниц.

Как решить проблемы с DNS?

Возникают, если сервер долго обрабатывает запрос на получение информации о странице от поискового робота. Основные причины:

Нужно ответственно подходить к выбору хостинг-провайдера — он должен обеспечивать бесперебойную работу в любой ситуации.

Ошибки сервера также необходимо устранять в первую очередь. Если в настоящий момент веб-сайт работает (проверьте через сканер Google, который будет доступен до марта 2019), а в консоли появилось сообщение об ошибке, возможно, она была выявлена ранее.

Задача вебмастера — убедиться, что ситуация не повторится. Если в новой версии консоли не появится аналог данного инструмента, используйте программы-сканеры. Например, Netpeak Spider.

Что может случиться?

• таймаут — случается, если истекло время ожидания соединения, код ошибки 408;
  
  
• усеченные заголовки — робот подключился, но не полностью получил заголовки ответа сервера, код ошибки 304;
  
  
• сброс подключения — запрос обработан сервером, но бот не успел получить результат, код ошибки 205;
  
  
• усеченное тело ответа — получен не полностью из-за преждевременного отключения, код ошибки 206;
  
  
• сбой подключения — возникает, если CDN или сеть доставки контента не может подключиться к веб-серверам, код ошибки 522. Другими словами, компьютер не может подключиться к серверу;
  
  
• отсутствие отклика означает, что сервер или прокси-сервер не получил ответ от вышестоящего сервера, чтобы завершить свой запрос, код ошибки 504;
  
  
• время ожидания истекло — роботу не удается подключиться за установленный системой промежуток времени, код ошибки 502. То есть время ожидания истекло до завершения операции. Или сервер не ответил, поскольку время истекло раньше, чем удалось подключение, либо все подключения уже использованы.
  
  Отличие данного пункта от первого таймаута состоит в том, что произошло соединение с хостом, но далее желаемое не получено. Это не проблема соединения: она может быть как в запросе, так и в самом хосте.

При отображении этих ошибок проверьте через сканер Google в консоли, может ли поисковая машина сейчас получить доступ к ресурсу. Если вы все исправили, но ошибка возникла повторно — обращайтесь к хостеру. Так бывает из-за неправильной настройки или перегруженности сервера.

Появляется, когда файл недоступен для поискового робота. Ошибка «недоступно» возникает в случае, когда брандмауэр блокирует Google. Если ее не решать, сканирование будет откладываться.

Корневой документ robots.txt для веб-ресурса создают с целью прописать директивы и закрыть посещение поисковых роботов к техническим web-страницам и другим страницам, которые не содержат полезной и уникальной информации. А также скорректировать процесс сканирования и предоставить путь к карте sitemap для лучшего обхода.

Данный файл дает возможность снизить количество запросов к вашему серверу, соответственно, нагрузку.

Для решения проблемы достаточно проверить, правильно ли настроен robots.txt:

• указаны ли правильно разделы и документы, которые запрещено обрабатывать;
  
• доступен ли файл или отдает 404 ответ сервера.
  

При ошибках URL возникает проблема со сканированием страницы. Подобные страницы не будут отображены в поиске. Чтобы установить подобный факт, следует ознакомиться с отчетом из Google Search Console «Ошибки URL».

Появляются, когда Googlebot не смог обработать отдельные страницы из-за неправильных редиректов (цепочки бесконечные редиректов; перенаправлений на битые страницы), закрытия в robots.txt, ошибки необновленной sitemap.xml. Отчет можно получить в Search Console. Для этого перейдите в раздел Покрытие из главного меню, как показано на скриншоте выше.

Устранять подобные неполадки проще: при их анализе можно посмотреть конкретные страницы, с которыми возникли проблемы.

Ошибки URL отображаются списком от самых важных до незначительных. Их необходимо устранять, так как у робота есть определенный «краулинговый бюджет»: если он потратит все время на просмотр несуществующих страниц, у сайта останутся не отсканированными полезные страницы (или будут долго проходить индексирование).

Ошибка «Soft 404». Когда возникает:

• cтраница, которая была удалена, не возвращает код ответа HTTP 404 по требованию пользователя или бота;
  
  
• несуществующая страница перенаправляет пользователей на нерелевантную страницу. Например, если поставили редирект с категории велосипеды на категорию мотоциклы;
  
  
• когда страница пустая, на ней нет контента.
  
  

Чтобы устранить ошибки, следует:

Подобные ошибки возникают при настройке 301 редиректа на нерелевантные урлы. Google их может неправильно интерпретировать. При этом нежелательно перенаправлять много устаревших страниц на основную страницу веб-ресурса, так как лучше проставлять ссылки на аналогичные страницы или похожие по содержанию. Так больше вероятности, что пользователь получит корректный ответ на свой запрос.

Ошибка 404. Она возникает, когда робот сканировал несуществующую страницу, потому что на нее ссылались в других документах, в том числе из sitemap.xml. Есть внутренние и внешние 404 ошибки:

• если ссылка на удаленную страницу стоит внутри сайта, то разработчики могут ее убрать сами;
  
• если ссылка стоит извне, разработчики вместе с SEO-специалистом или контент-менеджером могут настроить 301 редирект в файле .htaccess, чтобы передать ее ссылочный вес на какую-либо релевантную страницу.

Доступ запрещен. Возникает, когда у робота нет доступа к URL. Например, в файле robots.txt использованы директивы — запрет на сканирование всего ресурса или отдельных каталогов, разделов. Либо хостер заблокировал доступ к сайту.

Чтобы устранить проблему, достаточно убрать причину, препятствующую доступу:

• дать возможность открывать страницу без авторизации;
• сформировать файл robots.txt корректно и доступно для поискового робота;
• проверить через сканер Google, как поисковая машина видит сайт со своей стороны.

Ошибки невыполнения перехода. Обычно возникают по причине ошибок использования перенаправлений, а также JavaScript.

Как их устранить:

• проверить цепочки редиректов — через онлайн-сервисы, например, redirectdetective.com. Учтите, количество редиректов должно быть минимальным, желательно ограничиться одним;
  
• поработать со структурой сайта — на каждую страницу должна вести хотя бы одна статическая ссылка. Для этого проверьте все вручную или воспользуйтесь системами-сканерами / программами-краулерами, если ваш сайт содержит более 1000 страниц;
• заменить обнаруженные в сервисе URL с переадресацией на целевой, прописав в Sitemap.

Ошибки сканирования могут появляться как по вине вебмастера, так и по другим причинам: проблемы с хостингом и доменом, CMS, контент-менеджерами, связью с другими api, сервисами, базами данных и т.д.

Чтобы ситуация не ухудшила позиции в рейтинге, наличие ошибок следует регулярно проверять, а сами ошибки — исправлять.