Здесь собраны ответы на распространенные вопросы о боте Serpstatbot в формате краткой справки. Узнать больше о краулерах Serpstat можно в статье или обратившись в техподдержку.

FAQ: Часто задаваемые вопросы про Serpstatbot

Связаться с саппортом

Что такое Serpstatbot и для чего он нужен?

Serpstatbot — это поисковый робот, на основании которого работает модуль Анализа ссылок Serpstat. Он постоянно сканирует сайты, добавляя новые ссылки в базу данных и отслеживая изменения по ним.

Непрерывная работа бота позволила собрать одну из самых крупных ссылочных баз в нише SEO-инструментов: 952 млрд ссылок по 168 млн доменов.

Ежедневно база увеличивается на 2 млрд новых ссылок, на ее основании можно контролировать собственный ссылочный профиль или изучать линкбилдинговые стратегии конкурентов .

Информация о просканированных страницах добавляется в ссылочный индекс Serpstat, эти данные доступны всем пользователям инструмента для анализа ссылочного профиля своего сайта или конкурентных сайтов в нише.

Что происходит с просканированными страницами?

Для того, чтобы на ссылочный профиль сайтов пользователей не влияли временные изменения, Serpstatbot также фиксирует исторические данные и повторно проверяет страницы с кодами 404 и 301, если они все еще существуют. Поскольку такие страницы негативно влияют на ранжирование сайта, важно вовремя обнаруживать и удалять их. Это можно сделать с помощью технического аудита сайта с Serpstat. Вы также можете ознакомиться с политикой Google в отношении 404 страниц.

Фиксируются ли страницы с 404 и 301 кодами ответа сервера?

Да, бот сканирует эти ссылки, несмотря на то, что они не влияют на ранжирование страницы.

Сканирует ли Serpstatbot ссылки с атрибутом rel=nofollow?

Как заблокировать Serpstatbot?

Убедитесь, что файл доступен роботу, иначе Serpstatbot по умолчанию будет сканировать сайт. О том, как правильно задать директивы для роботов, читайте в статье.

Если у вас возникли дополнительные вопросы или вы считаете, что бот не выполняет директивы, напишите на почту serpstatbot@serpstatbot.com или свяжитесь с техподдержкой в чате.

Для того, чтобы Serpstatbot не сканировал страницы вашего сайта, используйте файл robots.txt, добавив следующий текст:

User-agent: serpstatbot
Disallow: /

Почему возникают проблемы с блокировкой Serpstatbot в robots.txt?

Если вам не удается заблокировать бота, это может означать одну из следующих ошибок:

При запросе robots.txt бот перенаправляется на другой сайт: Serpstatbot переходит только по редиректу на том же домене.

Если на одном сервере есть несколько доменов, то некоторые серверы могут писать логи обращений к этим доменам в один файл без указания домена. Добавьте информацию о домене в логи или разделите логи для разных доменов.

Какие команды в robots.txt поддерживает Serpstatbot?

Serpstatbot поддерживает следующие дополнения к robots.txt:

Crawl-delay до 20 секунд (большие значения приравниваются к 20 секундам)

Редирект в пределах одного сайта при попытке получить robots.txt.

Простые шаблоны в директивах Disallow, соответствующее спецификации Yahoo по использованию символа "*"

Директивы Allow имеют преимущество перед Disallow, если они длиннее

Ошибки при получении файла robots.txt, например, 403 Forbidden, рассматриваются как отсутствие каких-либо запретов. В таком случае, бот будет краулить все физически доступные страницы

Можно ли замедлить работу Serpstatbot?

Значение Crawl-Delay (длительность ожидания между запросами в секундах) должно быть целым числом. Serpstatbot учитывает значения до 20 секунд включительно. Большие значения Crawl-Delay уменьшат нагрузку на ваш сайт. Crawl-Delay также будет учитываться при использовании User-Agent: *.

Если Serpstatbot обнаружит, что вы использовали директиву Crawl-Delay для любого другого бота, он автоматически замедлит процесс сканирования.

Вы можете замедлить работу бота, добавив следующие директивы в файл robots.txt:

User-Agent: serpstatbot
Crawl-Delay: 5

У Serpstatbot нет набора статических IP-адресов, но если вам важно понимать, что запросы поступают именно от нашего бота, используйте следующий мануал:

Как проверить, что запросы поступают именно от Serpstat?

После подтверждения вашего запроса, вместе с запросами бота к вашему сайту будет поступать специальная строка с идентификаторами (HTTP-заголовки CRAWLER-IDENT или User-Agent), которые будут использоваться только для вашего домена.

Напишите запрос на serpstatbot@serpstatbot.com, укажите в нем информацию о вашем сайте и идентификаторам, которые вы хотите отправить. При необходимости, мы можем сгенерировать случайный идентификатор для вас.

Узнайте больше о ссылочном индексе Serpstat и его возможностях для построения стратегий продвижения вашего сайта. Запишитесь на 30-минутную демонстрацию с нашим экспертом.

Записаться на демонстрацию