Serpstatbot: часто задаваемые вопросы
Для чего нужен serpstatbot?
Serpstatbot постоянно сканирует интернет для добавления новых ссылок и отслеживания изменений в нашей ссылочной базе данных. Мы предоставляем нашим пользователям доступ к одной из самых больших на рынке ссылочных баз данных для планирования и контроля маркетинговых кампаний.
Что происходит с просканированными страницами?
Данные о просканированных страницах добавляются в ссылочный индекс, доступ к которому вы можете получить в Serpstat.
Что вы делаете со страницами с 404 или 301 кодом ответа сервера?
Мы собираем исторические данные, чтобы никакие временные изменения не повлияли на ссылочный профиль вашего сайта. Если ссылки на страницы с кодом ответа сервера 404 или 301 все еще существуют, serpstatbot обнаружит их при повторном сканировании. Вы также можете ознакомиться с политикой Google в отношении 404 страниц.
Бот сканирует ссылки с атрибутом rel=nofollow?
Хотя Google и утверждает, что ссылки с атрибутом rel=nofollow не влияют на Pagerank, но бот все равно сканирует целевые страницы. Используйте файл robots.txt, чтобы запретить serpstatbot сканировать страницы вашего сайта. Больше информации вы можете найти в соответствующей статье в Википедии.
Как я могу заблокировать serpstatbot?
Serpstatbot учитывает директивы из robots.txt. Если вы не хотите, чтобы бот сканировал ваш сайт, добавьте следующий текст в файл robots.txt:
User-agent: serpstatbot
Disallow: /
Всегда проверяйте, доступен ли роботу сам файл robots.txt. Если файл недоступен, то serpstatbot будет по умолчанию сканировать ваш сайт.
Если вы считаете, что serpstatbot не выполняет директивы в robots.txt для вашего сайта, свяжитесь с нами по электронной почте serpstatbot@serpstatbot.com. Предоставьте адрес вашего веб-сайта и записи логов, показывающие, что бот пытается сканировать страницы, закрытые в robots.txt.
Какие команды в robots.txt поддерживает serpstatbot?
Serpstatbot поддерживает следующие дополнения к robots.txt:
Почему я не могу заблокировать serpstatbot в robots.txt?
Есть несколько причин:
Как я могу замедлить serpstatbot?
Вы можете замедлить работу бота, добавив следующие директивы в файл robots.txt:
User-Agent: serpstatbot
Crawl-Delay: 5
Значение Crawl-Delay (длительность ожидания между запросами в секундах) должно быть целым числом. Serpstatbot учитывает значения до 20 включительно. Большие значения Crawl-Delay уменьшат нагрузку на ваш сайт. Crawl-Delay также будет учитываться при использовании User-Agent: *.
Если наш бот обнаружит, что вы использовали директиву Crawl-Delay для любого другого бота, он автоматически замедлит процесс сканирования.
Как я могу проверить, что запросы поступают от Serpstat?
К сожалению, мы не можем ограничить наших ботов набором статических IP-адресов. Тем не менее, мы можем отправлять специальную строку с идентификаторами вместе со всеми запросами к вашему сайту. Это могут быть HTTP-заголовки CRAWLER-IDENT или User-Agent. Serpstat не будет использовать эти идентификаторы для другого домена или поддомена, поэтому вы будете знать, что запросы, содержащие эту строку, поступают из нашей сети. Чтобы воспользоваться этой возможностью, свяжитесь с serpstatbot@serpstatbot.com с информацией о вашем сайте и идентификатором, который вы хотите отправить. Мы также можем сгенерировать случайный идентификатор для вас.
Serpstatbot постоянно сканирует интернет для добавления новых ссылок и отслеживания изменений в нашей ссылочной базе данных. Мы предоставляем нашим пользователям доступ к одной из самых больших на рынке ссылочных баз данных для планирования и контроля маркетинговых кампаний.
Что происходит с просканированными страницами?
Данные о просканированных страницах добавляются в ссылочный индекс, доступ к которому вы можете получить в Serpstat.
Что вы делаете со страницами с 404 или 301 кодом ответа сервера?
Мы собираем исторические данные, чтобы никакие временные изменения не повлияли на ссылочный профиль вашего сайта. Если ссылки на страницы с кодом ответа сервера 404 или 301 все еще существуют, serpstatbot обнаружит их при повторном сканировании. Вы также можете ознакомиться с политикой Google в отношении 404 страниц.
Бот сканирует ссылки с атрибутом rel=nofollow?
Хотя Google и утверждает, что ссылки с атрибутом rel=nofollow не влияют на Pagerank, но бот все равно сканирует целевые страницы. Используйте файл robots.txt, чтобы запретить serpstatbot сканировать страницы вашего сайта. Больше информации вы можете найти в соответствующей статье в Википедии.
Как я могу заблокировать serpstatbot?
Serpstatbot учитывает директивы из robots.txt. Если вы не хотите, чтобы бот сканировал ваш сайт, добавьте следующий текст в файл robots.txt:
User-agent: serpstatbot
Disallow: /
Всегда проверяйте, доступен ли роботу сам файл robots.txt. Если файл недоступен, то serpstatbot будет по умолчанию сканировать ваш сайт.
Если вы считаете, что serpstatbot не выполняет директивы в robots.txt для вашего сайта, свяжитесь с нами по электронной почте serpstatbot@serpstatbot.com. Предоставьте адрес вашего веб-сайта и записи логов, показывающие, что бот пытается сканировать страницы, закрытые в robots.txt.
Какие команды в robots.txt поддерживает serpstatbot?
Serpstatbot поддерживает следующие дополнения к robots.txt:
- Crawl-delay до 20 секунд (большие значения приравниваются к 20 секундам).
- Редирект в пределах одного сайта при попытке получить robots.txt.
- Простые шаблоны в директивах Disallow, соответствующее спецификации Yahoo по использованию символа "*".
- Директивы Allow имеют преимущество перед Disallow, если они длиннее.
- Ошибки при получении файла robots.txt, например, 403 Forbidden, рассматриваются как отсутствие каких-либо запретов. В таком случае, бот будет краулить все физически доступные страницы.
Почему я не могу заблокировать serpstatbot в robots.txt?
Есть несколько причин:
- При запросе robots.txt бот перенаправляется на другой сайт: serpstatbot переходит только по редиректу на том же домене.
- Если на одном сервере есть несколько доменов, то некоторые серверы могут писать логи обращений к этим доменам в один файл без указания домена. Добавьте информацию о домене в логи или разделите логи для разных доменов.
Как я могу замедлить serpstatbot?
Вы можете замедлить работу бота, добавив следующие директивы в файл robots.txt:
User-Agent: serpstatbot
Crawl-Delay: 5
Значение Crawl-Delay (длительность ожидания между запросами в секундах) должно быть целым числом. Serpstatbot учитывает значения до 20 включительно. Большие значения Crawl-Delay уменьшат нагрузку на ваш сайт. Crawl-Delay также будет учитываться при использовании User-Agent: *.
Если наш бот обнаружит, что вы использовали директиву Crawl-Delay для любого другого бота, он автоматически замедлит процесс сканирования.
Как я могу проверить, что запросы поступают от Serpstat?
К сожалению, мы не можем ограничить наших ботов набором статических IP-адресов. Тем не менее, мы можем отправлять специальную строку с идентификаторами вместе со всеми запросами к вашему сайту. Это могут быть HTTP-заголовки CRAWLER-IDENT или User-Agent. Serpstat не будет использовать эти идентификаторы для другого домена или поддомена, поэтому вы будете знать, что запросы, содержащие эту строку, поступают из нашей сети. Чтобы воспользоваться этой возможностью, свяжитесь с serpstatbot@serpstatbot.com с информацией о вашем сайте и идентификатором, который вы хотите отправить. Мы также можем сгенерировать случайный идентификатор для вас.