Для чого потрібен serpstatbot?
Serpstatbot постійно сканує інтернет для додавання нових посилань і відстеження змін в нашій базі даних посилань. Ми надаємо нашим користувачам доступ до однієї з найбільших на ринку баз даних посилань для планування і контролю маркетингових кампаній.

Що відбувається з просканованими сторінками?
Дані щодо просканованих сторінок додаються в індекс посилань, доступ до якого ви можете отримати в Serpstat.

Що ви робите зі сторінками з 404 або 301 кодом відповіді сервера?
Ми збираємо історичні дані, щоб ніякі тимчасові зміни не вплинули на профіль посилань вашого сайту. Якщо посилання на сторінки з кодом відповіді сервера 404 або 301 все ще існують, serpstatbot виявить їх при повторному скануванні. Ви також можете ознайомитися з політикою Google щодо 404 сторінок.

Бот сканує посилання з атрибутом rel = nofollow?
Хоча Google і стверджує, що посилання з атрибутом rel=nofollow не впливають на Pagerank, бот все одно сканує такі цільові сторінки. Використовуйте файл robots.txt, щоб заборонити serpstatbot сканувати сторінки вашого сайту. Більше інформації ви можете знайти у відповідній статті у Вікіпедії.

Як я можу заблокувати serpstatbot?
Serpstatbot враховує директиви з robots.txt. Якщо ви не хочете, щоб бот сканував ваш сайт, додайте наступний текст в файл robots.txt:

User-agent: serpstatbot
Disallow: /

Завжди перевіряйте, чи доступний роботу сам файл robots.txt. Якщо файл недоступний, то serpstatbot буде за замовчуванням сканувати ваш сайт.
Якщо ви вважаєте, що serpstatbot не виконує директиви в robots.txt для вашого сайту, зв'яжіться з нами за електронною поштою serpstatbot@serpstatbot.com. Надайте адресу вашого веб-сайту і записи логів, що показують, що бот намагається сканувати сторінки, що закриті в robots.txt.

Які команди в robots.txt підтримує serpstatbot?
Serpstatbot підтримує такі доповнення до robots.txt:

• Crawl-delay до 20 секунд (більші значення прирівнюються до 20 секунд).
• Редирект в межах одного сайту при спробі отримати robots.txt.
• Прості шаблони в директивах Disallow, згідно із специфікацією Yahoo щодо використання символу "*".
• Директиви Allow мають перевагу перед Disallow, якщо вони довші.
• Помилки при отриманні файлу robots.txt, наприклад, 403 Forbidden, розглядаються як відсутність будь-яких заборон. В такому випадку, бот буде краулити всі фізично доступні сторінки.

Чому я не можу заблокувати serpstatbot в robots.txt?
Є кілька причин:

• При запиті robots.txt бот перенаправляється на інший сайт: serpstatbot переходить тільки по редиректу на тому ж домені.
• Якщо на одному сервері є декілька доменів, то деякі сервери можуть писати логи звернень до цих доменів в один файл без вказівки домена. Додайте інформацію про домен в логи або розділіть логи для різних доменів.

Як я можу сповільнити serpstatbot?
Ви можете уповільнити роботу бота, додавши наступні директиви в файл robots.txt:

User-Agent: serpstatbot
Crawl-Delay: 5

Значення Crawl-Delay (тривалість очікування між запитами в секундах) має бути цілим числом. Serpstatbot враховує значення до 20 включно. Великі значення Crawl-Delay зменшать навантаження на ваш сайт. Crawl-Delay також буде враховуватися при використанні User-Agent: *. Якщо наш бот виявить, що ви використовували директиву Crawl-Delay для будь-якого іншого бота, він автоматично сповільнить процес сканування.

Як я можу перевірити, що запити надходять від Serpstat?
На жаль, ми не можемо обмежити наших ботів набором статичних IP-адрес. Проте, ми можемо відправляти спеціальний рядок з ідентифікаторами разом з усіма запитами до вашого сайту. Це можуть бути HTTP-заголовки CRAWLER-IDENT або User-Agent. Serpstat не використовуватиме ці ідентифікатори для іншого домену або піддомену, тому ви будете знати, що запити, що містять цей рядок, надходять з нашої мережі. Щоб скористатися цією можливістю, зв'яжіться з serpstatbot@serpstatbot.com з інформацією про ваш сайт і ідентифікатором, який ви хочете відправити. Ми також можемо згенерувати випадковий ідентифікатор для вас.