FAQ: Часті питання про Serpstatbot

Тут зібрані відповіді на поширені питання про роботу Serpstatbot у форматі короткої довідки. Дізнатися більше про краулерів Serpstat можна у статті або звернувшись до техпідтримки.

Що таке Serpstatbot і для чого він потрібний?

Serpstatbot – це пошуковий робот, на основі якого працює модуль Аналізу посилань Serpstat. Він постійно сканує сайти, додаючи нові посилання до бази даних та відстежуючи зміни по них.
Безперервна робота бота дозволила зібрати одну з найбільших посилальних баз у ніші SEO-інструментів: 952 млрд посилань по 168 млн доменів.

Щодня база збільшується на 2 млрд нових посилань, на її підставі можна контролювати власний посилальний профіль або вивчати лінкбілдингові стратегії конкурентів.
Інформація про проскановані сторінки додається до посилального індексу Serpstat, ці дані доступні всім користувачам інструменту для аналізу посилання свого сайту або конкурентних сайтів у ніші.

Що відбувається з просканованими сторінками?

Для того, щоб на посилальний профіль сайтів користувачів не впливали тимчасові зміни, Serpstatbot також фіксує історичні дані і повторно перевіряє сторінки з кодами 404 і 301, якщо вони все ще існують. Оскільки такі сторінки негативно впливають на ранжування сайту, важливо вчасно виявляти та видаляти їх. Це можна зробити за допомогою технічного аудиту сайту із Serpstat. Ви також можете ознайомитися з політикою Google щодо 404 сторінок.

Чи фіксуються сторінки з 404 та 301 кодами відповіді сервера?

Так, бот сканує ці посилання, незважаючи на те, що вони не впливають на ранжування сторінки.

Чи сканує Serpstatbot посилання з атрибутом rel=nofollow?

Як заблокувати Serpstatbot?

Переконайтеся, що файл доступний роботу, інакше за замовчуванням Serpstatbot скануватиме сайт. Про те, як правильно поставити директиви для роботів, читайте у статті.

Якщо у вас виникли додаткові питання або ви вважаєте, що бот не виконує директиви, напишіть на пошту serpstatbot@serpstatbot.com або зв'яжіться з техпідтримкою в чаті.
Для того щоб Serpstatbot не сканував сторінки вашого сайту, використовуйте файл robots.txt, додавши наступний текст:
User-agent: serpstatbot
Disallow: /

Чому виникають проблеми із блокуванням Serpstatbot у robots.txt?

Якщо вам не вдається заблокувати бота, це може означати одну з таких помилок:
При запиті robots.txt бот перенаправляється на інший сайт: Serpstatbot переходить тільки за редиректом на тому ж домені.
Якщо на одному сервері є кілька доменів, деякі сервери можуть писати логи звернень до цих доменів в один файл без вказівки домену. Додайте інформацію про домени до логів або розділіть логи для різних доменів.

Які команди у robots.txt підтримує Serpstatbot?

Serpstatbot підтримує такі додатки до robots.txt:
Crawl-delay до 20 секунд (великі значення прирівнюються до 20 секунд).
Редирект у межах одного сайту при спробі отримати robots.txt.
Прості шаблони в директивах Disallow, що відповідає специфікації Yahoo щодо використання символу "*".
Директиви Allow мають перевагу перед Disallow, якщо вони довші.
Помилки при отриманні файла robots.txt, наприклад 403 Forbidden, розглядаються як відсутність будь-яких заборон. У такому разі, бот буде краулити всі фізично доступні сторінки.

Чи можна уповільнити роботу Serpstatbot?

Значення Crawl-Delay (тривалість очікування між запитами за секунди) має бути цілим числом. Serpstatbot враховує значення до 20 секунд включно. Великі значення Crawl-Delay зменшать навантаження на ваш сайт. Crawl-Delay також буде враховуватись при використанні User-Agent: *.

Якщо Serpstatbot виявить, що ви використовували директиву Crawl-Delay для іншого бота, він автоматично уповільнить процес сканування.
Ви можете уповільнити роботу бота, додавши наступні директиви у файл robots.txt:
User-Agent: serpstatbot
Crawl-Delay: 5
Serpstatbot не має набору статичних IP-адрес, але якщо вам важливо розуміти, що запити надходять саме від нашого бота, використовуйте наступний мануал:

Як перевірити, що запити надходять саме від Serpstat?

Після підтвердження вашого запиту, разом із запитами бота до вашого сайту надходитиме спеціальний рядок з ідентифікаторами (HTTP-заголовки CRAWLER-IDENT або User-Agent), які будуть використовуватися тільки для вашого домену.
Напишіть запит на serpstatbot@serpstatbot.com, вкажіть у ньому інформацію про ваш сайт та ідентифікатори, які ви хочете надіслати. При необхідності, ми можемо створити випадковий ідентифікатор для вас.
Дізнайтесь більше про посилальний індекс Serpstat та його можливості для побудови стратегій просування вашого сайту. Запишіться на 30-хвилинну демонстрацію з нашим експертом.

Скористайтеся базою з 952 млрд. посилань для просування ваших проектів

Персональна демонстрація
Залиште свої контакти, і ми проведемо для вас персональну демонстрацію сервісу і запропонуємо комфортні та вигідні умови для старту використання інструменту!
Open support chat

Introducing Serpstat

Find out about the main features of the service in a convenient way for you!

Please send a request, and our specialist will offer you education options: a personal demonstration, a trial period, or materials for self-study and increasing expertise — everything for a comfortable start to work with Serpstat.

Name

Email

Phone

We are glad of your comment
I agree to Serpstat`s Privacy Policy.

Thank you, we have saved your new mailing settings.

mail pocket flipboard Messenger telegramm