Самые распространенные вопросы пользователей о модуле «Анализ ссылок»: дайджест службы поддержки #4

— Данные обновляются в период от 1 до 70 дней: частота обновления данных по конкретному сайту зависит от его распространенности в сети интернет. Чем больше на него ссылок с разных доменов, тем чаще будут обновляться по нему данные.

— Наши краулеры соблюдают основные правила индексации данных, в первую очередь — правила для роботов, описанные в robots.txt сайта. Отдельные блоки, закрытые тегами noindex, в некоторых случаях могут быть проигнорированы. Подробный FAQ по боту Serpstat смотрите здесь.

— Новый индекс Serpstat, в большинстве случаев, более актуален. Часть доменов/ страниц, которые показывались раньше, могла оказаться уже устаревшей, и наоборот — в старом индексе могло не быть всей актуальной информации.

Есть смысл также проверять отчет «Потерянных ссылок». Часть данных может оказаться там. Если есть примеры актуальных ссылок, которых нет в индексе Serpstat и с их размещения прошло больше 3 месяцев — передайте эти данные разработчикам модуля через чат поддержки, и мы проверим их.

— Графики во всех детальных отчетах мы отображаем за год, шаг обновления — неделя (с понедельника по понедельник). В некоторых случаях, разбег может быть больше: к примеру, если краулеры были остановлены для обновления. Ориентироваться можно по датам на горизонтальной оси графиков.

— Мы не используем такое понятие. У нас есть понятие «Анкор без текста». Это ссылка, у которой нет анкора (<a></a> — текст равен пустой строке). Это может быть текстовая ссылка, которая видна только в коде, изображение или кнопка.

— При анализе сайтов краулерами используется алгоритм проверки, схожий с алгоритмами в Google Chrome. Зараженными считаются сайты, на которые Google Chrome не рекомендует переходить, и блокирует переход при попытке, с уведомлением. Эта информация также есть в подсказке значения на дашборде.

— Теперь есть универсальный отчет по всем доменным зонам: он находится в нижней части дашборда, таблица рядом с картой доменов. В ней можно увидеть полную статистику по ссылающимся доменным зонам и странам.

— Это не баг: данные подтягиваются из разных «источников» и поэтому могут незначительно различаться. Есть основной индекс, он огромен и некоторые запросы из него получать слишком долго. Для ускорения этого процесса мы сделали специальные выжимки с суммарными данными по сайтам, которые обновляются примерно раз в неделю.

Данные для дашборда, в основном, берутся из этих маленьких таблиц, а данные для отчетов — из самого индекса. Из-за этого суммарное количество на дашборде и в соответствующем отчете может не совпадать, но разбег обычно не превышает 1%. Более актуальные данные находятся именно в детальных отчетах.

— Динамика демонстрирует суммарные изменения за 7 дней.

— Есть небольшое количество сайтов (около 1500), данные по которым считать очень ресурсозатратно. Для таких сайтов мы используем кеширование и обновляем данные примерно раз в неделю. Сейчас кеширование отключено: мы внедряем глобальные обновления в краулер и индекс.

После завершения работ мы проведем несколько итераций оптимизации, чтобы все работало быстрее, после чего перенастроим и снова включим кеширование — тогда данные по этим крупным сайтам будут доступны (не раньше III квартала 2020 года).

— Этот функционал пока находится в разработке. Он будет доступен в соответствующих отчетах по окончанию работ, об этом также будет отдельно объявлено. Следите в блоге Serpstat ;)