Как сделать анализ ниши с помощью «Парсинга топа» в Serpstat

Парсинг топа — это отдельный сервис, который не пересекается со стандартными тарифами Serpstat и которая позволяет:

• сканировать топ по поисковой системе Google;
  
• выбрать любой регион (или несколько);
  
• подобрать удобное расписание сканирования;
  
• получать данные с помощью API.
  
  

Элементы выдачи, которые можно получать через парсинг топа:

• позицию сайта (по установленному региону и расписанию);
  
• домен;
  
• целевой URL;
  
• заголовок (title);
  
• description;
  
• количество результатов;
  
• платную выдачу по фразе.
  
  

Пример того, как будет выглядеть ответ:

Как работать с парсингом:

• Перейдите на нашу страницу и оставьте заявку.
  
  
• Мы сформируем предложение по цене, в зависимости от количества пробиваемых фраз и баз данных (стоимость отображается в калькуляторе еще на этапе заявки). Обратите внимание, что минимальное количество фраз, которое можно запросить на пробивку — 500 000 в месяц.
  
  
• У вас будет доступ к любой поисковой системе и языку.
  
  
• Запросы не должны содержать поисковые операторы.
  
  
• Данные по топу вы получите с помощью специальных методов API, которых нет в нашем стандартном API.
  
  
• Результаты хранятся 24 часа с момента их готовности, после чего они станут недоступны.
  
  
• Все данные вы получите в формате JSON.
  
  

Данные, полученные с помощью парсинга топа, можно хранить в базе данных (My SQL или Big Query и др.) и выстраивать отчеты и графики через Data Studio или любой другой BI системы.

Допустим, вам нужно получить возможность регулярного анализа ниши сайта с точки зрения SEO. Вы хотите смотреть, что происходит в топе и учитывать его изменения в своей стратегии продвижения. Давайте посмотрим, как в этом поможет парсинг топа.

При парсинге топа Serpstat по API отдает JSON-объекты, которые можно просто преобразовать в таблицу. Например, результаты парсинга можно сложить в BigQuery и дальше анализировать там:

Для полной картины здесь не хватает CTR и частот ключевых фраз. Если добавить эти данные, то вы посчитаете трафик для каждого домена из топа за каждый день. Или просто суммарный трафик, если вам не нужны такие подробности. Давайте рассмотрим все на реальном примере. Допустим, мы хотим проанализировать нишу SEO в Google US и собрали для этого аж 64 запроса :)

По этим запросам ежедневно пробьем топы, получим по API из Serpstat частоты фраз и найдем данные о CTR в поисковой выдаче Google в зависимости от позиции.

Не буду вдаваться в подробности технической реализации данного решения, потому что вы сами вольны выбирать способ обработки и хранения JSON объектов. Я использовал связку R + Google Sheets + Google BigQuery, но можно обойтись и без R, использовав Apps Script.

В финальную таблицу с данными добавим три столбца — CTR, Queries (частота) и Traffic. Затем построим в Data Studio и красивые интерактивные отчеты на основании этой таблицы.

В Data Studio подключаете источник данных и за 15 минут собираете такой отчет по трафику и позициям:

В верхней части отчета у вас средняя позиция по дням на графике слева, средняя позиция по домену на диаграмме и отдельно несколько полезных чисел (средняя, минимальная и максимальная позиции). В нижней части сумма трафика по дням на графике слева и общая сумма трафика по домену на диаграмме.

Не будем обращать внимания на некоторые очевидные или неочевидные числа, а посмотрим, как работать с таким отчетом. Также не будем разносить позиции и трафик на разные листы отчета — так у нас все данные будут помещаться в один экран. CTR для этого отчета я придумал сам, потому все совпадения с реальностью — случайность :)

Выбираем нужный нам домен (пусть это будет udemy.com — будем разбираться с тематикой SEO-курсов) и смотрим, как по нему меняется средняя позиции и трафик за выбранный период. В примере ниже при относительно небольшом изменении средней позиции видим сильные изменения трафика. Причиной падения трафика может быть просадка по трафиковым запросам.

Ограничим наш отчет только данными по топ-10. Здесь картина та же — средняя позиция выросла, а трафик упал. Это объясняется тем, что из топ-10 выпали ключевые фразы, которые приносили нам большое количество трафика:

Также видим, что бóльшую часть всего трафика для udemy.com приносят фразы из топ-10 и любые изменения в это диапазоне в позициях будут сильно влиять на трафик.

Смотрим все фразы в определенном топе в выпадающем списке выбора фраз. Для этого сделайте отдельную таблицу вида «Фраза — Дата — Позиция». Также можете создать таблицы со списками фраз по домену за разные даты для сравнения изменений в топе или начать хранить изменения позиций по домену в источнике данных для отчета.

Возьмем трафиковую для Udemy фразу «seo trainings» и посмотрим, как по ней обстоят дела в топе.

Отчет по позициям получился неинформативным, а вот по трафику мы видим, что Udemy всех побеждает и главный конкурент — Search Engine Watch. Сравним эти два домена.

Здесь ситуация довольно странная — при снижении средней позиции у Udemy трафик вырос, а у Search Engine Watch эти показатели ведут себя одинаково. Это объясняется исходя из принципа построения отчета. Udemy в выдаче начал показываться на других позициях кроме первой. Потому средняя позиция упала. Трафик же в этом случае я считаю просто как сумму трафика по всем позициям, потому он вырос.

Давайте сравним Udemy и Search Engine Watch по всем запросам. Видим, что при близкой средней позиции трафик у сайтов сильно отличается. Это видно и по динамике, и для абсолютных значений.

Например, трафик по каждому дню будет доступен прямо на графике:

По каждому из сайтов можно увидеть долю трафика в нише. Для этого постройте отчет, если нужно регулярно проверять этот показатель. Мы ограничимся простым расчетом.

Возьмем данные за 23 ноября. Общий трафик — 237,3 тысячи. Трафик на Udemy — 2,4 тысячи. Это составляет примерно 1%. На Search Engine Watch трафик 1,7 тысячи. Это 0,7%.

Данные в нашем примере мы получали только по одному региону. Если парсить топы по разным регионам, то можно будет сравнивать картину по домену в разных регионах или мониторить изменения выдачи по запросу в зависимости от региона.

Также в отчет мы не добавляли анализ спецэлементов и контекстной рекламы. Имея эти данные, вы введете поправки на CTR в зависимости от их наличия и это позволит вам получить более точные оценки трафика. Да и отдельно проанализировать конкурентов в контекстной рекламе тоже не помешает.

Еще одна неочевидная возможность — разбор сниппетов. Вы сможете анализировать сниппеты сайтов в топ-10 и брать оттуда дополнительную информацию для оптимизации страниц. Например, все конкуренты прямо в сниппете предлагают бесплатную доставку, а вы нет. И на этом теряете конкурентное преимущество.

Всю эту информацию добавьте в отчет в Data Studio и он превратится у вас в комплексную систему аналитики топов. Такую штуку всегда удобно держать под рукой. Начните со сбора данных и дальше усовершенствуйте ее по мере необходимости.

Мы собрали в таблице основные различия между нашими популярными инструментами.

Преимущества парсинга топа:

1. Индивидуальная настройка частоты обновлений (несколько раз в день или реже).
   
2. Нет ограничений в количестве ключевых фраз.