Serpstat использует файлы cookie для обеспечения работоспособности сервиса, улучшения навигации, предоставления возможности связаться с командой поддержки, а также маркетинговых активностей Serpstat.

Нажав кнопку "Принять и продолжить", вы соглашаетесь с Политики конфиденциальности

Принять и продолжить

Закрыть

Сообщить об ошибке

Отменить
4928
SEO Читать 12 минут 30 ноября 2018

Как сделать анализ ниши с помощью «Парсинга топа» в Serpstat

Как сделать анализ ниши с помощью Парсинга топа в Serpstat

Алексей Данилин
Lead Product Manager в Serpstat
Продвигаете свой сайт по сотням запросов и хотите оптимизировать этот процесс? Тогда вам поможет услуга «Парсинг топа». Она позволит создать собственный Serpstat прямо на вашем сайте. Как? Читайте в этой статье.

Обзор инструмента

Парсинг топа — это отдельная услуга, которая не пересекается со стандартными тарифами Serpstat и которая позволяет:

  • сканировать топ по двум поисковым системам (Яндекс и Google);
  • выбрать любой регион (или несколько);
  • подобрать удобное расписание сканирования;
  • получать данные с помощью API.

Элементы выдачи, которые можно получать через парсинг топа:

  • позицию сайта (по установленному региону и расписанию);
  • домен;
  • целевой URL;
  • заголовок (title);
  • description;
  • количество результатов;
  • платную выдачу по фразе.

Пример того, как будет выглядеть ответ:
Как работать с парсингом:

  • Перейдите на нашу страницу и оставьте заявку.

  • Мы сформируем предложение по цене, в зависимости от количества пробиваемых фраз и баз данных (стоимость отображается в калькуляторе еще на этапе заявки). Обратите внимание, что минимальное количество фраз, которое можно запросить на пробивку — 500 000 в месяц.

  • У вас будет доступ к любой поисковой системе и языку.

  • Запросы не должны содержать поисковые операторы.

  • Данные по топу вы получите с помощью специальных методов API, которых нет в нашем стандартном API.

  • Результаты хранятся 24 часа с момента их готовности, после чего они станут недоступны.

  • Все данные вы получите в формате JSON.

Данные, полученные с помощью парсинга топа, можно хранить в базе данных (My SQL или Big Query и др.) и выстраивать отчеты и графики через Data Studio или любой другой BI системы.

Как провести анализ ниши

Допустим, вам нужно получить возможность регулярного анализа ниши сайта с точки зрения SEO. Вы хотите смотреть, что происходит в топе и учитывать его изменения в своей стратегии продвижения. Давайте посмотрим, как в этом поможет парсинг топа.

Хранение и расширение данных

При парсинге топа Serpstat по API отдает JSON-объекты, которые можно просто преобразовать в таблицу. Например, результаты парсинга можно сложить в BigQuery и дальше анализировать там:
Для полной картины здесь не хватает CTR и частот ключевых фраз. Если добавить эти данные, то вы посчитаете трафик для каждого домена из топа за каждый день. Или просто суммарный трафик, если вам не нужны такие подробности. Давайте рассмотрим все на реальном примере. Допустим, мы хотим проанализировать нишу SEO в Google US и собрали для этого аж 64 запроса :)

По этим запросам ежедневно пробьем топы, получим по API из Serpstat частоты фраз и найдем данные о CTR в поисковой выдаче Google в зависимости от позиции.

Не буду вдаваться в подробности технической реализации данного решения, потому что вы сами вольны выбирать способ обработки и хранения JSON объектов. Я использовал связку R + Google Sheets + Google BigQuery, но можно обойтись и без R, использовав Apps Script.

В финальную таблицу с данными добавим три столбца — CTR, Queries (частота) и Traffic. Затем построим в Data Studio и красивые интерактивные отчеты на основании этой таблицы.

Анализ результатов парсига топа

В Data Studio подключаете источник данных и за 15 минут собираете такой отчет по трафику и позициям:
В верхней части отчета у вас средняя позиция по дням на графике слева, средняя позиция по домену на диаграмме и отдельно несколько полезных чисел (средняя, минимальная и максимальная позиции). В нижней части сумма трафика по дням на графике слева и общая сумма трафика по домену на диаграмме.

Не будем обращать внимания на некоторые очевидные или неочевидные числа, а посмотрим, как работать с таким отчетом. Также не будем разносить позиции и трафик на разные листы отчета — так у нас все данные будут помещаться в один экран. CTR для этого отчета я придумал сам, потому все совпадения с реальностью — случайность :)

Динамика изменения позиций и трафика по домену

Выбираем нужный нам домен (пусть это будет udemy.com — будем разбираться с тематикой SEO-курсов) и смотрим, как по нему меняется средняя позиции и трафик за выбранный период. В примере ниже при относительно небольшом изменении средней позиции видим сильные изменения трафика. Причиной падения трафика может быть просадка по трафиковым запросам.

Что происходит с ключевыми фразами на определенных позициях

Ограничим наш отчет только данными по топ-10. Здесь картина та же — средняя позиция выросла, а трафик упал. Это объясняется тем, что из топ-10 выпали ключевые фразы, которые приносили нам большое количество трафика:
Также видим, что бóльшую часть всего трафика для udemy.com приносят фразы из топ-10 и любые изменения в это диапазоне в позициях будут сильно влиять на трафик.

Анализ изменений в топе по фразе

Смотрим все фразы в определенном топе в выпадающем списке выбора фраз. Для этого сделайте отдельную таблицу вида «Фраза — Дата — Позиция». Также можете создать таблицы со списками фраз по домену за разные даты для сравнения изменений в топе или начать хранить изменения позиций по домену в источнике данных для отчета.
Возьмем трафиковую для Udemy фразу «seo trainings» и посмотрим, как по ней обстоят дела в топе.
Отчет по позициям получился неинформативным, а вот по трафику мы видим, что Udemy всех побеждает и главный конкурент — Search Engine Watch. Сравним эти два домена.
Здесь ситуация довольно странная — при снижении средней позиции у Udemy трафик вырос, а у Search Engine Watch эти показатели ведут себя одинаково. Это объясняется исходя из принципа построения отчета. Udemy в выдаче начал показываться на других позициях кроме первой. Потому средняя позиция упала. Трафик же в этом случае я считаю просто как сумму трафика по всем позициям, потому он вырос.

Сравнение с конкурентами

Давайте сравним Udemy и Search Engine Watch по всем запросам. Видим, что при близкой средней позиции трафик у сайтов сильно отличается. Это видно и по динамике, и для абсолютных значений.
Например, трафик по каждому дню будет доступен прямо на графике:
По каждому из сайтов можно увидеть долю трафика в нише. Для этого постройте отчет, если нужно регулярно проверять этот показатель. Мы ограничимся простым расчетом.

Возьмем данные за 23 ноября. Общий трафик — 237,3 тысячи. Трафик на Udemy — 2,4 тысячи. Это составляет примерно 1%. На Search Engine Watch трафик 1,7 тысячи. Это 0,7%.

Что еще можно сделать с результатами парсинга топа

Данные в нашем примере мы получали только по одному региону. Если парсить топы по разным регионам, то можно будет сравнивать картину по домену в разных регионах или мониторить изменения выдачи по запросу в зависимости от региона.

Также в отчет мы не добавляли анализ спецэлементов и контекстной рекламы. Имея эти данные, вы введете поправки на CTR в зависимости от их наличия и это позволит вам получить более точные оценки трафика. Да и отдельно проанализировать конкурентов в контекстной рекламе тоже не помешает.

Еще одна неочевидная возможность — разбор сниппетов. Вы сможете анализировать сниппеты сайтов в топ-10 и брать оттуда дополнительную информацию для оптимизации страниц. Например, все конкуренты прямо в сниппете предлагают бесплатную доставку, а вы нет. И на этом теряете конкурентное преимущество.

Всю эту информацию добавьте в отчет в Data Studio и он превратится у вас в комплексную систему аналитики топов. Такую штуку всегда удобно держать под рукой. Начните со сбора данных и дальше усовершенствуйте ее по мере необходимости.

Примеры использования

1
Распределение доли трафика по рынку (один из самых популярных кейсов): кроме отслеживания позиции фраз по домену, мы регулярно мониторим и частотность этих фраз. Имея частотность и позицию фразы по своему домену и доменам конкурента, вы спрогнозируете как приблизительный общий трафик, так и трафик по отдельным категориям.
2
Отслеживание динамики позиций сайта за месяц: вы узнаете, какие категории лидируют, какие проседают, а также где и по каким фразам ваш сайт занимает низкую позицию.
3
Определение лидеров в тематике — кто из конкурентов подошел максимально близко к позициям вашего сайта и по каким фразам.
4
Определение выпавших из топа фраз у вашего сайта и у конкурентов.
5
Определение фраз в топе: сортировка фраз/категорий, которые поднялись в топ. На основе полученных данных вы сделаете максимальный акцент на этих категориях в рамках продвижения.
6
Отслеживание региональной выдачи — отслеживайте региональную выдачу, чтобы понимать, в каких регионах лидируют конкуренты и по каким тематикам. Бывает, что в крупных городах лидирует ваш сайт, но в других городах вас обходят нишевые конкуренты по конкретным тематикам, а вы этого не знаете.
7
Регулярный мониторинг контекста покажет:

  • когда у конкурента заканчивается бюджет, благодаря чему вы спрогнозируете экономные дни для размещения;
  • кто из конкурентов и по каким дням крутит контекст.
8
Отслеживание сниппета: парсинг топа будет фиксировать сниппеты каждого сайта, благодаря чему вы оцените сниппеты конкурентов, узнаете их слабые стороны и усовершенствуете свой.
9
Совмещение с Google Analytics и Serpstat в одном отчете.

Разница между Парсингом топа, Мониторингом позиций и методом API «Топ по фразе»

Мы собрали в таблице основные различия между нашими популярными инструментами.

Преимущества парсинга топа:

  1. Индивидуальная настройка частоты обновлений (несколько раз в день или реже).
  2. Нет ограничений в количестве ключевых фраз.

Подведем итог

1
Работая с парсингом топа, вы построете маленький Serpstat на своей стороне :) Вам больше не нужно каждый раз заходить в Serpstat, чтобы выгрузить какие-то данные — постройте собственный инструмент в любом виде на основе тех данных, которые мы вам предоставим.
2
Вы выстроите регулярно обновляемую аналитику для клиентов в их личных кабинетах на своем сайте. То есть, клиент, заходя в свой личный кабинет на сайте своего SEO-агентства, увидит графики по своему проекту.
3
Услугой «Парсинг топа» в Serpstat пользуются известные маркетплейсы, агрегаторы, крупные инхаус-команды. Они оценили эту крутую возможность, следуйте за ними.
Появились вопросы? Задавайте их в комментариях!

Сэкономьте время на изучении Serpstat

Хотите получить персональную демонстрацию сервиса, тестовый период или эффективные кейсы использования Serpstat?

Оставьте заявку и мы свяжемся с вами ;)

Оцените статью по 5-бальной шкале

4.24 из 5 на основе 20 оценок
Нашли ошибку? Выделите её и нажмите Ctrl + Enter, чтобы сообщить нам.

Поделитесь статьей с вашими друзьями

Войти Регистрация

Вы исчерпали лимит запросов.

Или email
Забыли пароль?
Или email
Back To Login

Не волнуйтесь! Напишите свой электронный адрес и мы пришлем вам новый пароль.

Вы уверены?

Awesome!

To complete your registration you need to enter your phone number

Назад

Мы отправили код подтверждения на ваш номер телефона

Your phone Resend code Осталось запросов

Что-то пошло не так.

Свяжитесь с нашей службой поддержки
Или подтвердите регистрацию с помощью Телеграм бота Перейдите по этой ссылке
Выберите один из проектов

Знакомство с сервисом

Ознакомьтесь с основными возможностями Serpstat удобным способом!

Отправьте заявку для ознакомления с сервисом и мы свяжемся с вами в кратчайшие сроки. Наш специалист предложит подходящий вариант, который может включать персональную демонстрацию, пробный период, материалы для обучения и повышения экспертизы, личную консультацию, а также комфортные условия для начала работы с Serpstat.

Имя

Email

Телефон

Будем рады вашему комментарию
Увеличить лимиты

Улучшить тариф

Экспорт недоступен для вашего тарифного плана. Вам необходимо улучшить свой тариф до Lite или выше, чтобы получить доступ к инструменту Подробнее

Зарегистрироваться

Спасибо, мы с вами свяжемся в ближайшее время

Пригласить
Просмотр Редактирование

E-mail
Сообщение
необязательно
E-mail
Сообщение
необязательно

У вас закончились лимиты

Вы достигли лимита на количество созданных проектов и больше не можете создавать новые проекты. Увеличьте лимиты или удалите существующие проекты.

Я хочу больше лимитов