8 фишек нестандартного анализа трафика конкурентов

“

Эта статья — транскрибация одноименного доклада Дмитрия Мазуряна с конференции 8P-2017.

— Arsa, редактор

Дмитрий Мазурян

Senior SEO Specialist в Tonti Laguna, Netpeak Group

При анализе трафика конкурентов, легко получить ответ на вопрос: «Сколько?» Сколько трафика? Сколько посетителей? Намного сложнее получить ответ на вопрос «Откуда и куда?» Он ведь намного важнее.

Сегодня я поделюсь с вами своими прикладными методиками для нестандартного анализа трафика конкурентов, которые позволят влиять на стратегию развития контента.

Приготовьтесь, вас ждет объемный лонгрид!

Содержание

1. Как точно определять топовые страницы по органическому трафику
2. Как найти новые страницы, которые начали давать органический трафик
3. Как определять топовые страницы по трафику из контекста
4. Как определять рекламные сети, с которыми стоит поработать
5. Определяем страницы, которые сейчас «шерят»
6. Как сравнивать реферальный трафик с общих источников
7. Как палить трафик через сокращалки
8. Как получить доступ к логам конкурентов

Печальная истина — без доступа к логам серверов или счетчику нельзя получить точные данные о трафике любого сайта. Все, о чем пойдет речь в статье — это не стопроцентная информация по трафику конкурентов.

Фишка #1

Как точно определить топовые страницы по органическому трафику

Существует много разных систем анализа топов (Serpstat, Semrush, Ahrefs), однако они часто предоставляют неточную информацию.

Задача:

Определить, какие страницы сайта конкурента привлекают больше всего трафика из поисковых систем.

Польза от результата:

Понимание, где мы теряем и можем ли нарастить объемы целевого трафика.

Слева в таблице изображено распределение топ-10 страниц по Google Analytics и их доля трафика в процентах. Справа указаны данные по аналогичным страницам от одного из сервисов анализа топов.

Распределение страниц лидеров в Google Analytics и сервисов анализов топов

И это не худший вариант. Разумеется, на эти данные нельзя ориентироваться. Когда я впервые это понял, моя реакция была примерно такой →

В итоге я создал методику, с помощью которой можно получить более точные данные.

На данные сервисов анализа топов ориентироваться нельзя

Что делаем?

1

Берем сервис с самой большой базой под наш регион или нишу.

2

Собираем все фразы, по которым ранжируется сайт из этого сервиса.

3

Используем адекватное распределение CTR по позициям (лучше использовать данные, которые предоставляют Google Webmaster Tools от Google и Яндекс Webmaster)

Если у вас нет данных по CTR из вашей ниши, можете воспользоваться исследованием Advanced Web Ranking.

4

Для всех фраз считаем трафик по формуле:

Σ(Частота * CTR соответствующей позиции, где ранжируются фразы страниц)

5

Сортируем страницы по убыванию посчитанного трафика.

Теперь содержимое таблиц немного изменится:

Сравниваем распределение трафика после внедрения скрипта на API Serpstat

Получим данные, существенно лучше прежних.

Моя методика работает :)

Данные неидеальны, однако по ним уже можно что-то судить.

Главное, методика предполагает автоматизацию — получение данных нажатием одной кнопки.

Данные улучшились, скрипт анализа сайта работает правильно

Скриншот настройки скрипта на основе API Serpstat

Специально для этой цели я создал скрипт, который работает с API Serpstat

Щелкните на заголовок, чтобы прочитать инструкцию по работе со скриптом

Перед началом нужно заполнить три обязательных поля:

Домен — сюда вбиваем домен без http://, https://, слэшей и т.д.
Поисковая система — указываем с какой базой Serpstat будем работать.
Перечень значений тут.
token — ключ доступа к API Serpstat. Находится на странице профиля.

Если вбить все поля и нажать на «Банзай» через 20-50 секунд появится результат. В онлайн-версии скрипта показывает для 27 топовых страниц.

Ссылка на исходник: http://mz.kiev.ua/tools/8p2017/8p2017-scripts.rar

Поверьте, с ним вы получите более точные данные (хотя возможны исключения).

Отчет по страницам сайта после работы скрипта

“

Обратите внимание, что API Serpstat доступно для пользователей, начиная с Plan B и выше.

— Arsa, редактор

Фишка #2

Как найти новые страницы, которые начали давать органический трафик

Теперь поговорим про новые страницы конкурентов, которые только начинают давать трафик.

Задача:

Определить, какие из новых страниц конкурента дают органический трафик.

Польза от результата:

Можем определить, какие действия привели к росту трафика конкурента и использовать это в своих целях (сравнить, использовали ли мы аналогичное в тематике, или вообще ничего не делали, а так же и стоит ли нам что-то делать).

Есть две реализации, которые дополняют друг друга: API Serpstat и API Similarweb.

1. API Serpstat

1

Выгружаем все ключевые слова, по которым ранжируется сайт.

2

Смотрим динамику изменения позиций, выделяем исключительно новые страницы.

3

Сортируем, какие страницы больше получили трафика и дальше с ними работаем, формируем стратегию.

Например, вот несколько новых статей на известных сайтах, которые уже собирают трафик:

1) https://keddr.com/2017/07/pochemu-bolshe-nikto-ne-letaet-na-lunu/
2) http://www.the-village.ru/village/business/news/273882-biz-geek

Анализ конкурентов с помощью API Serpstat

Вы можете найти аналогичные, воспользовавшись моим скриптом на базе API Serpstat

Щелкните на заголовок, чтобы прочитать инструкцию по работе со скриптом

Перед началом нужно заполнить три обязательных поля:

Домен — сюда вбиваем домен без http://, https://, слэшей и т.д.
Поисковая система — указываем с какой базой Serpstat будем работать. Перечень значений тут.
API token — ключ доступа к API Serpstat. Находится он на странице профиля.

Если вбить все поля и нажать на «Банзай» через 20-40 секунд появится результат. Результат будет в формате «url;трафик» для каждой страницы с новой строки.

Выделяем результат, копируем в Excel / Google Sheets и делаем разбивку по столбцам через точку с запятой.

Ссылка на исходник: http://mz.kiev.ua/tools/8p2017/8p2017-scripts.rar

2. API Similarweb

Similarweb, в отличие от сервисов анализа этапов, говорит о том, какие фразы привлекли трафик, основываясь именно на трафике, а не на том, есть ли эта фраза в базе.

Соответственно, можно выделить те страницы и те запросы, частотность которых по Adwords и Wordstat вообще ноль, потому что эти запросы появились совсем недавно.

Например, сайт ITC получил очень много органического трафика, благодаря статье, посвященной проблемам с работой Приват24.

Или вот пример с интернет-магазином ALLO, который в июне получил очень много дополнительного трафика, связанного с выходом в продажу смартфона Xiaomi mi6.

Соответственно, эта методика работает не только для информационных ресурсов. Теперь вы легко узнаете, какие новые страницы конкурентов выстрелили и что использовать для своего сайта.

Сам алгоритм следующий:

1

Берем данные за три последних месяца из SimilarWeb

2

По данным за первых два месяца формируем список старых страниц.

3

По данным за последний месяц определяем страницы, которые ранее не привлекали органический трафик.

По Similarweb я также создал скрипт, которым можно воспользоваться. Нужно вбить домен без http:// и лишних слэшей и через 20-30 секунд появится результат →

Отчет по трафиковым страницам конкурентам с помощью SimilarWeb

Фишка #3

Как определить топовые страницы по трафику из контекста

Как узнать страницы, на которые конкуренты тратят больше денег и привлекают, соответственно, больше всего трафика с рекламы? Мало сервисов анализа топов могут дать ответ на этот вопрос.

В Semrush есть данные по трафику целого сайта, но нет отдельного отчета по страницам с контекстной рекламы. В Serpstat есть отчет, но здесь показываются только количество фраз для каждой страницы.

Задача:

Определить, какие страницы конкурента привлекают больше всего трафика из контекстной рекламы.

Польза от результата:

Понимание распределения трат конкурентов на контекст.

Алгоритм такой:

1

Берем сервис с самой большой базой под наш регион или нишу.

2

Собираем все ключевые фразы, по которым рекламируется сайт.

3

Исходя из позиции объявления и частотности фразы считаем приблизительный трафик каждой страницы.
Формула: Σ(Частота * CTR).

4

Сортируем, выводим.

Эти данные будут относительными, потому как мы не знаем, показывается ли реклама круглосуточно или в определенный период, показывается у конкурентов или нет. Но с этим можно также работать и строить свою стратегию на основе этих данных.

Если у вас нет данных по CTR объявлений из Adwords или Директа, в зависимости от позиций в рамках вашей ниши, советую воспользоваться исследованием Word Stream. Там более-менее адекватное распределение CTR.

Поиск топовых страниц конкурентов в контексте через API Serpstat

Здесь я тоже подготовил скрипт, которым вы можете воспользоваться и получать данные буквально за несколько секунд

Щелкните на заголовок, чтобы прочитать инструкцию по работе со скриптом

Перед началом нужно заполнить три обязательных поля:

Домен — сюда вбиваем домен без http://, https://, слэшей и т.д.
Поисковая система — указываем с какой базой Serpstat будем работать. Перечень значений тут.
API token — ключ доступа к API Serpstat. Находится он на странице профиля.

Если вбить все поля и нажать на «Банзай» через 20-40 секунд появится результат. Показатели трафика в результате относительные их лучше использовать для сравнения какие страницы дают больше платного трафика и насколько.

Ссылка на источник: http://mz.kiev.ua/tools/8p2017/8p2017-scripts.rar

Фишка #4

Как определять рекламные сети, с которыми стоит поработать.

Рекламных сетей существует огромное количество, тизерки, куча альтернатив Adwords и Директа. Фишка в том, чтобы узнать в каких сетях представлены наши конкуренты.

Задача:

Определить, какими рекламными сетями пользуются конкуренты.

Польза от результата:

1. Знание рекламных сетей, где представлены конкуренты.
2. Знание рекламных сетей, где конкуренты не рекламируются.

Зная эти сети, мы можем предположить, что наш товар, наша аудитория хорошо конвертируется и можем тоже попробовать с ними работать.

Кроме того, так можем найти сети, в которых не представлены даже конкуренты. Соответственно, конкуренция в рамках нашей аудитории там ниже и мы можем попробовать заработать больше.

Решение этой задачи очень простое — я рекомендую пользоваться сервисом Similarweb. Там есть отдельный отчет, посвященный рекламным сетям — Display Advertising. Это бесплатно.

Анализ рекламных сетей конкурентов в SimilarWeb

Чтобы собрать данные о сетях, где рекламируются наши конкуренты, достаточно просто по каждому пройтись, собрать в единую табличку и получим результаты.

А вот насчёт того, как узнать, где они не рекламируются: просто берем какого-то из лидеров (например, интернет-магазин, у которого большие бюджеты и он предположительно может работать со всеми сетями).

Затем смотрим перечень сетей, где он представлен, сравниваем с тем, что мы получили прежде с конкурентами и работаем.

Есть небольшая фишка, связанная с бесплатным аккаунтом Similarweb. У них ездить раздел Custom Dashboards, где можно создавать много разных отчетов, которые будут представлены на одной странице.

И там есть отчет для рекламных сетей Ad Networks List, где нет ограничения в бесплатной версии на проверку сайтов. Может быть, это когда-нибудь прикроют, но пока можете пользоваться.

Пользовательский отчет по источникам рекламного трафика конкурентов

Фишка #5

Определяем страницы, которые сейчас «шерят» в социальных сетях

Мне часто приходится анализировать трафик из соцсетей.

Каждый раз, когда я это начинаю, нахожу много разной информации и пытаюсь с ней работать, голова начинает пухнуть :)

Очень сложно найти что-то адекватное из социальных сетей, кроме количества социальных сигналов.

В итоге я начал использовать методику — анализ страниц, которые сейчас «шерят».

Задача:

Определить, какие страницы конкурентов последнее время больше всего шерят. Под «сейчас» я подразумеваю промежуток в 3-5 дней.

Польза от результата:

1. Возможность выделить контент, который в данный момент в тренде аудитории конкурента.
2. Косвенная возможность определить соц. трафик конкретных страниц. Считаем, что один соц. сигнал дает охват в 3 пользователя.

Методика позволит найти страницы конкурентов, которые сейчас привлекают аудиторию и, возможно, они в тренде. Кроме того, можно подсчитать сколько трафика из социальных сетей они получают за счет социальных сигналов.

В штатах есть куча исследований, связанных с охватом аудитории от одного шера или лайка, которые сводятся примерно к числу 3-5. То есть от трех до 5 посетителей могут перейти на сайт или ознакомиться с шером одного из друзей.

Есть две методики получения этих данных:

1. Ahrefs:

Анализ шейров в Ahrefs

1) Заходим в инструмент «Content Explorer».
2) Вбиваем сайт.
3) Для каждой страницы можно посмотреть динамику соц.сигналов.

Нажимаем на Details и видим графики по изменению социальных откликов на каждую страницу.

Недостаток:

Ahrefs хорош тем, что здесь можно посмотреть исторические данные по количеству шеров и лайков с разных социальных сетей. Но очень сложно выделить страницы, которые собирают больше всего шеров именно сейчас.

2. Регулярный сбор данных о количестве соц. сигналов на все страницы

Есть другой способ, который я использую уже несколько лет — это регулярный сбор данных о количестве соц. сигналов на все страницы:

1) Собираем все возможные страницы конкурентов.
2) Через API социальных сетей получаем данные о количестве соц. сигналов из каждой системы.
3) Ежедневно, или чаще, обновляем количество соц. сигналов для каждой страницы.
4) Делаем выборки по динамике за несколько дней, которые нам интересны.

Недостаток: Это несложно. Единственное, могут быть проблемы получения всех страниц сайта:

1) Когда у нас больше миллиона страниц сложнее доставать эти данные оперативно.

2) Получить весь перечень страниц конкурентов довольно сложно, особенно если они добавляют по 100-1000 страниц каждый день. Для этого нужно знать, где у них лежит сайт Sitemap. Но эту проблему можно решить.

Мини-лайфхак для решения: Если в Google вбить запрос «site:domain inurl:xml» можно найти адрес sitemap, даже если его нет в robots.txt.

Если хотите получить динамику социальных сигналов по каждому отдельному URL за семь дней, воспользуйтесь моим скриптом

Щелкните на заголовок, чтобы узнать больше по работе со скриптом

В веб-версии можно добавлять сколько угодно адресов, по которым ежедневно сохранятся количество соц. сигналов с Facebook, Vkontakte и Google+.

Результат можно фильтровать по части url и социальной сети. Для каждого адреса смотрите динамику соц. откликов.

Если вам нужен сервис, чтобы установить его у себя, напишите мне, я дам исходники и инструкции по базе данных, как это все налаживать.

Отчет по динамике социальных сигналов конкурентов

Фишка #6

Как сравнивать реферальный трафик с общих источников

Теперь поговорим про реферальный трафик и сравнение общих источников.

Задача:

Определить, насколько больше или меньше заходят на ваш сайт, в зависимости от сайтов конкурентов, с общих источников.

Польза от результата:

1. Возможность определить, с каких сайтов конкуренты получают больше трафика, чем ваш проект.
2. Возможность определить, с каких сайтов конкуренты получают трафик, а ваш проект — нет.

Допустим, у вас есть интернет-магазин и вы размещаетесь на прайс-агрегаторе (Hotline, Price.ua). И ваши конкуренты тоже размещаются. У вас одинаковые товары, но за счет того, что вы используете разные ставки, вы получаете разный трафик. Как быстро определить, кто из вас получает больше трафика ? Как, сравнивая общие источники, найти сайты, где конкуренты получают целевой трафик, а вы нет?

Здесь поможет все тот же Similarweb.

Реализация №1:

1

Заходим в pro.similarweb.com.

2

Переходим в отчет «Referrals».

3

Добавляем до четырех конкурентов.

4

Смотрим результаты.

Недостатки: В бесплатной версии показываются только 5 источников. Находит только соотношения и нужно самостоятельно считать количество.

Результаты выглядят примерно так:

Сравниваем весь реферальный трафик конкурентов

Здесь указано распределение трафика в долях. Однако чтобы получить точные числа, нужно попотеть.

Реализация №2:

Это скрипт, который основан на бесплатном API Similarweb

Щелкните на заголовок, чтобы прочитать инструкцию по работе со скриптом

Вбиваем кучу доменов. Для онлайн-версии: до 35 доменов. И ждем результат.

Результат будет в формате «как csv», где значения через точку с запятой.

Копируем данные в Excel / Google Sheets и разбиваем по столбцам через точку с запятую и получаем удобную таблицу для анализа.

Фишка #7

Как палить трафик через сокращалки

Наверняка вы слышали про сервисы-сокращалки, где можно добавить длинный URL и на выходе получить короткий. Немногие знают, что через такие сервисы можно смотреть статистику переходов и, соответственно, мало кто ими пользуется.

Мне такой способ анализа трафика конкурентов напоминает подглядывание.

Я выделяю несколько основных сокращалок:

{id} – уникальный идентификатор каждого адреса

Очень часто статистика переходов по сокращалке открыта для просмотра.

В случае Google можно смотреть не только динамику переходов на какую именно страницу ведёт. Здесь также показывается много технической информации, связанной с типом устройства, с географией, даже с какого сайта был переход.

В случае bit.ly вы получаете динамику переходов, которая зачастую открыта.

Вопрос в том, как анализировать эти данные? Как находить такие адреса?

1. Через бэклинки

Берем любой сервис анализа обратных ссылок. Смотрим ссылающиеся домены на конкурентов.
Выделяем сокращалки (например,goo.gl) и смотрим все страницы, которые ссылаются). Иногда такие сервисы связывают ссылки за счет редиректа и показывают, что ваша страница — это и есть та сокращалка.
Анализируем статистику.

Сокращалки также помогают проанализировать нишу.

2. Анализируем выдачу

Наверняка, вы знаете что такое Amazon, это крупная площадка по обороту товаров и услуг через интернет. Многие вебмастеры в Штатах работают с ним в узких товарных группах. Они создают отдельные сайты, которые ведут с помощью реферальной ссылки на Amazon и пытаются продавать товары на Амазоне и зарабатывать на этом. И зачастую они используют сокращалку amzn.to.

Просто гуглим по фразе «intext:»домен сокращалки» ключевое слово нашей ниши».

И находим сайты, в тексте которых встречаются эти ссылки.

Например, по запросу «intext:"goo.gl" g-shock» можно найти редирект goo.gl/mnr8rk.

Если они в топе в рамках вашей ниши, то проанализировав их, вы можете приблизительно понять, какой объем трафика приводит на Amazon и стоит ли вам работать с этой нишей или нет.

Я создал небольшой скрипт для пакетного анализа данных из сокращалки от Google

Щелкните на заголовок, чтобы прочитать инструкцию по работе со скриптом

Вбиваем кучу адресов, до 35 шт. Ждем результат до минуты. Он будет в формате «как csv», где значения разделяются через точку с запятой.

Для каждого редиректа выводится, куда он ведет и сколько было переходов за 30 дней и все время.

Ссылка на исходник: http://mz.kiev.ua/tools/8p2017/8p2017-scripts.rar

Пользуйтесь!

Фишка #8

Находим сайты с открытыми логами

Существует несколько серверных систем аналитики, которые работают с логами и иногда к ним открыт доступ. Вероятность, что у конкурента открыт доступ — очень мала, однако все же стоит их проверять. Неважно работаете вы уже с нишей и только будете заходить.

WebAlizer

WebAlizer — это одна из старейших систем анализа логов. Показывает точные данные по топ-30 страниц за определенный период, топ-10 страниц входа и выхода, данные географии и многое другое.

Чаще всего она находится по четырем адресам:

{домен}/stats/
{домен}/webalizer/
{домен}/accesslog/webalizer/usage/
{домен}/webalizer/usage/

Выглядит WebAlizer вот так: →

Несмотря на передовой дизайн 1995 года, это очень полезная система ;)

Apache Status

Apache Status — одна из серверных программ для анализа используемых ресурсов и текущей нагрузки на сервер. Можно сказать, это аналог диспетчера задач для веб-сервера. Там показываются, какие страницы сейчас запрашиваются, если это стандартная настройка PHP.

Она находится по адресу {домен}/server-status

Примеры:
http://index.minfin.com.ua/server-status
http://vokrugsveta.ru/server-status
http://domik.ua/server-status/
https://www.diva.by/server-status/

Выглядит отчет следующим образом →

Это Linux, тут только числа и пробелы, без какого-то дизайна.

Отчет по использованым ресурсам и нагрузке на сервер

Как получать эти данные?

1

Берем список конкурентов / доменов из своей ниши:

парсим топы из нашей ниши,
выделяем уникальные ниши и работаем с ними.

Возможно, в этот перечень попадут много левых доменов, но и будут много конкурентов, о которых вы прежде не слышали.

2

К каждому домену добавляем часть адреса, по которому обычно открывается отчет. Например, /webalizer/. Это легко сделать с помощью Excel/Google Sheets.

3

Полученные адреса кидаем на проверку в Netpeak Spider или другую систему пакетного анализа сайта.

По Title легко определяем, есть ли там эта система и открыт ли к ней доступ.

Скриншот из Netpeak Spider

В случае WebAlizer, если Title начинается с «Usage statistics for {домен}...», значит, система стоит и доступ открыт. То есть можно смотреть данные о конкуренте.

Скриншот из Netpeak Spider

В случае Apache Status, Тайтл просто будет «Apache Status». Здесь проблема в том, что данные показываются в реальном времени. То есть вы обновили страницу, вам показывает какая нагрузка сейчас, какие процессы и страницы запрашиваются.

Обновили через 2 секунды, получили данные, которые актуальны через две секунды. И чтобы получать логи, лучше конечно же написать какой-то скрипт, парсить эти данные каждые несколько секунд, куда-то сохранять и, таким образом, вы создаете эдакую копию логов конкурента.

Так как этой штукой пользуются продвинутые сайты, у которых большая нагрузка и большая посещаемость — скажем так, большие игроки у которых невнимательные сисадмины. Поэтому лучше получать о них данные.

Вот и все!

Вы узнали 8 способов более точного анализа трафика конкурентов для поиска и изучения:

1

Топовых страниц в органике

2

Новых страниц в органике

3

Топовых страниц по контексту

4

Рекламных сетей

5

Страниц, которые сейчас шерят

6

Трафика с общих источников

7

Трафика через сокращалки

8

Сайтов с открытыми логами

Процесс получения информации можно автоматизировать с помощью моих скриптов. Если будут вопросы, задавайте!