Исследование рынка с помощью Python-скриптов: Подробное описание рабочего процесса

Сегодня мы рассмотрим, как проводить маркетинговые исследования в конкретных отраслях, сосредоточившись на сборе ключевых слов, их фильтрации по намерениям и получении данных об объемах поиска.
Вы также узнаете, как обновлять страницы с результатами поиска (SERP) и данные об объемах поиска, объединять результаты и применять показатели кликабельности (CTR), чтобы определить самые эффективные вебсайты.
Следующие этапы состоят из настройки задач сканирования, извлечения данных и объединения результатов для анализа.
Цель
Наша цель — провести исследование определённой отрасли и выявить игроков рынка в любом регионе, который работает в этой отрасли. Первым шагом является сбор всех ключевых слов, связанных с интересующей нас нишей. Мы также можем детализировать эти ключевые слова по типам услуг или классифицировать их по интенсивности и другим параметрам.

Вы можете просмотреть весь лист таблицы по следующей ссылке в разделе под названием “Keyword data (initial input)”.
Это позволяет использовать данные классификации для дальнейшей фильтрации ключевых слов. В моём случае есть четыре группы - ключевые слова, связанные с:
- бьюти-индустрией (в качестве общей ниши);
- стрижками;
- макияжем;
- маникюром.

Источником ключевых слов может быть что угодно. Вы можете выполнить классическое исследование ключевых слов или сгенерировать их с помощью ИИ. Это не имеет существенного значения. В данном случае мы начинаем с самого общего набора ключевых слов.
Реализация
Для удобства восприятия процесс разделён на шесть ключевых шагов. Каждый из них является логическим продолжением предыдущего. Давайте рассмотрим, как это работает.
Шаг 1: Настройка задачи сканирования страниц поисковой выдачи и получение JSON-файла с результатами
Первым шагом является обновление результатов страниц поисковой выдачи в нужном регионе. Мы используем простой скрипт, который настраивает задачу сканирования этих страниц на основе идентификатора региона.
Пример кода, который используется на этом этапе, можно найти в документе по этой ссылке в разделе под названием “1. Obtaining JSON File with SERPs”.
Затем результаты разбиваются на части, и все данные о страницах поисковой выдачи экспортируются в отдельные JSON-файлы. После этого все эти части объединяются в один JSON-файл со всеми результатами.
Шаг 2: Получение JSON-файла с данными об объёмах поиска
Следующим шагом является выполнение аналогичной операции для получения данных об объёмах поиска в той же области и локации. Мы используем аналогичный идентификатор региона и передаём тот же набор ключевых слов для настройки задачи сканирования объёмов поиска.
Пример кода, который используется на этом этапе, можно найти в документе по этой ссылке в разделе под названием “2. Obtaining JSON with the Search Volume data”.
Затем мы получаем данные о ключевых словах и объединяем их в единый JSON-файл.
Шаг 3: Объединение результатов страниц поисковой выдачи и объёмов поиска
Следующим шагом является объединение результатов SERP и данных об объёмах поиска и применение CTR к самым высоким 10 органическим позициям в поисковой выдаче.
Пример кода, который используется на этом этапе, можно найти в документе по этой ссылке в разделе под названием “3. Merging the SERP and Search Volume data for traffic estimation through CTR”.
В результате мы получаем вебсайты, которые имеют лучшие показатели и наибольшую долю трафика в этой отрасли, так как они ранжируются по выбранным нами ключевым словам. Мы можем увидеть количество ориентировочного органического трафика и долю трафика здесь. Это выглядит так:

Вы можете просмотреть весь лист таблицы по следующей ссылке в разделе под названием “Market share”.
У нас есть много вебсайтов в этом списке. Я могу фильтровать по тегам ключевых слов или регионам, для которых мы настроили сканирование. В моём случае я использую Нью-Йорк и Лос-Анджелес для наглядности.
Шаг 4: Фильтрация и анализ вебсайтов
Следующим шагом является определение отрасли, к которой относится конкретный вебсайт. Мы настраиваем похожую задачу для сканирования объёмов поиска, но передаём все полученные домены для их сканирования и определения отрасли.
Пример кода, который используется на этом этапе, можно найти в документе по этой ссылке в разделе под названием “4. Classifying obtained websites”.
В результате мы получаем категории, к которым относятся эти вебсайты. Под категорией я подразумеваю их отрасль.

Вы можете просмотреть весь лист таблицы по следующей ссылке в разделе под названием “Domain Category”.
Шаг 5: Получение метрик ранжирования
Следующим шагом является получение базовых метрик ключевых слов для этих доменов. Мы передаём все вебсайты, связанные с нишей, чтобы получить метрики ранжирования, такие как видимость, оценка органического трафика и количество ключевых слов.
Пример кода, который используется на этом этапе, можно найти в документе по этой ссылке в разделе под названием “5. Obtaining Ranking metrics”.
Результаты показаны ниже:

Вы можете просмотреть весь лист таблицы по следующей ссылке в разделе под названием “Domain Keyword Metrics”.
Шаг 6: Получение метрик обратных ссылок
Напоследок, мы выполняем ту же операцию, передавая тот же набор доменов для получения метрики обратных ссылок, которая включает рейтинг сайта, а также количество ссылающихся доменов и страниц.
Пример кода, который используется на этом этапе, можно найти в документе по этой ссылке в разделе под названием “6. Obtaining Backlinks metrics”.
Результаты показаны ниже:

Вы можете просмотреть весь лист таблицы по следующей ссылке в разделе под названием “Domain Backlinks Metrics”.
Результаты
После объединения этих результатов мы можем увидеть все вебсайты в определённой области, связанные с конкретным типом услуги, и отрасль, к которой относится вебсайт.

Вы можете просмотреть весь лист таблицы по следующей ссылке в разделе под названием “Final”.
Мы отфильтровываем все нерелевантные категории, оставляя только бьюти и фитнес-индустрии. Также можно фильтровать по типу услуги и местоположению. Плюс мы имеем все метрики по производительности ключевых слов и обратных ссылок.

Вы можете просмотреть весь лист таблицы по следующей ссылке в разделе под названием “Final with Categories filtered”.
Заключение
Этот материал демонстрирует комплексный подход к маркетинговым исследованиям в конкретных отраслях, следуя указанным шагам.
Мы создаём детальное понимание игроков рынка и их эффективности, используя:
- сбор и фильтрацию ключевых слов;
- анализ страниц поисковой выдачи и объёмов поиска;
- классификацию доменов, ранжирование и метрики обратных ссылок.
Конечный результат позволяет точно фильтровать по отрасли, типу услуги и местоположению, предоставляя полезную информацию для принятия взвешенных решений и стратегического планирования.
FAQ
Этот метод весьма гибкий, и его можно адаптировать к любой отрасли, изменяя начальный набор ключевых слов и настраивая процессы сканирования и фильтрации под конкретные потребности.
Процесс поддерживает региональную адаптацию путём настройки сканирования страниц поисковой выдачи и анализа ключевых слов для конкретных регионов.
Оценка трафика осуществляется путём применения показателей CTR к топ-10 органических позиций в объединённых данных страниц поисковой выдачи и объёмов поиска, что позволяет определить вебсайты с наибольшей долей трафика.
Используйте Serpstat для маркетинговых исследований
Используйте лучшие SEO инструменты
SЕО аудит сайта
Используя SЕО аудит сайта вы узнаете все ошибки на вашем ресурсе и сможете их исправить
Пакетный анализ доменов
Получите всю информацию о сайтах конкурентов используя пакетный анализ доменов
ИИ инструменты для контента
ИИ инструменты для контента – повышайте качество и скорость работы с текстом
Локальное SEO
Получите новых клиентов используя мощный автоматизированный инструмент локального SЕО
Рекомендуемые статьи
Кейсы, лайфхаки, исследования и полезные статьи
Не успеваешь следить за новостями? Не беда! Наш любимый редактор подберет материалы, которые точно помогут в работе. Только полезные статьи, реальные кейсы и новости Serpstat раз в неделю. Присоединяйся к уютному комьюнити :)
Нажимая кнопку, ты соглашаешься с нашей политикой конфиденциальности.