Serpstat использует файлы cookie для обеспечения работоспособности сервиса, улучшения навигации, предоставления возможности связаться с командой поддержки, а также маркетинговых активностей Serpstat.

Нажав кнопку "Принять и продолжить", вы соглашаетесь с Политики конфиденциальности

Принять и продолжить

Сообщить об ошибке

Отменить
6815 2
SEO Читать 11 минут 8 сентября 2017

Дмитрий Иванов: Как определить «коммерческость» запроса с помощью машинного обучения?

Как определить коммерческий запрос с помощью машинного обучения
Автор интервью с Дмитрием Ивановым
Инна Arsa
Главный редактор в Serpstat
Продолжаем серию интервью со спикерами 8P-2017! На этот раз поговорим с Дмитрием Ивановым, создателем Ivanov-SEO о том, как классифицировать запросы с помощью машинного обучения.
Текст интервью и ссылки на полезные материалы ниже ↓
— Дима отлично разбирается и в машинном обучении, и в SEO. Расскажи, пожалуйста, как ты пришёл к применению методов машинного обучения. Все ведь было просто, все покупали ссылки, писали какие-то тексты и тут ты вдруг решил использовать машинное обучение. Почему?
— У меня всегда была тяга к аналитике и когда я только начинал, я делал аналитику без особой задумки. Потратил полтора года жизни на один эксперимент, полтора года жизни на другой эксперимент и, в итоге, они привели меня к тому, что я потратил 3 млн руб и от этого не получил никакого результата. Стало обидно, что я работаю, но профита не получаю.

В какой-то момент я плюнул, и решил использовать машинное обучение во благо. Первое, с чего я начал — это прогнозирование трафика и классификация различных запросов, в том числе и по коммерческости. Это начало давать определенный профит. Я понял, что можно экономить время сотрудников, можно получать результаты, которой несопоставимы с человеческими.

То есть если посадить очень крутого SEO-специалиста, он быстро справится. Если посадить среднячка, он может косячить, отлынивать. Но если дать ему в руки инструмент, который позволит быстро анализировать, интерпретировать информацию, он начинает работать, как топовый специалист. Для меня очень важно научить это делать самостоятельно и передать своим сотрудникам, чтобы они могли это делать.
В машинное обучение я пришел для того, чтобы укрепить свой бизнес, уменьшить издержки и при этом начать зарабатывать.
— ОК, скажи мне, пожалуйста, какие задачи вы решаете с помощью машинного обучения. Я знаю, что началось все с покупки ссылок для их классификации на хорошие и плохие. Затем ты занимался прогнозированиям трафика, применял регрессионный анализ.

На конференции 8P ты рассказывал про классификацию на коммерческие и некоммерческие запросы. Расскажи, что еще можно делать с помощью машинного обучения или, может, оно ограничено этим кругом задач.
— Основная задача, ради которой я пришёл к машинному обучению — это тотальная аналитика и общая классификация всех запросов на предмет их приоритета продвижения. SEO-специалисты часто сталкиваются с задачей, когда у них есть необъятная семантика из 10 тысяч, а то и 150 тыс. запросов. Они умеют их кластеризировать, но мало людей понимают, с чего именно нужно начать. Какие запросы нужно продвигать в первую очередь, под какие фразы нужно создавать контент и т.д.

Я построил весь свой опыт в машинное обучение для того, чтобы выявлять из большого количества запросов, те, что будут хороши по многим якорям.

Якорями я называю определенные параметры — популярность запроса, его коммерческость, конкурентность, сложность вывода. Проводится интегральная средняя по каждому из этих якорей, которые в совокупности будут самыми лучшими. Как правило, это те запросы, на которые больше всего тратят денег и ближе всех находятся к топу по конкретному сайту. А вообще, аналитику нужно делать под конкретный проект.
— Это вы делаете только для себя? Для внешних целей, например, для SEO-компаний, не предоставляете такие услуги, как разработка алгоритмов для работы с текстом, поиском, ключевиками?
— Сами алгоритмы не раскрываем. Я уже давно хотел создать сервис, который позволит не дома на коленке с помощью программных комплексов все это делать, а проще и быстрее.

Сейчас мы пока предоставляем услугу прогнозирования трафика и оценки приоритетов запросов. Эту услугу чаще всего покупают SEO-компании, для того, чтобы понять сколько трафика они могут привести клиентам.
Основная задача, ради которой я пришёл к машинному обучению — это тотальная аналитика и общая классификация всех запросов на предмет их приоритета продвижения.
— То есть, по сути, ты делаешь консалтинг для SEO-компаний?
— Да, сейчас это самая популярная услуга. На прогноз трафика у меня очередь еще на 4 недели вперёд, в силу того, что на прогноз уходит от 3 до 4 дней.
— Опиши, пожалуйста, в двух словах свой доклад на 8P-2017, где ты рассказывал о коммерческих и информационных ключевиках. Кратко, что такое коммерческий ключевик?
— Существует три понимания фразы «коммерческий ключевик»: по меркам обычного человека, по меркам поисковых систем и как есть на самом деле.

1) По нашим меркам, запрос будет коммерческим тогда, когда он подразумевает покупку товара/услуги у человека, который его задает. Люди на основе своего опыта и логики пытаются догадаться о намерении человека по запросу.

Обычный человек охарактеризовал бы коммерческую фразу примерно так: «Наверное, это словосочетание со словом "купить"».

2) Для поисковика — это тот запрос, который приведет человека по его собственному желанию на страницу, имеющую коммерческое содержание. Это обычно либо посадочная страница, либо какая-то другая продажная. Поисковику важно, чтобы человек задавая вопрос, быстро нашел на него ответ. Если он хочет купить, поисковик должен выявить его намерение, этот интент на основе запросов миллионов людей, и дать то, что ему нужно.

3) Как же есть на самом деле? Запрос можно назвать коммерческим тогда, когда он с высокой вероятностью приведет человека к покупке товара или услуги. Двух мнений быть не может, одни запросы с большей вероятностью продадут, другие — с меньшей.

Поэтому поисковая система экспериментирует, разным людям показывает разную выдачу, разные документы. Они могут быть коммерческими, некоммерческими и смешанными. Вы должны понимать, что коммерческость — это небинарный показатель.

Выдача может быть смешанной и на 50% коммерческой. Она может быть размечена поисковиком сегодня в 9:00 утра так, а завтра в 9:00 вечера уже выглядит по-другому и уже не являться коммерческой. Касательно суток я утрирую, но в течение недели все еще может поменяться.
Подробнее о том, как работать с текстовым анализом и нейросетевым машинным обучением, читайте в статье Димы у него на блоге.
Arsa, редактор
— Я знаю ребят, у которых была коммерческая страница, коммерческие ключевики и в один прекрасный момент поисковая система сочла эти ключевики информационными и весь сайт выпал. Что они предприняли? Создали тексты под эти ключевики и сделали страницы информационными. И сайт снова вышел в топ.

Как определить коммерческие ключевики самостоятельно, руками, без программистов или в Excel? Какие факторы ты бы порекомендовал использовать для определения именно коммерческих запросов?
— Кустарный способ: помощник seo-специалиста запирается с владельцем бизнеса на несколько суток и размечают вручную запросы ;)

Если серьезно, то в Экселе это сделать сложно. Excel не имеет какого-то текстового анализатора. Можно собрать такие данные: бюджет по Яндекс Директ, бюджет по Google Adwords, количество ссылок. Если на фразу кто-то тратит деньги, мы делаем предположение, что это запрос, скорее всего, коммерческий. На информационные фразы реже кто-то тратит деньги.

Второй из вариантов — использовать программный пакет для статистического анализа, который содержит большое количество модулей: текстовый анализатор, нейросети, методы машинного обучения и т.д. В него это все зашито. Прелесть пакета в том, что там есть кнопки, которые можно нажимать и программа все сделает за тебя без лишних настроек. В видео подробно описано, как работать с этим программным комплексом.

Для того, чтобы определить коммерческость, одной Ексельки недостаточно, но в совокупности с программным комплексом статистики, это сделать несложно.
Для того, чтобы определить «коммерческость» запроса одного Ecxel недостаточно, но в совокупности с программным комплексом статистики, это сделать несложно.
— Хочу добавить, есть еще один метод — это паттерны текстов на странице. Например, если страница содержит определенные коммерческие слова типа «купить», «корзина» или кнопки со словом «купить», то скорее всего, страница коммерческая и ключевые фразы на ней тоже коммерческие. Можно собрать эти паттерны и точность комерческости увеличивается.
Это наверное, самый правильный способ, но не каждый может парсить сайты. Способ, который я описал — это для тех, кто хочет просто попробовать машинное обучение в домашних условиях. Для тех, кто хочет прикоснуться к этому всему, даже не понимая, как это до конца работает.
— Где грань между информационностью и коммерческостью запроса? Например, фраза «юридические услуги» кажется коммерческой, особенно «заказать юридические услуги», но при этом все выдачи в топе — полотно текста. То же самое с медицинской тематикой. Там нет интента, там нет информации о том, что на странице можно что-то заказать или купить.
Грань размыта. Если мы возьмем все эти информационные полотна, то в конце найдем ссылку на коммерческий материал и по сути все эти информационные запросы становятся прослойкой между информационными и коммерческими.

Можем ли мы их назвать полукоммерческими? Или псевдокоммерческими? С точки зрения поисковика — нет. Он хорошо разделяет информацию и коммерцию, но с точки зрения здравого смысла — если мы попадаем на какую-то прослойку, которая все равно нас приводит к коммерции («как вылечить грибок» и т.д.), то мы задаемся вопросом «это полотно — информационное или это фундамент к коммерческому запросу?»

Отвечая на твой вопрос, могу сказать, что грани между информационными и коммерческими запросами размыты настолько сильно, что порой не мой способ, не способ с паттернами не дадут точного ответа, что это за запрос.

Оценивая запрос, можно сказать только то, что он либо скорее коммерческий (выше 4 баллов), либо скорее некоммерческий (меньше 4), либо неопределенный. Неопределенные запросы нужно изучать детальнее.
Иногда грани между информационными и коммерческими запросами размыты настолько сильно, что порой невозможно определить, что это за запрос.
— И последний вопрос от наших подписчиков: «Может ли филолог стать SEO-аналитиком?»
Почему нет? Я думаю, что это сейчас доступно каждому, нужно только вооружится «толстым» учебником. Кстати, забавная история про учебники. Зашел в книжный магазин купить популярное введение в прогнозную аналитику с интригующим названием «Кто кликнет, соврет или умрет», нашел ее не на полке по интернет-маркетингу, а в разделе ... «Эзотерика» :)
Если у вас есть интересный вопрос, который хочется задать экспертам, делитесь им с нами в комментариях. Мы узнаем ответ и вскоре опубликуем!

Сэкономьте время на изучении Serpstat

Хотите получить персональную демонстрацию сервиса, тестовый период или эффективные кейсы использования Serpstat?

Оставьте заявку и мы свяжемся с вами ;)

Оцените статью по 5-бальной шкале

4.67 из 5 на основе 3 оценок
Нашли ошибку? Выделите её и нажмите Ctrl + Enter, чтобы сообщить нам.

Поделитесь статьей с вашими друзьями

Войти Регистрация

Вы исчерпали лимит запросов.

Или email
Забыли пароль?
Или email
Back To Login

Не волнуйтесь! Напишите свой электронный адрес и мы пришлем вам новый пароль.

Вы уверены?

Awesome!

To complete your registration you need to enter your phone number

Назад

Мы отправили код подтверждения на ваш номер телефона

Your phone Resend code Осталось запросов

Что-то пошло не так.

Свяжитесь с нашей службой поддержки
Или подтвердите регистрацию с помощью Телеграм бота Перейдите по этой ссылке
Выберите один из проектов

Знакомство с сервисом

Ознакомьтесь с основными возможностями Serpstat удобным способом!

Отправьте заявку для ознакомления с сервисом и мы свяжемся с вами в кратчайшие сроки. Наш специалист предложит подходящий вариант, который может включать персональную демонстрацию, пробный период, материалы для обучения и повышения экспертизы, личную консультацию, а также комфортные условия для начала работы с Serpstat.

Имя

Email

Телефон

Будем рады вашему комментарию
Увеличить лимиты

Улучшить тариф

Экспорт недоступен для вашего тарифного плана. Вам необходимо улучшить свой тариф до Lite или выше, чтобы получить доступ к инструменту Подробнее

Зарегистрироваться

Спасибо, мы с вами свяжемся в ближайшее время

Пригласить
Просмотр Редактирование

E-mail
Сообщение
необязательно
E-mail
Сообщение
необязательно

У вас закончились лимиты

Вы достигли лимита на количество созданных проектов и больше не можете создавать новые проекты. Увеличьте лимиты или удалите существующие проекты.

Я хочу больше лимитов