8 сентября 2017

Дмитрий Иванов: Как определить «коммерческость» запроса с помощью машинного обучения?


Инна Arsa
Главный редактор в Serpstat
Продолжаем серию интервью со спикерами 8P-2017! На этот раз поговорим с Дмитрием Ивановым, создателем Ivanov-SEO о том, как классифицировать запросы с помощью машинного обучения.
Текст интервью и ссылки на полезные материалы ниже ↓
— Дима отлично разбирается и в машинном обучении, и в SEO. Расскажи, пожалуйста, как ты пришёл к применению методов машинного обучения. Все ведь было просто, все покупали ссылки, писали какие-то тексты и тут ты вдруг решил использовать машинное обучение. Почему?
— У меня всегда была тяга к аналитике и когда я только начинал, я делал аналитику без особой задумки. Потратил полтора года жизни на один эксперимент, полтора года жизни на другой эксперимент и, в итоге, они привели меня к тому, что я потратил 3 млн руб и от этого не получил никакого результата. Стало обидно, что я работаю, но профита не получаю.

В какой-то момент я плюнул, и решил использовать машинное обучение во благо. Первое, с чего я начал — это прогнозирование трафика и классификация различных запросов, в том числе и по коммерческости. Это начало давать определенный профит. Я понял, что можно экономить время сотрудников, можно получать результаты, которой несопоставимы с человеческими.

То есть если посадить очень крутого SEO-специалиста, он быстро справится. Если посадить среднячка, он может косячить, отлынивать. Но если дать ему в руки инструмент, который позволит быстро анализировать, интерпретировать информацию, он начинает работать, как топовый специалист. Для меня очень важно научить это делать самостоятельно и передать своим сотрудникам, чтобы они могли это делать.
В машинное обучение я пришел для того, чтобы укрепить свой бизнес, уменьшить издержки и при этом начать зарабатывать.
— ОК, скажи мне, пожалуйста, какие задачи вы решаете с помощью машинного обучения. Я знаю, что началось все с покупки ссылок для их классификации на хорошие и плохие. Затем ты занимался прогнозированиям трафика, применял регрессионный анализ.

На конференции 8P ты рассказывал про классификацию на коммерческие и некоммерческие запросы. Расскажи, что еще можно делать с помощью машинного обучения или, может, оно ограничено этим кругом задач.
— Основная задача, ради которой я пришёл к машинному обучению — это тотальная аналитика и общая классификация всех запросов на предмет их приоритета продвижения. SEO-специалисты часто сталкиваются с задачей, когда у них есть необъятная семантика из 10 тысяч, а то и 150 тыс. запросов. Они умеют их кластеризировать, но мало людей понимают, с чего именно нужно начать. Какие запросы нужно продвигать в первую очередь, под какие фразы нужно создавать контент и т.д.

Я построил весь свой опыт в машинное обучение для того, чтобы выявлять из большого количества запросов, те, что будут хороши по многим якорям.

Якорями я называю определенные параметры — популярность запроса, его коммерческость, конкурентность, сложность вывода. Проводится интегральная средняя по каждому из этих якорей, которые в совокупности будут самыми лучшими. Как правило, это те запросы, на которые больше всего тратят денег и ближе всех находятся к топу по конкретному сайту. А вообще, аналитику нужно делать под конкретный проект.
— Это вы делаете только для себя? Для внешних целей, например, для SEO-компаний, не предоставляете такие услуги, как разработка алгоритмов для работы с текстом, поиском, ключевиками?
— Сами алгоритмы не раскрываем. Я уже давно хотел создать сервис, который позволит не дома на коленке с помощью программных комплексов все это делать, а проще и быстрее.

Сейчас мы пока предоставляем услугу прогнозирования трафика и оценки приоритетов запросов. Эту услугу чаще всего покупают SEO-компании, для того, чтобы понять сколько трафика они могут привести клиентам.
Основная задача, ради которой я пришёл к машинному обучению — это тотальная аналитика и общая классификация всех запросов на предмет их приоритета продвижения.
— То есть, по сути, ты делаешь консалтинг для SEO-компаний?
— Да, сейчас это самая популярная услуга. На прогноз трафика у меня очередь еще на 4 недели вперёд, в силу того, что на прогноз уходит от 3 до 4 дней.
— Опиши, пожалуйста, в двух словах свой доклад на 8P-2017, где ты рассказывал о коммерческих и информационных ключевиках. Кратко, что такое коммерческий ключевик?
— Существует три понимания фразы «коммерческий ключевик»: по меркам обычного человека, по меркам поисковых систем и как есть на самом деле.

1) По нашим меркам, запрос будет коммерческим тогда, когда он подразумевает покупку товара/услуги у человека, который его задает. Люди на основе своего опыта и логики пытаются догадаться о намерении человека по запросу.

Обычный человек охарактеризовал бы коммерческую фразу примерно так: «Наверное, это словосочетание со словом "купить"».

2) Для поисковика — это тот запрос, который приведет человека по его собственному желанию на страницу, имеющую коммерческое содержание. Это обычно либо посадочная страница, либо какая-то другая продажная. Поисковику важно, чтобы человек задавая вопрос, быстро нашел на него ответ. Если он хочет купить, поисковик должен выявить его намерение, этот интент на основе запросов миллионов людей, и дать то, что ему нужно.

3) Как же есть на самом деле? Запрос можно назвать коммерческим тогда, когда он с высокой вероятностью приведет человека к покупке товара или услуги. Двух мнений быть не может, одни запросы с большей вероятностью продадут, другие — с меньшей.

Поэтому поисковая система экспериментирует, разным людям показывает разную выдачу, разные документы. Они могут быть коммерческими, некоммерческими и смешанными. Вы должны понимать, что коммерческость — это небинарный показатель.

Выдача может быть смешанной и на 50% коммерческой. Она может быть размечена поисковиком сегодня в 9:00 утра так, а завтра в 9:00 вечера уже выглядит по-другому и уже не являться коммерческой. Касательно суток я утрирую, но в течение недели все еще может поменяться.
Подробнее о том, как работать с текстовым анализом и нейросетевым машинным обучением, читайте в статье Димы у него на блоге.
Arsa, редактор
— Я знаю ребят, у которых была коммерческая страница, коммерческие ключевики и в один прекрасный момент поисковая система сочла эти ключевики информационными и весь сайт выпал. Что они предприняли? Создали тексты под эти ключевики и сделали страницы информационными. И сайт снова вышел в топ.

Как определить коммерческие ключевики самостоятельно, руками, без программистов или в Excel? Какие факторы ты бы порекомендовал использовать для определения именно коммерческих запросов?
— Кустарный способ: помощник seo-специалиста запирается с владельцем бизнеса на несколько суток и размечают вручную запросы ;)

Если серьезно, то в Экселе это сделать сложно. Excel не имеет какого-то текстового анализатора. Можно собрать такие данные: бюджет по Яндекс Директ, бюджет по Google Adwords, количество ссылок. Если на фразу кто-то тратит деньги, мы делаем предположение, что это запрос, скорее всего, коммерческий. На информационные фразы реже кто-то тратит деньги.

Второй из вариантов — использовать программный пакет для статистического анализа, который содержит большое количество модулей: текстовый анализатор, нейросети, методы машинного обучения и т.д. В него это все зашито. Прелесть пакета в том, что там есть кнопки, которые можно нажимать и программа все сделает за тебя без лишних настроек. В видео подробно описано, как работать с этим программным комплексом.

Для того, чтобы определить коммерческость, одной Ексельки недостаточно, но в совокупности с программным комплексом статистики, это сделать несложно.
Для того, чтобы определить «коммерческость» запроса одного Ecxel недостаточно, но в совокупности с программным комплексом статистики, это сделать несложно.
— Хочу добавить, есть еще один метод — это паттерны текстов на странице. Например, если страница содержит определенные коммерческие слова типа «купить», «корзина» или кнопки со словом «купить», то скорее всего, страница коммерческая и ключевые фразы на ней тоже коммерческие. Можно собрать эти паттерны и точность комерческости увеличивается.
Это наверное, самый правильный способ, но не каждый может парсить сайты. Способ, который я описал — это для тех, кто хочет просто попробовать машинное обучение в домашних условиях. Для тех, кто хочет прикоснуться к этому всему, даже не понимая, как это до конца работает.
— Где грань между информационностью и коммерческостью запроса? Например, фраза «юридические услуги» кажется коммерческой, особенно «заказать юридические услуги», но при этом все выдачи в топе — полотно текста. То же самое с медицинской тематикой. Там нет интента, там нет информации о том, что на странице можно что-то заказать или купить.
Грань размыта. Если мы возьмем все эти информационные полотна, то в конце найдем ссылку на коммерческий материал и по сути все эти информационные запросы становятся прослойкой между информационными и коммерческими.

Можем ли мы их назвать полукоммерческими? Или псевдокоммерческими? С точки зрения поисковика — нет. Он хорошо разделяет информацию и коммерцию, но с точки зрения здравого смысла — если мы попадаем на какую-то прослойку, которая все равно нас приводит к коммерции («как вылечить грибок» и т.д.), то мы задаемся вопросом «это полотно — информационное или это фундамент к коммерческому запросу?»

Отвечая на твой вопрос, могу сказать, что грани между информационными и коммерческими запросами размыты настолько сильно, что порой не мой способ, не способ с паттернами не дадут точного ответа, что это за запрос.

Оценивая запрос, можно сказать только то, что он либо скорее коммерческий (выше 4 баллов), либо скорее некоммерческий (меньше 4), либо неопределенный. Неопределенные запросы нужно изучать детальнее.
Иногда грани между информационными и коммерческими запросами размыты настолько сильно, что порой невозможно определить, что это за запрос.
— И последний вопрос от наших подписчиков: «Может ли филолог стать SEO-аналитиком?»
Почему нет? Я думаю, что это сейчас доступно каждому, нужно только вооружится «толстым» учебником. Кстати, забавная история про учебники. Зашел в книжный магазин купить популярное введение в прогнозную аналитику с интригующим названием «Кто кликнет, соврет или умрет», нашел ее не на полке по интернет-маркетингу, а в разделе ... «Эзотерика» :)
Если у вас есть интересный вопрос, который хочется задать экспертам, делитесь им с нами в комментариях. Мы узнаем ответ и вскоре опубликуем!

Рекомендуемые статьи

Хотите узнать новые фишки по интернет-маркетингу?
Подпишитесь на нашу рассылку — только полезные статьи, реальные кейсы и новости Serpstat раз в неделю.

Комментарии

Войти Регистрация

Вы исчерпали лимит запросов.

Или email
Забыли пароль?
Или email
Нажимая "Зарегистрироваться", Вы соглашаетесь с
условиями использования Serpstat and Политика конфиденциальности
Back To Login

Не волнуйтесь! Напишите свой электронный адрес и мы пришлем вам новый пароль.

Вы уверены?

Знакомство с сервисом

Serpstat экономит время, как и мы готовы сэкономить ваше, на знакомстве с ключевыми возможностями сервиса.
Наш специалист свяжется с вами и по итогу предложит подходящий вариант, который может включать персональную демонстрацию, пробный период, обучающие статьи и записи вебинаров, консультацию специалиста, а также комфортные условия для старта использования Serpstat.

Имя
Email
Телефон
Skype или Google Hangouts
Комментарий

Увеличить лимиты

Зарегистрироваться

Спасибо, мы с вами свяжемся в ближайшее время

Пригласить
E-mail
Роль
Сообщение
необязательно

У вас закончились лимиты

Вы достигли лимита на количество созданных проектов и больше не можете создавать новые проекты. Увеличьте лимиты или удалите существующие проекты.

Я хочу больше лимитов

У вас закончились лимиты

Вы исчерпали все доступные поинты в инструментах.

Я хочу больше лимитов