Дмитрий Иванов: Как определить «коммерческость» запроса с помощью машинного обучения?

— У меня всегда была тяга к аналитике и когда я только начинал, я делал аналитику без особой задумки. Потратил полтора года жизни на один эксперимент, полтора года жизни на другой эксперимент и, в итоге, они привели меня к тому, что я потратил 3 млн руб и от этого не получил никакого результата. Стало обидно, что я работаю, но профита не получаю.

В какой-то момент я плюнул, и решил использовать машинное обучение во благо. Первое, с чего я начал — это прогнозирование трафика и классификация различных запросов, в том числе и по коммерческости. Это начало давать определенный профит. Я понял, что можно экономить время сотрудников, можно получать результаты, которой несопоставимы с человеческими.

То есть если посадить очень крутого SEO-специалиста, он быстро справится. Если посадить среднячка, он может косячить, отлынивать. Но если дать ему в руки инструмент, который позволит быстро анализировать, интерпретировать информацию, он начинает работать, как топовый специалист. Для меня очень важно научить это делать самостоятельно и передать своим сотрудникам, чтобы они могли это делать.

— Основная задача, ради которой я пришёл к машинному обучению — это тотальная аналитика и общая классификация всех запросов на предмет их приоритета продвижения. SEO-специалисты часто сталкиваются с задачей, когда у них есть необъятная семантика из 10 тысяч, а то и 150 тыс. запросов. Они умеют их кластеризировать, но мало людей понимают, с чего именно нужно начать. Какие запросы нужно продвигать в первую очередь, под какие фразы нужно создавать контент и т.д.

Я построил весь свой опыт в машинное обучение для того, чтобы выявлять из большого количества запросов, те, что будут хороши по многим якорям.

Якорями я называю определенные параметры — популярность запроса, его коммерческость, конкурентность, сложность вывода. Проводится интегральная средняя по каждому из этих якорей, которые в совокупности будут самыми лучшими. Как правило, это те запросы, на которые больше всего тратят денег и ближе всех находятся к топу по конкретному сайту. А вообще, аналитику нужно делать под конкретный проект.

— Сами алгоритмы не раскрываем. Я уже давно хотел создать сервис, который позволит не дома на коленке с помощью программных комплексов все это делать, а проще и быстрее.

Сейчас мы пока предоставляем услугу прогнозирования трафика и оценки приоритетов запросов. Эту услугу чаще всего покупают SEO-компании, для того, чтобы понять сколько трафика они могут привести клиентам.

— Да, сейчас это самая популярная услуга. На прогноз трафика у меня очередь еще на 4 недели вперёд, в силу того, что на прогноз уходит от 3 до 4 дней.

— Существует три понимания фразы «коммерческий ключевик»: по меркам обычного человека, по меркам поисковых систем и как есть на самом деле.

1) По нашим меркам, запрос будет коммерческим тогда, когда он подразумевает покупку товара/услуги у человека, который его задает. Люди на основе своего опыта и логики пытаются догадаться о намерении человека по запросу.

Обычный человек охарактеризовал бы коммерческую фразу примерно так: «Наверное, это словосочетание со словом "купить"».

2) Для поисковика — это тот запрос, который приведет человека по его собственному желанию на страницу, имеющую коммерческое содержание. Это обычно либо посадочная страница, либо какая-то другая продажная. Поисковику важно, чтобы человек задавая вопрос, быстро нашел на него ответ. Если он хочет купить, поисковик должен выявить его намерение, этот интент на основе запросов миллионов людей, и дать то, что ему нужно.

3) Как же есть на самом деле? Запрос можно назвать коммерческим тогда, когда он с высокой вероятностью приведет человека к покупке товара или услуги. Двух мнений быть не может, одни запросы с большей вероятностью продадут, другие — с меньшей.

Поэтому поисковая система экспериментирует, разным людям показывает разную выдачу, разные документы. Они могут быть коммерческими, некоммерческими и смешанными. Вы должны понимать, что коммерческость — это небинарный показатель.

Выдача может быть смешанной и на 50% коммерческой. Она может быть размечена поисковиком сегодня в 9:00 утра так, а завтра в 9:00 вечера уже выглядит по-другому и уже не являться коммерческой. Касательно суток я утрирую, но в течение недели все еще может поменяться.

— Кустарный способ: помощник seo-специалиста запирается с владельцем бизнеса на несколько суток и размечают вручную запросы ;)

Если серьезно, то в Экселе это сделать сложно. Excel не имеет какого-то текстового анализатора. Можно собрать такие данные: бюджет по Яндекс Директ, бюджет по Google Adwords, количество ссылок. Если на фразу кто-то тратит деньги, мы делаем предположение, что это запрос, скорее всего, коммерческий. На информационные фразы реже кто-то тратит деньги.

Второй из вариантов — использовать программный пакет для статистического анализа, который содержит большое количество модулей: текстовый анализатор, нейросети, методы машинного обучения и т.д. В него это все зашито. Прелесть пакета в том, что там есть кнопки, которые можно нажимать и программа все сделает за тебя без лишних настроек. В видео подробно описано, как работать с этим программным комплексом.

Для того, чтобы определить коммерческость, одной Ексельки недостаточно, но в совокупности с программным комплексом статистики, это сделать несложно.

Это наверное, самый правильный способ, но не каждый может парсить сайты. Способ, который я описал — это для тех, кто хочет просто попробовать машинное обучение в домашних условиях. Для тех, кто хочет прикоснуться к этому всему, даже не понимая, как это до конца работает.

Грань размыта. Если мы возьмем все эти информационные полотна, то в конце найдем ссылку на коммерческий материал и по сути все эти информационные запросы становятся прослойкой между информационными и коммерческими.

Можем ли мы их назвать полукоммерческими? Или псевдокоммерческими? С точки зрения поисковика — нет. Он хорошо разделяет информацию и коммерцию, но с точки зрения здравого смысла — если мы попадаем на какую-то прослойку, которая все равно нас приводит к коммерции («как вылечить грибок» и т.д.), то мы задаемся вопросом «это полотно — информационное или это фундамент к коммерческому запросу?»

Отвечая на твой вопрос, могу сказать, что грани между информационными и коммерческими запросами размыты настолько сильно, что порой не мой способ, не способ с паттернами не дадут точного ответа, что это за запрос.

Оценивая запрос, можно сказать только то, что он либо скорее коммерческий (выше 4 баллов), либо скорее некоммерческий (меньше 4), либо неопределенный. Неопределенные запросы нужно изучать детальнее.

Почему нет? Я думаю, что это сейчас доступно каждому, нужно только вооружится «толстым» учебником. Кстати, забавная история про учебники. Зашел в книжный магазин купить популярное введение в прогнозную аналитику с интригующим названием «Кто кликнет, соврет или умрет», нашел ее не на полке по интернет-маркетингу, а в разделе ... «Эзотерика» :)