Report a bug

Cancel
4139   34  
SEO 11 min read 8 September 2017

Дмитрий Иванов: Как определить «коммерческость» запроса с помощью машинного обучения?


Инна Arsa
Главный редактор в Serpstat
Продолжаем серию интервью со спикерами 8P-2017! На этот раз поговорим с Дмитрием Ивановым, создателем Ivanov-SEO о том, как классифицировать запросы с помощью машинного обучения.
Текст интервью и ссылки на полезные материалы ниже ↓
— Дима отлично разбирается и в машинном обучении, и в SEO. Расскажи, пожалуйста, как ты пришёл к применению методов машинного обучения. Все ведь было просто, все покупали ссылки, писали какие-то тексты и тут ты вдруг решил использовать машинное обучение. Почему?
— У меня всегда была тяга к аналитике и когда я только начинал, я делал аналитику без особой задумки. Потратил полтора года жизни на один эксперимент, полтора года жизни на другой эксперимент и, в итоге, они привели меня к тому, что я потратил 3 млн руб и от этого не получил никакого результата. Стало обидно, что я работаю, но профита не получаю.

В какой-то момент я плюнул, и решил использовать машинное обучение во благо. Первое, с чего я начал — это прогнозирование трафика и классификация различных запросов, в том числе и по коммерческости. Это начало давать определенный профит. Я понял, что можно экономить время сотрудников, можно получать результаты, которой несопоставимы с человеческими.

То есть если посадить очень крутого SEO-специалиста, он быстро справится. Если посадить среднячка, он может косячить, отлынивать. Но если дать ему в руки инструмент, который позволит быстро анализировать, интерпретировать информацию, он начинает работать, как топовый специалист. Для меня очень важно научить это делать самостоятельно и передать своим сотрудникам, чтобы они могли это делать.
В машинное обучение я пришел для того, чтобы укрепить свой бизнес, уменьшить издержки и при этом начать зарабатывать.
— ОК, скажи мне, пожалуйста, какие задачи вы решаете с помощью машинного обучения. Я знаю, что началось все с покупки ссылок для их классификации на хорошие и плохие. Затем ты занимался прогнозированиям трафика, применял регрессионный анализ.

На конференции 8P ты рассказывал про классификацию на коммерческие и некоммерческие запросы. Расскажи, что еще можно делать с помощью машинного обучения или, может, оно ограничено этим кругом задач.
— Основная задача, ради которой я пришёл к машинному обучению — это тотальная аналитика и общая классификация всех запросов на предмет их приоритета продвижения. SEO-специалисты часто сталкиваются с задачей, когда у них есть необъятная семантика из 10 тысяч, а то и 150 тыс. запросов. Они умеют их кластеризировать, но мало людей понимают, с чего именно нужно начать. Какие запросы нужно продвигать в первую очередь, под какие фразы нужно создавать контент и т.д.

Я построил весь свой опыт в машинное обучение для того, чтобы выявлять из большого количества запросов, те, что будут хороши по многим якорям.

Якорями я называю определенные параметры — популярность запроса, его коммерческость, конкурентность, сложность вывода. Проводится интегральная средняя по каждому из этих якорей, которые в совокупности будут самыми лучшими. Как правило, это те запросы, на которые больше всего тратят денег и ближе всех находятся к топу по конкретному сайту. А вообще, аналитику нужно делать под конкретный проект.
— Это вы делаете только для себя? Для внешних целей, например, для SEO-компаний, не предоставляете такие услуги, как разработка алгоритмов для работы с текстом, поиском, ключевиками?
— Сами алгоритмы не раскрываем. Я уже давно хотел создать сервис, который позволит не дома на коленке с помощью программных комплексов все это делать, а проще и быстрее.

Сейчас мы пока предоставляем услугу прогнозирования трафика и оценки приоритетов запросов. Эту услугу чаще всего покупают SEO-компании, для того, чтобы понять сколько трафика они могут привести клиентам.
Основная задача, ради которой я пришёл к машинному обучению — это тотальная аналитика и общая классификация всех запросов на предмет их приоритета продвижения.
— То есть, по сути, ты делаешь консалтинг для SEO-компаний?
— Да, сейчас это самая популярная услуга. На прогноз трафика у меня очередь еще на 4 недели вперёд, в силу того, что на прогноз уходит от 3 до 4 дней.
— Опиши, пожалуйста, в двух словах свой доклад на 8P-2017, где ты рассказывал о коммерческих и информационных ключевиках. Кратко, что такое коммерческий ключевик?
— Существует три понимания фразы «коммерческий ключевик»: по меркам обычного человека, по меркам поисковых систем и как есть на самом деле.

1) По нашим меркам, запрос будет коммерческим тогда, когда он подразумевает покупку товара/услуги у человека, который его задает. Люди на основе своего опыта и логики пытаются догадаться о намерении человека по запросу.

Обычный человек охарактеризовал бы коммерческую фразу примерно так: «Наверное, это словосочетание со словом "купить"».

2) Для поисковика — это тот запрос, который приведет человека по его собственному желанию на страницу, имеющую коммерческое содержание. Это обычно либо посадочная страница, либо какая-то другая продажная. Поисковику важно, чтобы человек задавая вопрос, быстро нашел на него ответ. Если он хочет купить, поисковик должен выявить его намерение, этот интент на основе запросов миллионов людей, и дать то, что ему нужно.

3) Как же есть на самом деле? Запрос можно назвать коммерческим тогда, когда он с высокой вероятностью приведет человека к покупке товара или услуги. Двух мнений быть не может, одни запросы с большей вероятностью продадут, другие — с меньшей.

Поэтому поисковая система экспериментирует, разным людям показывает разную выдачу, разные документы. Они могут быть коммерческими, некоммерческими и смешанными. Вы должны понимать, что коммерческость — это небинарный показатель.

Выдача может быть смешанной и на 50% коммерческой. Она может быть размечена поисковиком сегодня в 9:00 утра так, а завтра в 9:00 вечера уже выглядит по-другому и уже не являться коммерческой. Касательно суток я утрирую, но в течение недели все еще может поменяться.
Подробнее о том, как работать с текстовым анализом и нейросетевым машинным обучением, читайте в статье Димы у него на блоге.
Arsa, редактор
— Я знаю ребят, у которых была коммерческая страница, коммерческие ключевики и в один прекрасный момент поисковая система сочла эти ключевики информационными и весь сайт выпал. Что они предприняли? Создали тексты под эти ключевики и сделали страницы информационными. И сайт снова вышел в топ.

Как определить коммерческие ключевики самостоятельно, руками, без программистов или в Excel? Какие факторы ты бы порекомендовал использовать для определения именно коммерческих запросов?
— Кустарный способ: помощник seo-специалиста запирается с владельцем бизнеса на несколько суток и размечают вручную запросы ;)

Если серьезно, то в Экселе это сделать сложно. Excel не имеет какого-то текстового анализатора. Можно собрать такие данные: бюджет по Яндекс Директ, бюджет по Google Adwords, количество ссылок. Если на фразу кто-то тратит деньги, мы делаем предположение, что это запрос, скорее всего, коммерческий. На информационные фразы реже кто-то тратит деньги.

Второй из вариантов — использовать программный пакет для статистического анализа, который содержит большое количество модулей: текстовый анализатор, нейросети, методы машинного обучения и т.д. В него это все зашито. Прелесть пакета в том, что там есть кнопки, которые можно нажимать и программа все сделает за тебя без лишних настроек. В видео подробно описано, как работать с этим программным комплексом.

Для того, чтобы определить коммерческость, одной Ексельки недостаточно, но в совокупности с программным комплексом статистики, это сделать несложно.
Для того, чтобы определить «коммерческость» запроса одного Ecxel недостаточно, но в совокупности с программным комплексом статистики, это сделать несложно.
— Хочу добавить, есть еще один метод — это паттерны текстов на странице. Например, если страница содержит определенные коммерческие слова типа «купить», «корзина» или кнопки со словом «купить», то скорее всего, страница коммерческая и ключевые фразы на ней тоже коммерческие. Можно собрать эти паттерны и точность комерческости увеличивается.
Это наверное, самый правильный способ, но не каждый может парсить сайты. Способ, который я описал — это для тех, кто хочет просто попробовать машинное обучение в домашних условиях. Для тех, кто хочет прикоснуться к этому всему, даже не понимая, как это до конца работает.
— Где грань между информационностью и коммерческостью запроса? Например, фраза «юридические услуги» кажется коммерческой, особенно «заказать юридические услуги», но при этом все выдачи в топе — полотно текста. То же самое с медицинской тематикой. Там нет интента, там нет информации о том, что на странице можно что-то заказать или купить.
Грань размыта. Если мы возьмем все эти информационные полотна, то в конце найдем ссылку на коммерческий материал и по сути все эти информационные запросы становятся прослойкой между информационными и коммерческими.

Можем ли мы их назвать полукоммерческими? Или псевдокоммерческими? С точки зрения поисковика — нет. Он хорошо разделяет информацию и коммерцию, но с точки зрения здравого смысла — если мы попадаем на какую-то прослойку, которая все равно нас приводит к коммерции («как вылечить грибок» и т.д.), то мы задаемся вопросом «это полотно — информационное или это фундамент к коммерческому запросу?»

Отвечая на твой вопрос, могу сказать, что грани между информационными и коммерческими запросами размыты настолько сильно, что порой не мой способ, не способ с паттернами не дадут точного ответа, что это за запрос.

Оценивая запрос, можно сказать только то, что он либо скорее коммерческий (выше 4 баллов), либо скорее некоммерческий (меньше 4), либо неопределенный. Неопределенные запросы нужно изучать детальнее.
Иногда грани между информационными и коммерческими запросами размыты настолько сильно, что порой невозможно определить, что это за запрос.
— И последний вопрос от наших подписчиков: «Может ли филолог стать SEO-аналитиком?»
Почему нет? Я думаю, что это сейчас доступно каждому, нужно только вооружится «толстым» учебником. Кстати, забавная история про учебники. Зашел в книжный магазин купить популярное введение в прогнозную аналитику с интригующим названием «Кто кликнет, соврет или умрет», нашел ее не на полке по интернет-маркетингу, а в разделе ... «Эзотерика» :)
Если у вас есть интересный вопрос, который хочется задать экспертам, делитесь им с нами в комментариях. Мы узнаем ответ и вскоре опубликуем!
Found an error? Select it and press Ctrl + Enter to tell us

Recommended articles

Subscribe to our newsletter
Keep up to date with our latest news, events and blog posts!

Comments

Sign In Free Sign Up

You’ve reached your query limit.

Or email
Forgot password?
Or email
By clicking 'Sign Up Free' I agree to Serptat's
Terms of Service and Privacy Policy
Back To Login

Don’t worry! Just fill in your email and we’ll send over your password.

Are you sure?
Please pick the project to work on

Personal demonstration

Serpstat is all about saving time, and we want to save yours! One of our specialists will contact you and discuss options going forward. These may include a personal demonstration, a trial period, comprehensive training articles & webinar recordings, and custom adivce from a Serpstat specialist. It is our goal to make you feel comfortable while using Serpstat.

Name
Email
Phone
Skype or Google Hangouts
Comment

Upgrade your plan

Sign Up Free

Спасибо, мы с вами свяжемся в ближайшее время

Invite
E-mail
Role
Message
Optional

You have run out of limits

You have reached the limit for the number of created projects. You cannot create new projects unless you increase the limits or delete existing projects.

I want more limits

Christmas is a time for miracles.

You are almost on the finish line of our Christmas quest. The last brick of your lego-promocode is left on the way up 55% discount.

Did not find previous lego-bricks? Fill the form anyway.

Name
Email
Phone
Skype or Google Hangouts
Write your discount code