Между настоящим и будущим: как искусственный интеллект меняет SEO

Я использую ИИ для создания контента. Думаю, многие слышали о трансформере, который использует модель GPT-2. Разработчики трансфомера в своем блоге писали, что написанные машиной тексты почти ничем не отличаются от текстов, написанных человеком. Я решил это перепроверить. Нашел англоязычный ресурс с очень хорошими «пузомерками», позволяющий бесплатно добавить статью. Проблема была в том, что каждую статью читают редакторы и, если в ней нет добавленной ценности, они ее не публикуют.

Этот трансформер довольно долго мне создавал статью. Сразу скажу, знания английского языка у меня примерно на среднем уровне, поэтому я переживал, что редакторы статью не одобрят. К моему удивлению редакторы, которые являются носителями языка, не поняли, что текст написан машиной.

В общем можно смело применять модель GPT-2 для создания текстов статей и комментариев на английском языке. Думаю, дальше понятно, как и для чего это можно использовать.

ИИ может применяться там, где много рутинных процессов и есть смысл обучить машину делать это за тебя по заранее заготовленным моделям. В своей практике я встречал следующие задачи в SEO, которые подвергали использованию ИИ.

Так как ИИ в принципе еще не создали, мы можем работать только со слабыми или узконаправленными «аналогами», такими, как градиентный бустинг над решающими деревьями. Примеров использования нейросетей полно, они нас окружают:

Примеры для Рунета, внушающие доверия, еще не встречались. Иногда попадаются проекты/сервисы по типу создания семантического ядра, которые заявляются что работают на основе искусственного интеллекта. Подробностей они не публикуют, поэтому считаю, что пока ИИ в практическом SEO применении больше используется в качестве пиара. В англоязычном сегменте с этим лучше, но в основном только для английского языка.

Технологию машинного обучения используют для разных целей. Например для реализации таких задач как:

Тут все от истоков. SEO — Search Engine Optimization, что в переводе «оптимизация для поисковых систем/машин». Еще с 2015 года, с внедрением RankBrain в основной алгоритм поиска, Google объявил, грубо говоря, что результаты продвижения зависят от искусственного интеллекта. То же самое сделал Яндекс в 2016 с внедрением алгоритма «Палех».

Искусственный интеллект внедрен и в локальный поиск, и в голосовой, особое место также занимает в персонализированной выдаче. Это все влияет на то, что и как делают SEO-специалисты с проектами, это задает тренды SEO сейчас и на будущее. То есть, SEO без ИИ попросту уже не существует.

ИИ в SEO на самом деле почти не используем, разве что кластеризация делается за счет ряда сервисов, основанных на данных выдачи.

Также при помощи особых алгоритмов мы проводим анализ контент-плана.

Если кратко — это алгоритм «отсева» статей для публикации на сайте, позволяющий предположить, зайдет та или иная тема в Google и Яндекс, и с какой скоростью. Мы назвали его «метод тонкого контента». Он основан на поиске тем, которые есть в сети, хорошо ранжируются, но эти материалы устарели, слишком неполные или на них мало беклинков.

Да, я использую различные онлайн-инструменты, созданные на основе искусственного интеллекта для создания контента, анализа данных, предварительной оценки качества домена, прогнозирования трафика и для других задач.

В качестве примера вы можете прочитать мою статью «Как использовать машинное обучение для анализа тем YMYL страниц».

Использую на практике при решении задачи поиска доменных имен в конкретной тематике. В результате задача по выбору доменных имен упрощается. Если определить тематику, то легче выбирать доменные имена для сателлитов, анализировать ссылочный профиль.

Если говорить про собственные разработки сервисов на основе ИИ, то таких нет. Но все мы работаем с Google Analytics, обработка и анализ больших объемов данных в котором проводиться не без помощи ИИ. В целом Google все больше усилий направляет на то, чтобы максимально использовать существующие наработки ИИ и раскрытие новых в собственных сервисах и службах.

Из их числа, например, использование искусственного интеллекта для анализа данных Google Analytics с целью оптимизации и повышения эффективности рекламных кампаний в Google Ads.

Да, используем в отделе в своих инструментах. Это работа с классификацией запросов и типов страниц, отбор источников информации для подготовки контента, генерация текстов под определенные задачи, и другие эффективные технологии, которые я не могу оглашать.

Clearscope — это платформа на базе искусственного интеллекта, позволяющая оптимизировать контент. Инструмент платный. Для любого ключевого слова инструмент анализирует наиболее эффективный органический контент и дает вам разбивку всех соответствующих терминов в порядке важности с помощью Watson AI.

Еще один стартап, использующий искусственный интеллект, называется frase.io. Как и у Clearscope основная задача Frase — это сбор информации для вашего контента и его оптимизация. Сервис платный, но есть бесплатная опция для тестирования.

BigML — это инструмент для машинного обучения. Имеет очень хороший бесплатный план подписки. Я его использую при проведении разного рода исследований. В общем, очень рекомендую. От вас понадобится три вещи — четко понимать, что вы делаете и что хотите получить, набор данных и базовые знания машинного обучения (для этого можно почитать блог BigML).

Вы можете более подробно узнать об интересных инструментах основанных на ИИ для вебмастеров прочитав мою статью «Искусственный интеллект — примеры использования для SEO».

На базе ИИ всем известны любые инструменты по Прогнозу трафика, например, Google Тренды и Wordstat анализ сезонной тематики. Также по алгоритмам ИИ работают различные сервисы по кластеризации, ну и конечно по ИИ работает Similarweb, предугадывая поведение пользователей.

Тот же Serpstat выдает статистику и потенциальный трафик на основе расчетов.

Из того, что встречал: Natural language understanding — анализ текста, сантименты, эмоции, ключевые слова, релевантность, сущности и API от Google по Natural Language — часть BERT.

Из публичных, те, кто заявляет, что используют ИИ или близкие к ним модели: биржа ссылок Sape Wizard, биржа текстов workhard.online, сервис аналитики — overlead.me.

Предполагаю, что такие крупные сервисы как Serpstat, Ahrefs, Moz и т.д. также не обходятся в своей работе без использования ИИ под конкретные задачи.

Определение типа сайта (ИМ, новостной портал, справочник и т.д.) на основе метода ближайших соседей. Машинное обучение для текстового анализа.

В публичных инструментах поисковых систем применяются такие технологии, например — Yandex.Speller.

На самом деле таких инструментов с каждым годом становиться все больше. Из наиболее доступных могу отметить такие сервисы:

BERT — лучшее понимание интента пользователя, его намерения, контекста при неоднозначных запросах пользователей:

Мы заметили, что большинство моих клиентов, которые проводили правильную интент-оптимизацию, с января выросли. Это я анализировал в своем ролике про оптимизацию на фоне пандемии коронавируса. И обнаружил, что как раз апдейт почти не коснулся тех сайтов, которые не использовали серые техники.

По моему мнению, BERT — это новая технология, которую активно тестировал Google в своих апдейтах на протяжении последних трех лет. Да, о запуске алгоритма было официально объявлено только в конце 2019 года, но его создание наверняка потребовало годы разработок и тестов во время обновлений ядра. Так что BERT передавал «приветы» всем, кто во время последних крупных обновлений Google регулярно получал снижение трафика.

BERT — это алгоритм, позволяющий Google не только «читать» ваш контент, но и понимать «контекст» употребления слов. Если BERT находит на странице много текста, в которым слова не связаны между собой естественным контекстом, он наверняка передаст сигнал Панде и другим подобным алгоритмам, оценивающим качество контента. Подробнее о BERT я писал в своем блоге.

Если говорить чисто про внедрение BERT — мы на проектах массового влияния, как это бывает при Core Update, не наблюдали, но тут нужно понимать, что:

На неприоритетных для Google рынках никак не повлиял, так как BERT является затратной по ресурсам технологией.

На приоритетных рынках ситуация иная. Из топа поисковой выдачи были исключены страницы, которые были в топе лишь за счет текстовой оптимизации.

По моим наблюдениям, после выкатки алгоритма (и на протяжении пары месяцев после) значительных изменений в выдаче в рунете не было. Среди коллег так же не слышал подтверждений значительных колебаний.

Но было гораздо больше маркетинговое влияние: оптимизаторы стали чаще ссылаться на этот алгоритм и с оглядкой на него заказывать тексты.

Я считаю, что алгоритм повлиял не единоразово, и при в дальнейшем обучении выборки влияние этого алгоритма на текстовое ранжирование будет расти.

Слишком обширный вопрос, если кратко, то по моему мнению, он не изменил коренным образом ранжирование в Google. Первоочередным для Google все еще являются ссылки.

Если есть страницы под привлечение трафика по низкочастотным запросам, то следует переходить к практике создания проектов с уменьшенным объемом страниц.

На страницах следует использовать расширенный набор ключевых фраз. Выгрузку ключевых фраз следует проводить из разных источников. Например:

Для оптимизации изображений используйте Google Vision. Сравните, как API Google «понимает» (распознает) информацию с ваших изображений и изображений на странице конкурента. Этот инструмент позволит вам создать или подобрать более релевантные изображения.

Обратите внимание на качество текстового контента на странице, а также на логику повествования и контекст использования слов между собой. На данный момент проверка на соответствие контексту самое сложное и трудоемкое занятие, потому что очень мало инструментов, которые используют для этого национальные корпуса слов. Одно из лучших, но и дорогих, решений для этого — sketchengine. Они используют корпуса слов, созданные на основе текстов Википедии. Что важно, там, в том числе, есть национальный корпус русского языка. Кто не знает, Google BERT тоже обучали на текстах Википедии.

Переход от оптимизации страниц под ключевые слова (включение поисковых запросов в текст, их плотность) к оптимизации содержания/сути контента: его полноте, богатству фраз, LSI, тематические ключи, задающие тематику, подсветки в выдаче и так далее. Но такая тенденция была и до внедрения BERT.

При оптимизации сайта мы исходим из того, что Яндекс максимально использует ИИ в своих алгоритмах, а Google пока использует более полу-ручное управление учета вклада каждого фактора в общий ранг.

Поэтому я рекомендую на 2020 год:

Д̶е̶л̶а̶й̶т̶е̶ ̶с̶а̶й̶т̶ы̶ ̶д̶л̶я̶ ̶л̶ю̶д̶е̶й̶. Как минимум, в ТЗ копирайтеру добавляйте тематические слова (хотя бы те, что по arsenkin.ru можно найти), желательно конечно искать для написания текстов людей, которые разбираются в теме, чтобы они надиктовывали основу, а копирайтер уже транскрибировал это в статью и дополнял.

Эти советы актуальны для того, чтобы проекты работали, росли, развивались и приносили пользу, как владельцу, так и его ЦА:

Что бы я посоветовал в разгар кризиса? Заняться своим сайтом. Избавиться от мусорных страниц, выжигающие выдачу, оптимизировать существующие, уделить внимание скорости загрузки, учитывать в дизайне особенности конкурентов, уделять внимание бренду и брендовой выдаче (каталоги, Google мой бизнес, Яндекс сервисы), уделять внимание блогу и видеоконтенту.