Гайд по основным алгоритмам Google

По данным сайта Statcounter Global Stats доля Google в январе 2022 года составляла 91,9%. На втором месте идет Bing от Microsoft (в основном за счет предустановки своего браузера во все операционные системы Windows) и на третьем — Yahoo.

Исходя из этих цифр, если вы планируете продвигать собственный бизнес в Сети — вам необходимо разобраться с тем, как работает поисковая машина Google.

Чтобы разобраться, что такое алгоритмы и фильтры Google, нужно понять как работает поисковая машина. Принцип у всех поисковых систем схож, но сегодня будем разбирать самый крупный и популярный поисковик — Google.

Фактически Google это картотека, в которую вносятся сайты, и по запросу пользователя выдаются максимально релевантные. Те, что наиболее точно отвечают его запросу или были признаны максимально качественными. На пальцах процесс выглядит следующим образом:

1. Поисковый бот (googlebot) находит ваш сайт. Он может сделать это, перейдя по ссылке на другом, уже известном сайте, или при принудительном сканировании с вашей стороны. Для этого используют инструмент Search Console.
   
   
2. Бот видит не динамическое изображение страницы, которые выводит браузер, но в первую очередь — код. Если вы хотите взглянуть на страницу как бот, попробуйте вбить в адресной строке браузера перед адресом сайта view—source:. Ранее такой инструмент был в Search Console, но с ростом количества сайтов его упростили до обычного запроса на сканирование.
   
   
3. Далее Гугл Бот вносит ваш сайт в свой каталог, ассоциируя его с контентом, прописанным на сайте (об этом подробно чуть ниже).
   
   
4. После каталогизации — поисковая машина оценивает качество вашего сайта в сравнении с конкурентами, смотрит на историю и качество домена, цитируемость (наличие ссылок), скорость загрузки и другие параметры.
   
   
5. Если ваш сайт посчитался качественным, то при следующем запросе от пользователя он получит, в том числе, и ваш сайт в Google. Скорее всего — где-то на 20-30 странице.

При сканировании в картотеку, учитываются моменты, которые являются ключевыми для SEO :

• Title и Description страницы.

• Текстовый контент и ключевые слова в нем (фактически — почти каждый коммерческий сайт в интернете ранжируется по слову "Компания". Но релевантность 99% сайтов этому ключевому слову настолько низкая, что они не появляется в выдаче).

• Изображения и их описание — alt.

По такой схеме все сайты, открытые для индексации, вносятся в общую базу данных. Далее, чтобы именно ваш сайт показывался по нужным запросам в топ-10, нужно заниматься его оптимизацией.

Поисковая оптимизация — это приведение сайта в соответствие поисковым алгоритмам. Иногда — манипуляция ими. Чтобы исключить вредные манипуляции, были придуманы фильтры Google, которые выбрасывают сайт из выдачи в случае несоответствия правилам.

Поисковые алгоритмы это требования и рекомендации со стороны поисковой системы к сайтам. Они создаются для того, чтобы давать конечному пользователю — человеку, который вбивает поисковой запрос в строку — максимально качественный ответ на его вопрос. Чем меньше сайтов посетит пользователь в поисках ответа — тем качественнее работает поисковой механизм.

Фильтры же — это наказания за попытку манипулировать поисковой машиной. Так как фильтры накладываются за пренебрежение основными требованиями к сайту — разобрав основные мы поймем что требует поисковая система от владельца сайта.

Релиз поискового алгоритма Панда произошел в 2011 году, этот алгоритм действует до сих пор. Главная задача Панды — проверить качество контента на сайте. Контент должен быть:

• Полезным для пользователя — отвечать на его вопрос или корректно описывать услугу/товар, который продается на сайте.

• Структурированным — содержать списки, таблицы, разделы. Все для того, чтобы пользователю было удобно читать и воспринимать информацию.

• Четко соответствовать заявленной теме. Именно из-за этого структуры сайтов с каждым годом становятся все более сложными и многоступенчатыми — чтобы каждая статья и посадочная страница соответствовали узкой теме.

• Оригинальным. Тут учитывается как оригинальность внутренняя — между статьями на одном сайте, так и внешняя — контент не должен повторять уже написанный и размещенный на другом сайте.

При попадании под фильтр Панда, владельцу сайта приходится переписывать весь неуникальный контент и ждать до полугода, пока сайт начнет возвращать свои позиции в выдаче.

Как выглядели сайты в топе до 2011 года? В основном это были страшненькие страницы, внизу которых огромным списком были вписаны ключевые слова, по которым сайт планировал получить трафик. Выделенные жирным, курсивом. Ключевые слова без связи между собой в заголовках страницы. Скрытые текст с еще большим ключевых слов.

Страх и ужас. Так что, Панда немного отрезвила вебмастеров. И дала много работы копирайтерам.

Если вы работали в SEO-агентстве в 2012 году, то наверняка помните Большую Миграцию Клиентов. Агентства теряли всех клиентов в течение месяца, но получали столько же тех, кто ушел из другого агентства. А через пару месяцев клиенты снова забирали проекты и уходили еще куда-то. Случилось это из-за выкатки фильтра Пингвин. Тексты + Ссылочное — вот два фактора, которые позволяли сайтам до 2012 года попадать в топ.

Если текстовой составляющей занялась Панда, то за ссылочное взялся Пингвин. До 2012 года вы могли попасть в топ Google за пару месяцев (в среднеконкурентных тематиках).

Все было просто:

1. Создаем сайт.
   
2. Заливаем на него тысячу не связанных между собой ключевых слов через запятую. А еще лучше — в несколько слоев верстки наложить их друг на друга и сделать прозрачным цветом (МРАК).
   
3. Закупаем 10 тысяч арендных ссылок на SAPE за 150 долларов (нет, тут не пропущен нолик — они действительно столько стоили).
   
4. И вуаля — вы в топе.
   

Такие схемы не способствовали появлению качественных сайтов в результатах поиска. Потому с приходом Панды и началась настоящая паника. Все арендные ссылки с некачественных площадок не просто переставали учитываться — они становились токсичными. Нашел Гугл Бот 100+ ссылок с таких сайтов — получите фильтр, распишитесь.

И начали массово падать все сайты, которые продвигались таким образом. Кто не успел попасть под фильтр — в срочном порядке отказывались от арендных ссылок, но тоже проседали. Ведь отказ от огромной ссылочной массы в момент — не приводит ни к чему хорошему.

Примерно полгода понадобилось выдаче, чтобы хоть как-то стабилизироваться по коммерческим запросам. И несколько лет понадобилось большинству доменных имен, чтобы «отстоятся» после фильтра.

Пингвин и Панда — крупные фильтры, на основании которых большинство сайтов попадают под фильтр до сих пор. Но есть и небольшие апдейты к ним и отдельные алгоритмы, под санкции которых можно попасть только по незнанию или намеренно. Потому пройдемся по ним достаточно коротко.

Exact Match Domain. Этот алгоритм отслеживает специфический тип переспама ключевых слов — вхождение ключа в URL сайта. Например, если сайт занимается продажей кирпичей, то домен kirpich.com будет ок, а вот за доменное имя http://proizvodstvo-i-prodazha-kirpicha-nedorogo.com, вы, скорее всего, попадете под фильтр.

DMCA. Этот фильтр очень медленно раскатывался в течении 2012—2015 годов и до сих пор многие умудряются его обходить. Ключевая задача — убрать из выдачи пиратский контент — от фильмов до программ и книг. Учитывая количество результатов поиска по запросу «популярный фильм смотреть онлайн и без регистрации» — эту битву поисковик пока что проигрывает.

Links. У настоящего, живого, сайта должны быть как входящие, так и исходящие ссылки. Ссылки с других ресурсов на ваш сайт показывают поисковой системе, что сайт важен и цитируем, а исходящие — что вы также готовы ссылаться в своем контенте на уважаемые источники. Однако, большое количество исходящих ссылок превращает домен в "ссылочную помойку". В основном сайты попадают под этот фильтр, когда беспорядочно продают ссылки через биржи, не занимаясь развитием собственного ресурса.

Битые ссылки. Актуальный алгоритм для интернет-магазинов, которые не пользуются услугами SEO специалистов. Когда товар заканчивается и не планируется к дальнейшей продаже — контент менеджеры часто удаляют страницу. Тогда по старой ссылке на товар пользователя встречает 404 ошибка. Если количество битых страниц достигает определенного порога — сайт начинает проседать в выдаче. Такие страницы важно отслеживать и делать с них 301 редирект на релевантную страницу (категории или другого товара).

Если базовые алгоритмы, которые мы рассмотрели в прошлом разделе были призваны вывести в топ самые качественные и релевантные ресурсы, то большинство рассмотренных в этой части продиктованы изменением пользовательского поведения.

Вы знали, что 80+% трафика в интернете в 2021 году пришлось на мобильные устройства? Эта цифра росла ежегодно с 2015 года и привела к Google к новой концепции оценки сайтов — Mobile First Index. Во главу угла ставится удобство сайта для мобильных устройств с разной диагональю и скоростью интернет-подключения.

До 2017 года была еще разница в выдаче — при запросе с мобильных и десктопов, пользователь мог получить разные сайты в топ-10. Сейчас же сайты, которые оптимизированы под мобайл, получают высокие позиции везде. Потому что — Mobile First.

В связи с этим появились новые алгоритмы оценки сайтов, которые нельзя игнорировать даже в узких нишах.

Первым алгоритмом, который изменил правила игры стал Mobilegeddon в 2015 году. Тогда требования были простыми — сайт должен быть удобен для мобильных устройств. Оказалось, что достичь этого можно разными методами. Ключевыми стали:

1. Мобильная версия сайта — m.site.com. Самый быстрый вариант в реализации. Создавался очень упрощенный клон сайта с минимумом верстки и удобства для пользователя. Главными минусами такого подхода были проблемы с SEO (часто соответствия настраивались неправильно и для поисковой системы мобильные страницы становились дублями), неудобство для пользователя и сложность в модерации. На сегодняшний день эту практику почти не применяют.
   
2. AMP версия сайта. Актуально для новостных ресурсов. Accelerated Mobile Pages от Google предлагала создавать дубль страницы с контентом, но почти без стилей верстки, рекламных блоков и меню. Страница как будто существовала вне сайта. Для ранжирования в новостных фидах владельцы сайтов шли на внедрение AMP, но отсутствие рекламы на страницах делали подход не очень выгодным.
   
3. Адаптивная верстка. Оптимальный, хоть и самый трудозатратный вариант, который на 2022 год считается стандартом де-факто. Страница имеет разное расположение блоков для разных разрешений устройств.

Переход на Mobile First стал с одной стороны выкручиванием рук всем вебмастерам. Хотите быть в выдаче — адаптируйте сайт. Но в перспективе это, конечно, верное решение.

Первый апдейт, связанный со скоростью загрузки сайта появился в 2018 году. Тогда он вышел в формате рекомендации. Google просил веб-мастеров ускорять сайты, потому что пользователи мобильных устройств не готовы ждать даже 3 секунд для загрузки страницы.

Каких-то жестких пессимизаций в выдаче не было до 2021 года. В прошлом году развернули Google Page Experience Update. Вот он уже неплохо потряс выдачу и тяжелые, неповоротливые сайты на плохих серверах или с визуальными украшательствами начали постепенно терять свои позиции.

Алгоритм держится на трех китах, так называемых Core Web Vitals:

1. LCP — скорость загрузки основного контента сайта. Считает сколько секунд нужно сайту, чтобы передать на устройство пользователя полностью загруженную страницу.
   
2. FID — скорость загрузки до первого взаимодействия. Считает сколько секунд нужно сайту, чтобы передать на устройство пользователя первые части контента, с которыми можно взаимодействовать. Причем в идеальном виде этот параметр должен составлять ⅕ секунды, что для многих хостингов стало невыполнимой задачей.
   
3. CLS — отвечает за статичность контента. Если пользователь прокручивает страницу вниз, то элементы не должны перестраиваться и менять свое расположение. Как загрузилось — так и должно оставаться. По поводу этого пункта много споров, что он не нужен, но на самом деле он крайне важен. Если сайт «застревает» между отображением для нескольких разрешений и вы не можете клацнуть на бургер меню или попасть по кнопке обратной связи — взаимодействие с сайтом становится настоящей мукой.

Page Experience Update не закончился в 2021 году и летом 2022 года нам обещают его улучшение и более масштабную развертку. Так что, если ваш сайт все еще не соответствует его требованиям — рекомендуем срочно подыскать команду пряморуких верстальщиков. Последствия игнорирования будут очень серьезными, вплоть до полного выпадения сайта из выдачи.

Алгоритм RankBrain был запущен в 2015 году. Он является лексическим алгоритмом, способным анализировать тексты на сайте не только по прямым вхождениям ключевых слов, но и находить их синонимы. Если в тематике мало сайтов-конкурентов, то благодаря RB пользователь мог получить релевантный сайт по своему запросу, даже если на самом сайте не было ключа, который он вводил.

Например, пользователь ввел запрос «Грумер в Киеве». И так оказалось (совершенно невероятная ситуация), что никто не предлагает услуги груминга в Киеве. Однако, есть сайты с услугой — Стрижка для собак в Киеве. И благодаря алгоритму, Google поймет о чем идет речь и выдаст пользователю собачьего парикмахера, который даже не подозревал, что он грумер.

BERT же — логичное продолжение этого алгоритма. Фактически это нейросеть, обрабатывающая запросы пользователей и анализирующая куда переходят пользователи, после ввода ряда запросов. Это искусственный интеллект, который будет понимать нас через несколько лет лучше, чем мы понимаем друг друга. Так как напрямую на эти два алгоритма вы повлиять никак не можете — нужно серьезно работать над контентом сайта.

Для оптимизации под BERT рекомендуют:

1. Писать на сайт действительно полные и глубокие аналитические статьи, ориентируясь больше на всестороннее раскрытие темы, чем на ключевые слова.
   
2. Максимально использовать синонимы в своих текстах. Если у вас существует список ключевых слов по которому вы пишите текст — обязательно соберите список синонимов, которые также нужно внедрить.
   
3. Добавлять в текст больше естественных, разговорных оборотов в контексте ключевого слова.
   
4. Использовать не только текстовый, но и аудиовизуальный контент.
   

YMYL вызвал массовое падение сайтов в 2018 году. В медицинской, финансовой, юридической тематиках, сотни сайтов выпали из ТОПа буквально за ночь. К этому еще добавились новые правила рекламы Google Ads, запрещающие многие медицинские тематики для открытой рекламы.

Так, если у вас был сайт в сфере лечения зависимостей — 2018 год вы наверняка запомните надолго. Но есть и позитивные стороны и их намного больше.

Алгоритм YMYL призван обезопасить пользователей в вопросах, которые касаются их здоровья и денег. Он актуален для таких услуг:

• Юридических

• Медицинских

• Финансовых

• Вопросов безопасности

• Коммерция (это не точно, но есть слухи, что алгоритм все чаще касается сайтов e-commerce)

Главный принцип, которым руководствуется алгоритм называется E-A-T. Экспертность, авторитетность, достоверность. Если вы публикуете контент в тематиках, затрагивающих здоровье или финансы пользователей — будьте добры побеспокоиться, чтобы он заслуживал доверия.

Потому для сайтов стало важно придерживаться ряда принципов в публикациях. И манипулировать этим почти невозможно, так как сайты проверяются вручную. Возникла должность асессора. Это внештатный сотрудник Google, который проверяет сайты согласно чек-листу. И если вы не придерживаетесь новых принципов — до свидания из топа.

Принципов несколько и им действительно несложно следовать:

1. Авторство статьи. Если вы размещаете экспертный контент — у него должен быть указан автор. У автора — должна быть персональная страница на вашем сайте, где будет указано почему он эксперт, чем он может это подтвердить. В идеале — там же размещены ссылки на его социальные сети или профессиональные платформы.
   
2. Отсылки к авторитетам. Приводя цитаты или заявления в статье — нужно отсылаться к общепринятым источникам, которым доверяют. Forbes, Lancet, Wikipedia — вы должны привести в тексте ссылку на ресурс из которого взята информация.
   
3. Актуальность содержания. Если статья устарела (например, вы до сих пор рекомендуете лечить мигрени кровопусканием, ссылаясь на трактаты 12 века) — то ее следует удалить с сайта. Или указать, что эта информация неактуальна на сегодняшний день — в самом начале статьи.

YMYL выбил из топа многие качественные ресурсы в момент запуска, но туда же отправились и мошеннические сайты. По прошествию 4 лет можно констатировать, что качество сайтов в топ-10 действительно выросло.

Голубь это небольшой, но очень полезный алгоритм, запущенный в 2014 году. Он призван помочь локальным бизнесам в продвижении. И что самое главное — он действительно работает. Принцип работы достаточно прост. Если вы ищете услугу или товар, которые имеют географическую привязку в запросе или типе услуги (это может быть стоматолог, клуб настольных игр или ресторан), то в первую очередь Google предложит вам не максимально «прокачанный» сайт в вашей стране, но тот, что привязан к местности возле вас.

Для оптимизации сайта под этот алгоритм необходимо:

1. Указать на сайте точное месторасположение вашего магазина.
   
2. Если магазинов или офисов несколько — указать их все.
   
3. Создать Google My Business карточку под каждый филиал вашего бизнеса и оптимизировать ее.
   
4. Если вы работаете по всему городу (или стране) — то создать отдельные страницы на сайте, заточенные под запрос «Услуга в Городе/Районе/Улице».
   

Кроме стандартных поисковых алгоритмов, о которых вы можете прочитать в Справке Google или услышать в открытых лекциях, существуют и неофициальные алгоритмы и фильтры. Кто-то считает, что это теория заговора и ничего такого нет. Другие же вебмастера, особенно те, кто регулярно запускают новые проекты — абсолютно уверены, что они существуют.

В этой статье мы упомянем несколько таких неофициальных фильтров, но стоит ли ориентироваться на них при продвижении вашего ресурса — решать только вам.

Песочница это алгоритм, который не дает возможности новосозданным сайтам занимать серьезные позиции или получать весомый трафик в течении 3-6 месяцев после запуска сайта.

Даже если вы запускаете отлично оптимизированный и наполненный контентом сайт в «голубом океане» — нише почти без конкуренции, то по своим супер низкочастотным ключевым словам вы не получите и 100-й позиции, пока не пройдет какое-то время. Чаще всего — не менее 3 месяцев.

Google в лице Джона Мюллера отрицают существование песочницы и списывают эффект на то, что новорожденный сайт медленно вноситься в базу данных Google. Мол, происходит долгий процесс каталогизации из-за чего, новенькие сайты бывают не видны. Однако, если на старом сайте запустить новый контент — он будет проиндексирован в течении минут, не часов. Что же мешает поисковой машине обнаружить новый сайт в течении долгих месяцев? Возможно, Песочница.

Этот алгоритм также связан с возрастом, но в обратную сторону. Google официально не указывает на то, что возраст домена является фактором ранжирования. Но практика показывает, что в топе намного больше сайтов с доменами 5-7 летней давности.

Теория гласит, что если у нас есть два сайта с одинакового качества контентом, одинаковым количеством страниц, одинаковым ссылочным весом и так далее — первым в топе будет стоять тот, у которого более старый домен. Само собой, это моделирование ситуации в вакууме. Но вебмастера часто покупают старые домены, у которых нет никакого веса, для новых проектов. Они верят, что это даст изначальный буст сайту. Ну и позволит обойти песочницу.

Если бы он точно существовал, то это был бы самый честный алгоритм.

Идея в том, что сайты, которые используют при продвижении черные методы — не банятся сразу, а получают предупреждение. Несколько желтых и потом красную карточку.

Фильтр могут наложить за применение:

• дорвеев

• клоакинга

• построение сеток сайтов

• ссылочный спам

• скрытые от поисковой системы редиректы пользователя
  

Если поисковая машина обнаруживает какое-то из этих нарушений, сайт сначала получает -5 к позициям. Если нарушения не исправлены в кратчайшие сроки — еще минус 30. Потом минус 950 и в конце — красная карточка, домен навсегда попадает под санкции.

По поводу это алгоритма есть несколько сомнений, главное из которых следующее. Почему за прямое нарушение правил Google сайт настолько легко наказывают и дают возможность исправиться? Не очень-то похоже на диктаторский стиль Компании Добра.

Google — это коммерческая компания, которая предоставляет во всем мире мощнейший бесплатный инструмент — доступ к базе данных сайтов во всем мире. Их цель состоит в том, чтобы сделать результаты поиска максимально соответствующими запросам пользователей (и попутно — продать рекламы на миллиарды долларов).

Потому всем, кто хочет получить высокие позиции в поисковике — приходится играть по его правилам и придерживаться требований к сайтам. Очень важно знать какие алгоритмы Google существуют сегодня и следить за тем, какие будут выпущены завтра — только так вы сможете оставаться на позициях, приносящих трафик и продажи вашему бизнесу.

В 2022 году есть ряд требований, которые нужно обязательно выполнять, чтобы соответствовать требованиям поисковика:

1. Пишите уникальный контент. Если он касается здоровья пользователя — руководствуйтесь формулой E-A-T, если не касается — пишите больше лонгридов, статей с учетом LSI ключей, синонимами и визуальным контентом.
   
2. При наращивании ссылочной массы — выбирайте только качественные площадки. Да, стоимость одной ссылки на сегодня может доходить до 1000 долларов (в рунете). Но лучше купить одну хорошую, чем 100 плохих и улететь под фильтр.
   
3. Старайтесь получать качественные ссылки на свой сайт за счет публикации экспертного контента на других площадках — платно и бесплатно.
   
4. Оптимизируйте свой сайт по скорости загрузки. В 2022 году без этого никак — ваш сайт обязан летать.
   
5. Следите за техническим состоянием сайта — регулярно делайте аудиты, внедряйте правки, следите какие фишки внедряют ваши конкуренты.
   
6. Старайтесь сделать структуру максимально широкой. Есть возможность проработать фильтры — прорабатывайте. Есть возможность проработать их пересечения — обязательно прорабатывайте!
   
7. Привязывайте сайт к вашему региону. Создавайте локальные страницы, пишите тексты на категории товаров и услуг с привязкой к региону. Все это сыграет вам только на руку.
   
8. Не ищите быстрых путей. В августе 2021 года в базе данных Google было 1,88 миллиарда сайтов. Не рассчитывайте на то, что окажетесь в топе через месяц после запуска проекта — рынок уже раскален.

И главное — следите за обновлениями. Проще подготовиться к новым требованиям за полгода, чем потом возвращать позиции, теряя клиентов и время.