Краулинговый или рендеринговый бюджет:
не вместо, а вместе

У поисковых систем нет неограниченных возможностей и времени, чтобы обходить все подряд каждые 24 часа. Приходится грамотно распределять ресурсы. Для решения этой задачи и было введено понятие «краулинговый бюджет».

Краулинговый бюджет — это ограниченное количество страниц, которое хочет и может просканировать поисковый робот в заданный период времени. Скорость сканирования не является фактором ранжирования. Но она имеет значение, потому что напрямую влияет на наш доход.

Если поисковые роботы не находят страницу, она не индексируется. Соответственно, не ранжируется в поиске, и вы не получаете трафик на нее.

Если страницу никто не посещает, пользователи, которым нужны ваши услуги, так и не станут вашими клиентами. Как результат — потеря потенциальной прибыли.

Однако оптимизация краулингового бюджета больше актуальна для крупных проектов. Если страница сканируется поисковиками в день публикации, вам не о чем беспокоиться.

Раньше краулеры поисковых систем сканировали и индексировали контент страниц, который передавался в исходном статическом HTML-коде.

Сегодня многие проекты используют JS-фреймворки и библиотеки (React, JQuery, Vue.js). Это создает проблемы для традиционного краулинга, так как сервер отдает страницу с содержанием JS-кода. Поисковому боту недостаточно исходного HTML. Ему необходимо рендерить веб-страницу, чтобы получить конечный контент.

Несовершенство краулингового бюджета и потребность в новом этапе привели к тому, что появилось понятие рендерингового.

Рендеринговый бюджет — это количество страниц, которое робот поисковой системы может отобразить. Для обработки контента используется последняя версия Chromium.

Рендеринг происходит после краулинга. Поэтому Google также называет рендеринг «второй волной индексации».

Чтобы поисковые роботы могли увидеть контент, закодированный с помощью JavaScript, его необходимо отобразить. Рекомендую изучить материал Google о том, как Googlebot обрабатывает сайты на JS.

JavaScript сложный, медленный и асинхронный. Здесь требуется намного больше вычислительных ресурсов, чем при краулинге. Поэтому рендеринг происходит не сразу, а только когда у поисковых систем освобождаются ресурсы. Нельзя предугадать, когда страница будет просканирована, а когда отрисована.

Узнать, как Google обрабатывает вашу страницу, можно через инструмент проверки URL. Еще один способ понять, закончен ли рендеринг страницы, — оператор поиска "site:". Для этого введите в поисковой строке, например, site:(ваш ресурс) и цитату из текста, подгружаемого на странице через JS.

Несмотря на заявление Google, что поисковый робот отлично рендерит JavaScript, этот процесс далек от совершенства. К тому же нужно считаться с роботами других поисковых систем — Bing, DuckDuckGo.

Существует как минимум несколько проблем:

JavaScript — достаточно капризный. Ошибки в коде могут повлиять на обработку контента или подгрузку JS-библиотеки, причем на стороне и посетителей, и поисковых роботов. Даже из-за одной синтаксической ошибки страница может не отобразиться ‒— а значит, не будет рендериться ботом.

Найти и проверить ошибки поможет функция рендеринга JS в обновленном инструменте «Аудит страницы» от Serpstat.

Необходимо понимать, что ваша цель — облегчить поисковым роботам работу по пониманию контента.

Вот несколько рекомендаций:

Рендеринг — дополнительная работа для поискового робота. Чем больше усилий и времени на обработку страницы он тратит, тем медленнее индексация проекта.

Все-таки до сих пор самым простым и быстрым способом попадания в индекс остается возвращение предсказуемой статической HTML-страницы. Ни в коем случае не призываю отказываться от визуализации и интерактивности.

Но старайтесь верстать контент так, чтобы он отображался и с отключенным JS. Тогда проблем с индексацией будет значительно меньше.

В любом случае включите в свой чек-лист пункт по оптимизации JS на ваших проектах. Общайтесь и дружите со своими разработчиками! Без слаженного взаимодействия и технической поддержки сайту будет непросто.