Мы используем файлы cookie для обеспечения работоспособности сервиса, улучшения навигации и маркетинговых активностей Serpstat. Нажимая "Принять и продолжить", вы соглашаетесь с нашей Политика конфиденциальности

Сообщить об ошибке

Отменить
2309 60
SEO Читать 7 минут

Краулинговый или рендеринговый бюджет:
не вместо, а вместе

Краулинговый или рендеринговый бюджет
Анастасия Кочеткова
Анастасия Кочеткова
SEO-специалист в
GorodRabot.ru
Что такое краулинговый и рендеринговый бюджеты? В чем отличие между ними? Как поисковые системы рендерят страницы? На эти и другие вопросы ответим в статье.
У поисковых систем нет неограниченных возможностей и времени, чтобы обходить все подряд каждые 24 часа. Приходится грамотно распределять ресурсы. Для решения этой задачи и было введено понятие «краулинговый бюджет».

Краулинговый бюджет
Краулинговый бюджет — это ограниченное количество страниц, которое хочет и может просканировать поисковый робот в заданный период времени. Скорость сканирования не является фактором ранжирования. Но она имеет значение, потому что напрямую влияет на наш доход.

Если поисковые роботы не находят страницу, она не индексируется. Соответственно, не ранжируется в поиске, и вы не получаете трафик на нее.

Если страницу никто не посещает, пользователи, которым нужны ваши услуги, так и не станут вашими клиентами. Как результат — потеря потенциальной прибыли.

Однако оптимизация краулингового бюджета больше актуальна для крупных проектов. Если страница сканируется поисковиками в день публикации, вам не о чем беспокоиться.

Раньше краулеры поисковых систем сканировали и индексировали контент страниц, который передавался в исходном статическом HTML-коде.

Сегодня многие проекты используют JS-фреймворки и библиотеки (React, JQuery, Vue.js). Это создает проблемы для традиционного краулинга, так как сервер отдает страницу с содержанием JS-кода. Поисковому боту недостаточно исходного HTML. Ему необходимо рендерить веб-страницу, чтобы получить конечный контент.

Несовершенство краулингового бюджета и потребность в новом этапе привели к тому, что появилось понятие рендерингового.
Сайты на JavaScript-движках: стоит ли игра свеч? — мнение экспертов

Рендеринговый бюджет
Рендеринговый бюджет — это количество страниц, которое робот поисковой системы может отобразить. Для обработки контента используется последняя версия Chromium.

Рендеринг происходит после краулинга. Поэтому Google также называет рендеринг «второй волной индексации».
Чтобы поисковые роботы могли увидеть контент, закодированный с помощью JavaScript, его необходимо отобразить. Рекомендую изучить материал Google о том, как Googlebot обрабатывает сайты на JS.
Краулинговый или рендеринговый бюджет: не вместо, а вместе 16261788443790
Пример рендеринга страницы GorodRabot.ru
JavaScript сложный, медленный и асинхронный. Здесь требуется намного больше вычислительных ресурсов, чем при краулинге. Поэтому рендеринг происходит не сразу, а только когда у поисковых систем освобождаются ресурсы. Нельзя предугадать, когда страница будет просканирована, а когда отрисована.

Узнать, как Google обрабатывает вашу страницу, можно через инструмент проверки URL. Еще один способ понять, закончен ли рендеринг страницы, — оператор поиска "site:". Для этого введите в поисковой строке, например, site:(ваш ресурс) и цитату из текста, подгружаемого на странице через JS.
Краулинговый или рендеринговый бюджет: не вместо, а вместе 16261788443790

Проблемы рендеринга
Несмотря на заявление Google, что поисковый робот отлично рендерит JavaScript, этот процесс далек от совершенства. К тому же нужно считаться с роботами других поисковых систем — Yandex, Bing, DuckDuckGo.

Существует как минимум несколько проблем:
1
Развитие JavaScript. Язык совершенствуется и обновляется. Робот может не поддерживать используемое API или какие-то новые функции JavaScript.
2
Пользовательские сценарии. Краулер не взаимодействует с сайтом, как пользователь (клики, заполнение форм). Поэтому все необходимое для индексации желательно подгружать в DOM.
3
Скорость. Так как добавляется еще один этап к индексированию, то увеличивается и время обработки каждой web-страницы.
4
Ресурсы. JS добавляет вес к окончательному DOM на стороне клиента. Это приводит к увеличению ресурсов центрального процессора, что уже критично как для поисковых роботов, так и для пользовательских устройств.
JavaScript — достаточно капризный. Ошибки в коде могут повлиять на обработку контента или подгрузку JS-библиотеки, причем на стороне и посетителей, и поисковых роботов. Даже из-за одной синтаксической ошибки страница может не отобразиться ‒— а значит, не будет рендериться ботом.

Найти и проверить ошибки поможет функция рендеринга JS в обновленном инструменте «Аудит страницы» от Serpstat.

Необходимо понимать, что ваша цель — облегчить поисковым роботам работу по пониманию контента.

Вот несколько рекомендаций:
1
Оптимизируйте JS. О том, как уменьшить размер кода, можно прочитать в этой статье.
2
Аккуратно относитесь к сторонним решениям. Полагаясь на контент, поступающий из другого сервера, помните — у вас нет никакого контроля над ним.
3
Старайтесь большую часть контента оставлять без визуализации JS (тексты, таблицы, заголовки, ссылки). Так при первом сканировании у робота уже будет смысловое понимание контента.
4
Применяйте длительное кэширование. Кэширование отдельных элементов (картинок, файлов) существенно ускорит отображение и загрузку веб-страницы и позволит сэкономить интернет-трафик.
5
Динамический рендеринг. Такой тип отрисовки советует сам Google. Ее смысл в том, что сервер возвращает определенным агентам (в нашем случае поисковым роботам) контент в виде HTML-страницы.

Одновременно с этим запросы от пользователей обрабатываются как Java-версии на стороне клиента. Необязательно использовать динамический рендеринг для всего сайта, можно реализовать его только на определенном типе страниц.

Выводы
Рендеринг — дополнительная работа для поискового робота. Чем больше усилий и времени на обработку страницы он тратит, тем медленнее индексация проекта.

Все-таки до сих пор самым простым и быстрым способом попадания в индекс остается возвращение предсказуемой статической HTML-страницы. Ни в коем случае не призываю отказываться от визуализации и интерактивности.

Но старайтесь верстать контент так, чтобы он отображался и с отключенным JS. Тогда проблем с индексацией будет значительно меньше.

В любом случае включите в свой чек-лист пункт по оптимизации JS на ваших проектах. Общайтесь и дружите со своими разработчиками! Без слаженного взаимодействия и технической поддержки сайту будет непросто.
Чтобы быть в курсе всех новостей блога Serpstat, подписывайтесь рассылку. А также вступайте в чат любителей Серпстатить и подписывайтесь на наш канал в Telegram.

Сэкономьте время на изучении Serpstat

Хотите получить персональную демонстрацию сервиса, тестовый период или эффективные кейсы использования Serpstat?

Оставьте заявку и мы свяжемся с вами ;)

Оцените статью по 5-бальной шкале

4.6 из 5 на основе 9 оценок
Нашли ошибку? Выделите её и нажмите Ctrl + Enter, чтобы сообщить нам.

Поделитесь статьей с вашими друзьями

Войти Регистрация

Вы исчерпали лимит запросов.

Или email
Забыли пароль?
Или email
Optional
Back To Login

Не волнуйтесь! Напишите свой электронный адрес и мы пришлем вам новый пароль.

Вы уверены?

Awesome!

To complete your registration you need to enter your phone number

Назад

Мы отправили код подтверждения на ваш номер телефона

Your phone Resend code Осталось запросов

Что-то пошло не так.

Свяжитесь с нашей службой поддержки
Или подтвердите регистрацию с помощью Телеграм бота Перейдите по этой ссылке
Выберите один из проектов

Знакомство с Serpstat

Узнайте об основных возможностях сервиса удобным способом!

Отправьте заявку и наш специалист предложит вам варианты обучения: персональную демонстрацию, пробный период или материалы для самостоятельного изучения и повышения экспертизы. Все для комфортного начала работы с Serpstat.

Имя

Email

Телефон

Будем рады вашему комментарию
Я принимаю условия Политики конфиденциальности.
Увеличить лимиты

Улучшить тариф

Экспорт недоступен для вашего тарифного плана. Вам необходимо улучшить свой тариф до Lite или выше, чтобы получить доступ к инструменту Подробнее

Зарегистрироваться

Спасибо, мы сохранили ваши новые настройки рассылок.

Пригласить
Просмотр Редактирование

E-mail
Сообщение
необязательно
E-mail
Сообщение
необязательно

У вас закончились лимиты

Вы достигли лимита на количество созданных проектов и больше не можете создавать новые проекты. Увеличьте лимиты или удалите существующие проекты.

Я хочу больше лимитов
Открыть чат технической поддержки