Войти Регистрация

Serpstat использует файлы cookie для обеспечения работоспособности сервиса, улучшения навигации, предоставления возможности связаться с командой поддержки, а также маркетинговых активностей Serpstat.

Нажав кнопку "Принять и продолжить", вы соглашаетесь с Политикой конфиденциальности

Сообщить об ошибке

Отменить
10817 3
SEO Читать 18 минут 4 августа 2020

404 ошибка: почему возникает и как ее устранить

404 ошибка: найти и обезвредить
Екатерина Киясова
Екатерина Киясова
SEO-специалист в агентстве ADINDEX
Страница с ошибкой 404 является одной из самых распространенных проблем, с которой сталкиваются посетители различных сайтов. Их наличие негативно влияет не только на поведенческие характеристики сайта, но и может отрицательно влиять на рейтинг всего сайта.

Почему возникает 404 ошибка, как вовремя ее найти, какую роль она играет в SEO, какие инструменты помогут ее устранить — рассказывает ведущий SEO-специалист в компании ADINDEX, Екатерина Киясова.

Что такое 404 ошибка

Простыми словами ошибка 404 — это HTTP-код сервера, который сообщает, что нужная страница не найдена.
Рисунок 1. сайт Ikea.com. ошибка 404
Механизм передачи информации между браузером (клиентом) и сервером таков:
1
Пользователь вручную вбивает URL-адрес страницы в строку браузера или переходит по внешней ссылке.
2
На сервер отправляется сетевой запрос, где открывается новая сессия.
3
В качестве ответа сервер отправляет HTML-страницу с HTTP-кодом. Если страница с данным адресом существует, сервер возвращает код 200 — ОК. К примеру, если сейчас вы читаете эту статью, значит сервер нашел запрашиваемую страницу.
4
Если браузер установил соединение с сервером, но нужной страницы на нем нет, на экране появится HTML-страница с кодом 404.
В случае, когда сайт не загружается вовсе, т.е. возникает ошибка сервера, показывается ошибка 5**. Однако обычный пользователь не знает, в чем разница ошибок 4** и 5**. Он уходит с сайта и может никогда не вернуться, думая, что сайт не работает.

Ссылки на страницу с ошибкой 404 часто называют «битыми», «сломанными», «мертвыми». А HTTP-ответ сервера 404 — «код 404», «ответ 404», «HTTP 404».

Почему ошибка 404 Not found может возникнуть:
страницу удалили;
страницу перенесли на другой адрес, но адрес не обновили;
при вводе URL-адреса пользователем допущена синтаксическая ошибка.
В проектах наших клиентов наиболее часто встречающаяся ошибка 404 связана с удалением или изменением URL-адреса страниц. Так, при аудите сайта одного клиента для запрашиваемых страниц обнаружили большое количество страниц с ответом «Not Found».

Причина была в том, что контент-менеджер удалил страницы с товарами, которых нет в наличии. В результате сайт частично потерял обратную ссылочную массу, так как на удаленные страницы вели внешние ссылки.
Рисунок 2. выявление 404 ошибок в динамике

Какую роль в SEO играют 404 ошибки

Как Google относится к 404?

Поисковая система не считает такие ошибки существенными. Из Cправки Google:
Обычно ошибки 404 не влияют на эффективность сайта в Google Поиске. Вы можете смело игнорировать их, если они точно относятся к URL, которых не должно быть на вашем сайте. Важно, чтобы при переходе по всем недействительным URL возвращался верный код ответа HTTP (404) и чтобы доступ к ним не был заблокирован в файле robots.txt.
— Справка Google
Но на практике оказывается, что в некоторых случаях такие ошибки негативно влияют на ранжирование сайта. Суть в том, что не столько страницы с 404 ошибкой влияют на SEO, сколько «битые» ссылки, ведущие на эти страницы.

Проблемой являются именно неработающие ссылки. Для поисковой системы большое количество битых ссылок говорит о проблемах с качеством сайта. Это приводит к ухудшению индексации и потере позиций в выдаче.

Кроме того, создается искаженная картина поведения пользователя на сайте: уменьшается время взаимодействия с сайтом, растет показатель отказов, может произойти отток посетителей.

Большое количество неработающих ссылок будет «съедать» краулинговый бюджет. Вместо того чтобы сканировать только нужные страницы, поисковый робот будет выполнять бессмысленную работу и краулить страницы, которые отдают код 404.
Нет ссылок на страницу с ошибкой 404 — нет ошибки 404.
Хотите найти технические ошибки на сайте, включая битые страницы на сайте? Используйте инструмент «Аудит сайта». Если хотите получить персональную консультацию по использованию инструмента и его API, оставляйте заявку и наш менеджер вам все расскажет.

Что такое Soft 404 ошибки?

Soft 404 ошибка, или ложная ошибка бывает только в поисковых системах Google. Она не является официальным кодом сервера, она — лишь пометка, так сказать, «для себя». Ошибка возникает, когда страница не существует, но сервер возвращает код ответа 200 ОК.

У этого явления может быть несколько причин:
1
На странице нет или очень мало контента. Также причиной может быть наличие ресурсов (изображения, скрипты), которые не удается обработать поисковому роботу. Например, из-за того, что в Robots.txt к ним закрыт доступ, или сканирование ресурсов займет больше времени, чем нужно.
2
С удаленной страницы установлена переадресация на страницу, которая не релевантна по содержанию.
3
Сервер работает неправильно: для несуществующих страниц возвращается другой код.
Если с сервера возвращается ответ 200 ОК, страница будет сканироваться и может попасть в список результатов поиска. Следовательно, ошибка вводит в заблуждение пользователей и поисковые системы. Soft error 404 негативно влияет на рейтинг сайта в выдаче и напрасно использует ресурс краулера.

3 варианта проверки HTTP-кода сервера

1
С помощью браузера
В Google Chrome без сторонних инструментов можно проверить код ответа страницы. Для этого нужно:
перейти на страницу сайта;
нажать F12 на клавиатуре либо кликнуть правой кнопкой мыши в любой точке экрана;
выбрать «проверить код» либо «inspect»;
перейти во вкладку «Network» и обновить страницу (F5);
в столбце «Status» появится список кодов состояния для всех ресурсов, которые загружаются по этому адресу (документы, изображения и т.д.). Самый первый код в этом списке — это код запрашиваемого вами URL'а.
Рисунок 3. Google Chrome Inspector
2
С помощью сайта https://httpstatus.io/.
Здесь можно проверить статус-код запрашиваемого URL'а. Можно просканировать до 100 URL'ов.
Рисунок 4. httpstatus.io
3
С помощью расширения Redirect Path для Chrome.
Google Chrome предлагает установить бесплатный плагин, который показывает HTTP-коды 301, 302, 404 и 500 и JavaScript редирект.
Рисунок 4. httpstatus.io

3 инструмента проверки ошибки 404 Not Found

Для работы с кодом 404 существует множество инструментов. Приведем несколько самых популярных, которыми мы пользуемся каждый день.
1
Serpstat.com
С помощью сервиса можно быстро выполнить аудит любого проекта. Программа парсит сайт, выдает список ошибок, устанавливает приоритет (высокий, средний, низкий) и предлагает способы устранения.

Чтобы найти все ошибки, достаточно просто создать проект:
Произвести простые настройки и немного подождать, пока сервис проверит ресурс:
Видим все 404 ошибки:
К примеру, при парсинге иностранного проекта программа выдала большое количество ошибок 404:
Рисунок 10. 404 ошибки Serpstat.com
Причиной стало изменение принципа формирования ссылок на ресурсы, однако на поддоменах url-адреса остались старыми.
Хотите узнать, как с помощью Serpstat найти и исправить технические ошибки на сайте?
Оставьте заявку и наши специалисты проконсультируют вас по продвижению вашего проекта, поделятся учебными материалами и инсайтами рынка!
Хотите узнать, как с помощью Serpstat найти ошибки на сайте, мешающие ранжированию?

Заказывайте бесплатную персональную демонстрацию сервиса, и наши специалисты вам все расскажут! ;)
2
Google Search Console
Инструмент для веб-мастеров позволяет проверить, есть ли на сайте ошибки 404. Для этого нужно зайти в отчет «индекс», в подраздел «покрытие» и затем «ошибка».
Рисунок 6. Google Search Console — Отчет об индексировании — Покрытие
Напротив каждой ошибки указывается дата сканирования в последний раз. Для более детального изучения причин появления ошибки, необходимо напротив URL кликнуть «Проверить URL».
Рисунок 7. Search Console — Покрытие — Ошибка — Проверить URL
Из справки Search Console понятно, что ошибки 404 Not found могут относиться к двум разным группам, исходя из того, как их нашел поисковый робот:
Отправленный URL не найден (ошибка 404)
Отображается, когда файл Sitemap.xml содержит запрашиваемый URL, и его индексация разрешена в Robots.txt. Другими словами, клиент с разрешения индексации послал запрос на обработку страницы, но сервер не нашел ее. Тогда в отчете мы сможем увидеть, где была обнаружена ошибка.

Пример:
Рисунок 8. Указан источник обнаружения 404 ошибки, отчет “Отправленный URL не найден”
Не найдено (404)
Встречается, когда робот самостоятельно нашел битую ссылку, независимо от информации в Sitemap. Чаще всего это случается при переходе поисковым роботом по ссылке с другого сайта. В таком случае источник обнаружения ошибки в отчете не указан.

Пример:
Рисунок 9. Источник обнаружения 404 ошибки скрыт, отчет «Не найдено (404)»
Данные сканеры удобны, когда проводится технический экспресс-аудит сайта. Программа ищет все ссылки с кодом ответа 404, указывает их источники и анкоры. Все данные можно выгрузить в таблицу.

Общие рекомендации, как устранить 404 ошибку

Для этого рекомендуем:
1
Определить источник Error 404, где размещены мертвые ссылки. Для этого можно воспользоваться любой программой для сканирования сайтов на ошибки.
2
Отфильтровать все url-адреса по коду 404. Получаем список всех ошибок с внутренними ссылками на такие страницы. Желательно сравнить результат сканирования с результатами в Google Search Console.
3
Битые ссылки, ведущие на страницы с кодом 404, удалить либо заменить на правильные. Также ненужные страницы с ошибкой нужно удалить из файла Sitemap.xml. В противном случае они продолжат сканироваться поисковым роботом.
4
Если вы нашли Soft 404 ошибки, настройте для таких страниц код ответа 404. Также обновите ссылки в файле Sitemap.xml.
Пример отображения данных в Google Search Console после устранения 404 ошибок:
Рисунок 13. Устранение 404 ошибок

Как сократить количество 404 ошибок

Пример отображения данных в Google Search Console после устранения 404 ошибок:

1 вариант: когда изменился принцип формирования ссылочной массы.
1
Настроить 301 редирект с неактуальных страниц на нужные.
2
Обновить список адресов в файле Sitemap.xml.
3
Обновить необходимые внутренние ссылки на сайте.
2 вариант: когда товары на странице долго отсутствуют либо никогда больше не появятся.

В данном случае нет единого правильного решения. Чаще всего используются три подхода:
1
Настройка http-кода 404
Установка кода 404 или 410 для страниц с товарами, которых уже нет в наличии, может привести к потере позиций по данным запросам, что ведет к уменьшению продаж. К тому же, внешняя обратная ссылочная масса, ведущая на эти страницы, будет потеряна.

Решение: как можно дольше не настраивать код 404. Даже если товара нет в наличии, страница будет ранжироваться и приводить трафик на сайт. Вместо закончившегося товара можно предложить пользователям другие похожие товары.

Последовательность настройки может быть стакой:
1
В первый год страница индексируется, страница отдает код 200 ОК.
2
На второй год URL удаляется из файла Sitemap, из списка товаров, панели фильтров. Однако страница доступна по прямому адресу, и сервер возвращает ответ 200.
3
На третий год по данному адресу устанавливается код 404 или 410, удаляются ссылки, ведущие на эту страницу.
Периодичность приведена условная. Главное — получить как можно больше трафика на сайт и сохранить ранжирование популярной страницы.
1
Настройка http-кода 301 на главную страницу
Нужно понимать, что редирект на нерелевантную страницу может привести к появлению ложных ошибок (Soft 404), которые вводят в заблуждение и поискового робота, и пользователей. Потому как, согласно требованиям поисковой системы, 301 редирект должен перенаправлять на страницу с аналогичным контентом. В дальнейшем это может плохо повлиять на ранжирование сайта.
1
Настройка http-кода 301 на страницу с похожим контентом
Это самый безопасный способ сохранить позиции сайта в выдаче, не потерять обратные внешние ссылки. К тому же, перенаправление пользователей на страницу с похожими товарами не вызовет раздражения у пользователей и более вероятно приведет к покупке. Настроив редирект, важно обновить адреса в файле Sitemap и перенаправить внутренние ссылки.
3 вариант: когда товары на сайте отсутствуют временно.

Если товар часто исчезает и появляется на сайте, крайне не рекомендуется устанавливать код ошибки 404 или редирект 301, 302. Возобновление позиций в рейтинге поисковых систем происходит долго, при этом компания будет терять деньги за счет маленького количества переходов по этому запросу.

В этом случае лучше оптимизировать эту страницу, например:
1
возле каждого товара установить пометку "в наличии" (In Stock);
2
показывать отсутствующие товары в конце списка в листинге;
3
предлагать похожие товары.
Рисунок 14. Разметка структурированных данных
4 вариант. Когда страницы нужно удалить.

Кроме страниц с устаревшим контентом, есть множество других, которые периодически нужно удалять из индекса. Это могут быть страницы, не приносящие посещений на сайт, сервисные, генерируемые CMS.

Последовательность настройки удаленных страниц такова:
1
Для всех URL'ов настроить код 404 Not found.
2
Удалить старые адреса из списка файлов Sitemap.xml.
3
Почистить внутренние ссылки, которые вели на удаленную страницу.

Как представить страницу 404 (Not found) для посетителей

Увидев страницу с ошибкой, пользователь может немедленно покинуть сайт либо остаться и продолжить изучение контента. Все зависит от правильной оптимизации страницы, главная цель которой — удержать посетителя на сайте.

Что включает в себя правильная оптимизация страницы 404:
1
После запроса клиента, сервер возвращает ошибку 404.
2
На странице языком, понятным для пользователя, описывается, что произошла ошибка. По сути, пользователь вообще не должен видеть код 404. Просто этот ответ так часто попадается, что его запомнили даже те, кто далек от программирования.
3
Дизайн страницы должен быть похож на дизайн всего сайта.
4
Страница 404 обязательно содержит навигацию: переход на главную страницу, другие разделы сайта.
5
На странице имеется окно поиска по сайту.
6
Указаны контакты: телефон, электронный адрес или окно для обращения, если это необходимо.
Но также важно не перегрузить страницу информацией, чтобы человек сразу понял, что попал на несуществующую страницу и не терял времени.

Варианты оригинального оформления страниц 404:

Яркая страница у Sportmaster:
Но также важно не перегрузить страницу информацией, чтобы человек сразу понял, что попал на несуществующую страницу и не терял времени.

Варианты оригинального оформления страниц 404:

Яркая страница у Sportmaster:
Рисунок 15. 404 страница sportmaster.ua
404 страница Intertop.ua выдержана в тематике интернет-магазина:
Рисунок 16. 404 страница Intertop.ua
Tripadvisor объясняет не найденную страницу как «кажется, у этой страницы отпуск…» и предлагает посетителю тоже отдохнуть:
Рисунок 17. 404 страница tripadvisor.ru
У Pokupon.ua солнечное сообщение о 404 ошибке на фоне плывущих облаков:
Рисунок 18. 404 страница pokupon.ua
На 404 странице ТМ Ласунка супер герой шарик мороженого предлагает провести заблудившегося пользователя:
Рисунок 19. 404 страница lasunka.com

Выводы

Вопреки распространенному мнению, страницы с кодом 404 не влияют на ранжирование сайта. Однако внешние и внутренние ссылки, ведущие на эти страницы в большом количестве, могут способствовать потере позиций в выдаче. К тому же, неправильно оформленная страница 404 создает негативный опыт пользователя, что приводит к потере трафика.

Постройте правильный алгоритм оптимизации страницы, сделайте ее привлекательной для пользователя. Это поможет удержать позиции сайта в выдаче и сохранить прибыль компании.
Задавайте вопросы в комментариях или пишите в техподдержку.:) А также вступайте в чат любителей Серпстатить и подписывайтесь на наш канал в Telegram.

Сэкономьте время на изучении Serpstat

Хотите получить персональную демонстрацию сервиса, тестовый период или эффективные кейсы использования Serpstat?

Оставьте заявку и мы свяжемся с вами ;)

Оцените статью по 5-бальной шкале

4.45 из 5 на основе 28 оценок
Нашли ошибку? Выделите её и нажмите Ctrl + Enter, чтобы сообщить нам.

Поделитесь статьей с вашими друзьями

Войти Регистрация

Вы исчерпали лимит запросов.

Или email
Забыли пароль?
Или email
Optional
Back To Login

Не волнуйтесь! Напишите свой электронный адрес и мы пришлем вам новый пароль.

Вы уверены?

Awesome!

To complete your registration you need to enter your phone number

Назад

Мы отправили код подтверждения на ваш номер телефона

Your phone Resend code Осталось запросов

Что-то пошло не так.

Свяжитесь с нашей службой поддержки
Или подтвердите регистрацию с помощью Телеграм бота Перейдите по этой ссылке
Выберите один из проектов

Знакомство с сервисом

Ознакомьтесь с основными возможностями Serpstat удобным способом!

Отправьте заявку для ознакомления с сервисом и мы свяжемся с вами в кратчайшие сроки. Наш специалист предложит подходящий вариант, который может включать персональную демонстрацию, пробный период, материалы для обучения и повышения экспертизы, личную консультацию, а также комфортные условия для начала работы с Serpstat.

Имя

Email

Телефон

Будем рады вашему комментарию
Увеличить лимиты

Улучшить тариф

Экспорт недоступен для вашего тарифного плана. Вам необходимо улучшить свой тариф до Lite или выше, чтобы получить доступ к инструменту Подробнее

Зарегистрироваться

Спасибо, мы с вами свяжемся в ближайшее время

Пригласить
Просмотр Редактирование

E-mail
Сообщение
необязательно
E-mail
Сообщение
необязательно

У вас закончились лимиты

Вы достигли лимита на количество созданных проектов и больше не можете создавать новые проекты. Увеличьте лимиты или удалите существующие проекты.

Я хочу больше лимитов