404 ошибка: почему возникает и как ее устранить

Простыми словами ошибка 404 — это HTTP-код сервера, который сообщает, что нужная страница не найдена.

Механизм передачи информации между браузером (клиентом) и сервером таков:

В случае, когда сайт не загружается вовсе, т.е. возникает ошибка сервера, показывается ошибка 5**. Однако обычный пользователь не знает, в чем разница ошибок 4** и 5**. Он уходит с сайта и может никогда не вернуться, думая, что сайт не работает.

Ссылки на страницу с ошибкой 404 часто называют «битыми», «сломанными», «мертвыми». А HTTP-ответ сервера 404 — «код 404», «ответ 404», «HTTP 404». Далее рассмотрим почему ошибка 404 Not found может возникнуть и как найти битые ссылки на сайте.

В проектах наших клиентов наиболее часто встречающаяся ошибка 404 связана с удалением или изменением URL-адреса страниц. Так, при аудите сайта одного клиента для запрашиваемых страниц обнаружили большое количество страниц с ответом «Not Found».

Причина была в том, что контент-менеджер удалил страницы с товарами, которых нет в наличии. В результате сайт частично потерял обратную ссылочную массу, так как на удаленные страницы вели внешние ссылки.

Поисковая система не считает такие ошибки существенными. Из Cправки Google:

Но на практике оказывается, что в некоторых случаях такие ошибки негативно влияют на продвижение сайта. Суть в том, что не столько страницы с 404 ошибкой влияют на SEO, сколько появление битых ссылок, ведущих на эти страницы.

Проблемой является именно наличие битых ссылок. Для поисковой системы большое количество битых линков говорит о проблемах с качеством сайта. Это приводит к ухудшению индексации и потере позиций в выдаче.

Кроме того, создается искаженная картина поведения пользователя на сайте: уменьшается время взаимодействия с сайтом, растет показатель отказов, может произойти отток посетителей.

Большое количество неработающих ссылок будет «съедать» краулинговый бюджет. Вместо того чтобы сканировать только нужные страницы, поисковый робот будет выполнять бессмысленную работу и краулить страницы, которые отдают код 404. Поэтому для оптимизации сайта так важно удалить битые ссылки.

Soft 404 ошибка, или ложная ошибка бывает только в поисковых системах Google. Она не является официальным кодом сервера, она — лишь пометка, так сказать, «для себя». Ошибка возникает, когда страница не существует, но сервер возвращает код ответа 200 ОК.

У этого явления может быть несколько причин:

Если с сервера возвращается ответ 200 ОК, страница будет сканироваться и может попасть в список результатов поиска. Следовательно, ошибка вводит в заблуждение пользователей и поисковые системы. Soft error 404 негативно влияет на рейтинг сайта в выдаче и напрасно использует ресурс краулера.

В Google Chrome без сторонних инструментов можно проверить код ответа страницы. Для этого нужно:

Здесь можно проверить статус-код запрашиваемого URL'а. Можно просканировать до 100 URL'ов.

Google Chrome предлагает установить бесплатный плагин, который показывает HTTP-коды 301, 302, 404 и 500 и JavaScript редирект.

Для работы с кодом 404 существует множество инструментов. Приведем несколько самых популярных сервисов проверки, которыми мы пользуемся каждый день, чтобы выявить и исправить битые ссылки.

С помощью сервиса можно быстро выполнить технический аудит любого проекта. Программа парсит сайт, выдает список ошибок, устанавливает приоритет (высокий, средний, низкий) и предлагает способы устранения. Можно также провести аудит одной страницы.

Чтобы провести мониторинг сайта на наличие нерабочих ссылок, достаточно просто создать проект:

Произвести простые настройки и немного подождать, пока сервис проверит ресурс:

Видим все 404 ошибки:

К примеру, при парсинге иностранного проекта программа выдала большое количество ошибок 404:

Причиной стало изменение принципа формирования ссылок на ресурсы, однако на поддоменах url-адреса остались старыми.

Инструмент для веб-мастеров позволяет проверить, есть ли на сайте ошибки 404. Для этого нужно зайти в отчет «индекс», в подраздел «покрытие» и затем «ошибка».

Напротив каждой ошибки указывается дата сканирования в последний раз. Для более детального изучения причин появления ошибки, необходимо напротив URL кликнуть «Проверить URL».

Из справки Search Console понятно, что ошибки 404 Not found могут относиться к двум разным группам, исходя из того, как их нашел поисковый робот:

Данные сканеры удобны, когда проводится технический экспресс-аудит сайта. Программа ищет все ссылки с кодом ответа 404, указывает их источники и анкоры. Все данные можно выгрузить в таблицу.

Чтобы узнать список страниц с 404 ошибкой в Яндекс.Вебмастере, перейдите в раздел «Индексирование» → «Страницы в поиске».

Затем выберите «Исключенные» и укажите статус «Ошибка HTTP: 404».

Для этого рекомендуем:

Пример отображения данных в Google Search Console после устранения 404 ошибок:

Пример отображения данных в Google Search Console после устранения 404 ошибок:

1 вариант: когда изменился принцип формирования ссылочной массы.

2 вариант: когда товары на странице долго отсутствуют либо никогда больше не появятся.

В данном случае нет единого правильного решения. Чаще всего используются три подхода:

Установка кода 404 или 410 для страниц с товарами, которых уже нет в наличии, может привести к потере позиций по данным запросам, что ведет к уменьшению продаж. К тому же, внешняя обратная ссылочная масса, ведущая на эти страницы, будет потеряна.

Решение: как можно дольше не настраивать код 404. Даже если товара нет в наличии, страница будет ранжироваться и приводить трафик на сайт. Вместо закончившегося товара можно предложить пользователям другие похожие товары.

Последовательность настройки может быть стакой:

Периодичность приведена условная. Главное — получить как можно больше трафика на сайт и сохранить ранжирование популярной страницы.

Нужно понимать, что редирект на нерелевантную страницу может привести к появлению ложных ошибок (Soft 404), которые вводят в заблуждение и поискового робота, и пользователей. Потому как, согласно требованиям поисковой системы, 301 редирект должен перенаправлять на страницу с аналогичным контентом. В дальнейшем это может плохо повлиять на ранжирование сайта.

Это самый безопасный способ сохранить позиции сайта в выдаче, не потерять обратные внешние ссылки. К тому же, перенаправление пользователей на страницу с похожими товарами не вызовет раздражения у пользователей и более вероятно приведет к покупке. Настроив редирект, важно обновить адреса в файле Sitemap и перенаправить внутренние ссылки.

3 вариант: когда товары на сайте отсутствуют временно.

Если товар часто исчезает и появляется на сайте, крайне не рекомендуется устанавливать код ошибки 404 или редирект 301, 302. Возобновление позиций в рейтинге поисковых систем происходит долго, при этом компания будет терять деньги за счет маленького количества переходов по этому запросу.

В этом случае лучше оптимизировать эту страницу, например:

4 вариант. Когда страницы нужно удалить.

Кроме страниц с устаревшим контентом, есть множество других, которые периодически нужно удалять из индекса. Это могут быть страницы, не приносящие посещений на сайт, сервисные, генерируемые CMS.

Последовательность настройки удаленных страниц такова:

Увидев страницу с ошибкой, пользователь может немедленно покинуть сайт либо остаться и продолжить изучение контента. Все зависит от правильной внутренней оптимизации страницы, главная цель которой — удержать посетителя на сайте.

Что включает в себя правильная оптимизация страницы 404:

Но также важно не перегрузить страницу информацией, чтобы человек сразу понял, что попал на несуществующую страницу и не терял времени.

Варианты оригинального оформления страниц 404:

Яркая страница у Sportmaster:

404 страница Intertop.ua выдержана в тематике интернет-магазина:

Tripadvisor объясняет не найденную страницу как «кажется, у этой страницы отпуск…» и предлагает посетителю тоже отдохнуть:

У Pokupon.ua солнечное сообщение о 404 ошибке на фоне плывущих облаков:

На 404 странице ТМ Ласунка супер герой шарик мороженого предлагает провести заблудившегося пользователя:

Вопреки распространенному мнению, страницы с кодом 404 не влияют на ранжирование сайта. Однако внешние и внутренние ссылки, ведущие на эти страницы в большом количестве, могут способствовать потере позиций в выдаче. К тому же, неправильно оформленная страница 404 создает негативный опыт пользователя, что приводит к потере трафика.

Постройте правильный алгоритм оптимизации страницы, сделайте ее привлекательной для пользователя. Это поможет удержать позиции сайта в выдаче и сохранить прибыль компании.