21056 8
SEO Читать 19 минут

404 ошибка: почему возникает и как ее устранить

404 ошибка: найти и обезвредить
Екатерина Киясова
Екатерина Киясова
SEO-специалист в агентстве ADINDEX
Страница с ошибкой 404 является одной из самых распространенных проблем, с которой сталкиваются посетители различных сайтов. Их наличие негативно влияет не только на поведенческие факторы сайта, но и может отрицательно влиять на рейтинг всего сайта, поэтому очень важен поиск битых ссылок и их устранение.

Почему возникает 404 ошибка, как вовремя ее найти, какую роль она играет в SEO, как осуществляется проверка битых ссылок на сайте — рассказывает ведущий SEO-специалист в компании ADINDEX, Екатерина Киясова.

Что такое 404 ошибка

Простыми словами ошибка 404 — это HTTP-код сервера, который сообщает, что нужная страница не найдена.
Пример ошибки 404
Пример 404 ошибки на сайте ikea.com
Механизм передачи информации между браузером (клиентом) и сервером таков:
1
Пользователь вручную вбивает URL-адрес страницы в строку браузера или переходит по внешней ссылке.
2
На сервер отправляется сетевой запрос, где открывается новая сессия.
3
В качестве ответа сервер отправляет HTML-страницу с HTTP-кодом. Если страница с данным адресом существует, сервер возвращает код 200 — ОК. К примеру, если сейчас вы читаете эту статью, значит сервер нашел запрашиваемую страницу.
4
Если браузер установил соединение с сервером, но нужной страницы на нем нет, на экране появится HTML-страница с кодом 404.
В случае, когда сайт не загружается вовсе, т.е. возникает ошибка сервера, показывается ошибка 5**. Однако обычный пользователь не знает, в чем разница ошибок 4** и 5**. Он уходит с сайта и может никогда не вернуться, думая, что сайт не работает.

Ссылки на страницу с ошибкой 404 часто называют «битыми», «сломанными», «мертвыми». А HTTP-ответ сервера 404 — «код 404», «ответ 404», «HTTP 404». Далее рассмотрим почему ошибка 404 Not found может возникнуть и как найти битые ссылки на сайте.

Как битые ссылки появляются на сайтах?

страницу удалили;
страницу перенесли на другой адрес, но адрес не обновили;
при вводе URL-адреса пользователем допущена синтаксическая ошибка.
В проектах наших клиентов наиболее часто встречающаяся ошибка 404 связана с удалением или изменением URL-адреса страниц. Так, при аудите сайта одного клиента для запрашиваемых страниц обнаружили большое количество страниц с ответом «Not Found».

Причина была в том, что контент-менеджер удалил страницы с товарами, которых нет в наличии. В результате сайт частично потерял обратную ссылочную массу, так как на удаленные страницы вели внешние ссылки.
Выявление 404 ошибок в динамике
Динамика 404 ошибок

Какую роль в SEO играют 404 ошибки

Как Google относится к 404?

Поисковая система не считает такие ошибки существенными. Из Cправки Google:
Обычно ошибки 404 не влияют на эффективность сайта в Google Поиске. Вы можете смело игнорировать их, если они точно относятся к URL, которых не должно быть на вашем сайте. Важно, чтобы при переходе по всем недействительным URL возвращался верный код ответа HTTP (404) и чтобы доступ к ним не был заблокирован в файле robots.txt.
— Справка Google
Но на практике оказывается, что в некоторых случаях такие ошибки негативно влияют на продвижение сайта. Суть в том, что не столько страницы с 404 ошибкой влияют на SEO, сколько появление битых ссылок, ведущих на эти страницы.

Проблемой является именно наличие битых ссылок. Для поисковой системы большое количество битых линков говорит о проблемах с качеством сайта. Это приводит к ухудшению индексации и потере позиций в выдаче.

Кроме того, создается искаженная картина поведения пользователя на сайте: уменьшается время взаимодействия с сайтом, растет показатель отказов, может произойти отток посетителей.

Большое количество неработающих ссылок будет «съедать» краулинговый бюджет. Вместо того чтобы сканировать только нужные страницы, поисковый робот будет выполнять бессмысленную работу и краулить страницы, которые отдают код 404. Поэтому для оптимизации сайта так важно удалить битые ссылки.
Нет ссылок на страницу с ошибкой 404 — нет ошибки 404.
Хотите найти технические ошибки на сайте, включая битые страницы на сайте? Используйте инструмент «Аудит сайта». Если хотите получить персональную консультацию по использованию инструмента и его API, оставляйте заявку и наш менеджер вам все расскажет.

Что такое Soft 404 ошибки?

Soft 404 ошибка, или ложная ошибка бывает только в поисковых системах Google. Она не является официальным кодом сервера, она — лишь пометка, так сказать, «для себя». Ошибка возникает, когда страница не существует, но сервер возвращает код ответа 200 ОК.

У этого явления может быть несколько причин:
1
На странице нет или очень мало контента. Также причиной может быть наличие ресурсов (изображения, скрипты), которые не удается обработать поисковому роботу. Например, из-за того, что в Robots.txt к ним закрыт доступ, или сканирование ресурсов займет больше времени, чем нужно.
2
С удаленной страницы установлена переадресация на страницу, которая не релевантна по содержанию.
3
Сервер работает неправильно: для несуществующих страниц возвращается другой код.
Если с сервера возвращается ответ 200 ОК, страница будет сканироваться и может попасть в список результатов поиска. Следовательно, ошибка вводит в заблуждение пользователей и поисковые системы. Soft error 404 негативно влияет на рейтинг сайта в выдаче и напрасно использует ресурс краулера.

3 варианта проверки HTTP-кода сервера

1
С помощью браузера
В Google Chrome без сторонних инструментов можно проверить код ответа страницы. Для этого нужно:
перейти на страницу сайта;
нажать F12 на клавиатуре либо кликнуть правой кнопкой мыши в любой точке экрана;
выбрать «проверить код» либо «inspect»;
перейти во вкладку «Network» и обновить страницу (F5);
в столбце «Status» появится список кодов состояния для всех ресурсов, которые загружаются по этому адресу (документы, изображения и т.д.). Самый первый код в этом списке — это код запрашиваемого вами URL'а.
Google Chrome Inspector
Проверка кода сервера в Google Chrome
2
С помощью сайта https://httpstatus.io/.
Здесь можно проверить статус-код запрашиваемого URL'а. Можно просканировать до 100 URL'ов.
Проверка httpstatus.io
Проверка ответа сервера в httpstatus.io
3
С помощью расширения Redirect Path для Chrome.
Google Chrome предлагает установить бесплатный плагин, который показывает HTTP-коды 301, 302, 404 и 500 и JavaScript редирект.
Проверка http-кода плагином
Проверка http-кода с помощью плагина Adindex

4 инструмента проверки ошибки 404 Not Found

Для работы с кодом 404 существует множество инструментов. Приведем несколько самых популярных сервисов проверки, которыми мы пользуемся каждый день, чтобы выявить и исправить битые ссылки.
1
Serpstat.com
С помощью сервиса можно быстро выполнить технический аудит любого проекта. Программа парсит сайт, выдает список ошибок, устанавливает приоритет (высокий, средний, низкий) и предлагает способы устранения. Можно также провести аудит одной страницы.

Чтобы провести мониторинг сайта на наличие нерабочих ссылок, достаточно просто создать проект:
Произвести простые настройки и немного подождать, пока сервис проверит ресурс:
Видим все 404 ошибки:
К примеру, при парсинге иностранного проекта программа выдала большое количество ошибок 404:
404 ошибки Serpstat.com
Количество обнаруженных 404 ошибок
Причиной стало изменение принципа формирования ссылок на ресурсы, однако на поддоменах url-адреса остались старыми.
Хотите узнать, как с помощью Serpstat найти и исправить технические ошибки на сайте?
Оставьте заявку и наши специалисты проконсультируют вас по продвижению вашего проекта, поделятся учебными материалами и инсайтами рынка!
Хотите узнать, как с помощью Serpstat найти ошибки на сайте, мешающие ранжированию?

Заказывайте бесплатную персональную демонстрацию сервиса, и наши специалисты вам все расскажут! ;)
2
Google Search Console
Инструмент для веб-мастеров позволяет проверить, есть ли на сайте ошибки 404. Для этого нужно зайти в отчет «индекс», в подраздел «покрытие» и затем «ошибка».
Google Search Console — Отчет об индексировании — Покрытие
404 ошибки в Google Search Console
Напротив каждой ошибки указывается дата сканирования в последний раз. Для более детального изучения причин появления ошибки, необходимо напротив URL кликнуть «Проверить URL».
Search Console — Покрытие — Ошибка — Проверить URL
Проверка страниц с ошибками
Из справки Search Console понятно, что ошибки 404 Not found могут относиться к двум разным группам, исходя из того, как их нашел поисковый робот:
Отправленный URL не найден (ошибка 404)
Отображается, когда файл Sitemap.xml содержит запрашиваемый URL, и его индексация разрешена в Robots.txt. Другими словами, клиент с разрешения индексации послал запрос на обработку страницы, но сервер не нашел ее. Тогда в отчете мы сможем увидеть, где была обнаружена ошибка.

Пример:
Источник 404 ошибки в Search Console
Указан источник обнаружения 404 ошибки, отчет "Отправленный URL не найден"
Не найдено (404)
Встречается, когда робот самостоятельно нашел битую ссылку, независимо от информации в Sitemap. Чаще всего это случается при переходе поисковым роботом по ссылке с другого сайта. В таком случае источник обнаружения ошибки в отчете не указан.

Пример:
Источник обнаружения 404 ошибки скрыт, отчет «Не найдено (404)»
Битая ссылка обнаружена роботом самостоятельно
Данные сканеры удобны, когда проводится технический экспресс-аудит сайта. Программа ищет все ссылки с кодом ответа 404, указывает их источники и анкоры. Все данные можно выгрузить в таблицу.
4
Яндекс.Вебмастер
Чтобы узнать список страниц с 404 ошибкой в Яндекс.Вебмастере, перейдите в раздел «Индексирование» → «Страницы в поиске».
Раздел Страницы в поиске Яндекс Вебмастера
Перейдите в «Страницы в поиске»
Затем выберите «Исключенные» и укажите статус «Ошибка HTTP: 404».
Просмотр 404 страниц в Яндекс Вебмастере
Отфильтруйте исключенные страницы

Общие рекомендации, как устранить 404 ошибку

Для этого рекомендуем:
1
Определить источник Error 404, где размещены мертвые ссылки. Для этого можно воспользоваться любой программой для сканирования сайтов на ошибки.
2
Отфильтровать все url-адреса по коду 404. Получаем список всех ошибок с внутренними ссылками на такие страницы. Желательно сравнить результат сканирования с результатами в Google Search Console.
3
Битые ссылки, ведущие на страницы с кодом 404, удалить либо заменить на правильные. Также ненужные страницы с ошибкой нужно удалить из файла Sitemap.xml. В противном случае они продолжат сканироваться поисковым роботом.
4
Если вы нашли Soft 404 ошибки, настройте для таких страниц код ответа 404. Также обновите ссылки в файле Sitemap.xml.
Пример отображения данных в Google Search Console после устранения 404 ошибок:
Устранение 404 ошибок
Отсутствие 404 ошибок в Search Console

Как сократить количество 404 ошибок

Пример отображения данных в Google Search Console после устранения 404 ошибок:

1 вариант: когда изменился принцип формирования ссылочной массы.
1
Настроить 301 редирект с неактуальных страниц на нужные.
2
Обновить список адресов в файле Sitemap.xml.
3
Обновить необходимые внутренние ссылки на сайте.
2 вариант: когда товары на странице долго отсутствуют либо никогда больше не появятся.

В данном случае нет единого правильного решения. Чаще всего используются три подхода:
1
Настройка http-кода 404
Установка кода 404 или 410 для страниц с товарами, которых уже нет в наличии, может привести к потере позиций по данным запросам, что ведет к уменьшению продаж. К тому же, внешняя обратная ссылочная масса, ведущая на эти страницы, будет потеряна.

Решение: как можно дольше не настраивать код 404. Даже если товара нет в наличии, страница будет ранжироваться и приводить трафик на сайт. Вместо закончившегося товара можно предложить пользователям другие похожие товары.

Последовательность настройки может быть стакой:
1
В первый год страница индексируется, страница отдает код 200 ОК.
2
На второй год URL удаляется из файла Sitemap, из списка товаров, панели фильтров. Однако страница доступна по прямому адресу, и сервер возвращает ответ 200.
3
На третий год по данному адресу устанавливается код 404 или 410, удаляются ссылки, ведущие на эту страницу.
Периодичность приведена условная. Главное — получить как можно больше трафика на сайт и сохранить ранжирование популярной страницы.
1
Настройка http-кода 301 на главную страницу
Нужно понимать, что редирект на нерелевантную страницу может привести к появлению ложных ошибок (Soft 404), которые вводят в заблуждение и поискового робота, и пользователей. Потому как, согласно требованиям поисковой системы, 301 редирект должен перенаправлять на страницу с аналогичным контентом. В дальнейшем это может плохо повлиять на ранжирование сайта.
1
Настройка http-кода 301 на страницу с похожим контентом
Это самый безопасный способ сохранить позиции сайта в выдаче, не потерять обратные внешние ссылки. К тому же, перенаправление пользователей на страницу с похожими товарами не вызовет раздражения у пользователей и более вероятно приведет к покупке. Настроив редирект, важно обновить адреса в файле Sitemap и перенаправить внутренние ссылки.
3 вариант: когда товары на сайте отсутствуют временно.

Если товар часто исчезает и появляется на сайте, крайне не рекомендуется устанавливать код ошибки 404 или редирект 301, 302. Возобновление позиций в рейтинге поисковых систем происходит долго, при этом компания будет терять деньги за счет маленького количества переходов по этому запросу.

В этом случае лучше оптимизировать эту страницу, например:
1
возле каждого товара установить пометку "в наличии" (In Stock);
2
показывать отсутствующие товары в конце списка в листинге;
3
предлагать похожие товары.
Разметка структурированных данных
Указание наличия товара с помощью разметки
4 вариант. Когда страницы нужно удалить.

Кроме страниц с устаревшим контентом, есть множество других, которые периодически нужно удалять из индекса. Это могут быть страницы, не приносящие посещений на сайт, сервисные, генерируемые CMS.

Последовательность настройки удаленных страниц такова:
1
Для всех URL'ов настроить код 404 Not found.
2
Удалить старые адреса из списка файлов Sitemap.xml.
3
Почистить внутренние ссылки, которые вели на удаленную страницу.

Как представить страницу 404 (Not found) для посетителей

Увидев страницу с ошибкой, пользователь может немедленно покинуть сайт либо остаться и продолжить изучение контента. Все зависит от правильной внутренней оптимизации страницы, главная цель которой — удержать посетителя на сайте.

Что включает в себя правильная оптимизация страницы 404:
1
После запроса клиента, сервер возвращает ошибку 404.
2
На странице языком, понятным для пользователя, описывается, что произошла ошибка. По сути, пользователь вообще не должен видеть код 404. Просто этот ответ так часто попадается, что его запомнили даже те, кто далек от программирования.
3
Дизайн страницы должен быть похож на дизайн всего сайта.
4
Страница 404 обязательно содержит навигацию: переход на главную страницу, другие разделы сайта.
5
На странице имеется окно поиска по сайту.
6
Указаны контакты: телефон, электронный адрес или окно для обращения, если это необходимо.
Но также важно не перегрузить страницу информацией, чтобы человек сразу понял, что попал на несуществующую страницу и не терял времени.

Варианты оригинального оформления страниц 404:

Яркая страница у Sportmaster:
404 страница sportmaster.ua
404 страница на sportmaster.ua
404 страница Intertop.ua выдержана в тематике интернет-магазина:
404 страница Intertop.ua
404 страница на Intertop.ua
Tripadvisor объясняет не найденную страницу как «кажется, у этой страницы отпуск…» и предлагает посетителю тоже отдохнуть:
404 страница tripadvisor.ru
404 страница на tripadvisor.ru
У Pokupon.ua солнечное сообщение о 404 ошибке на фоне плывущих облаков:
404 страница pokupon.ua
404 страница на pokupon.ua
На 404 странице ТМ Ласунка супер герой шарик мороженого предлагает провести заблудившегося пользователя:
404 страница lasunka.com
404 страница на lasunka.com
FAQ

Как влияет битая ссылка на сайт?

Битые ссылки вызывают негативный пользовательский опыт и ухудшают поведенческие факторы сайта. Большое количество битых ссылок является для поисковых систем сигналом о низком качестве ресурса и ухудшает ранжирование проекта. Для успешного продвижения сайта необходимо вовремя находить и удалять битые ссылки.

Как появляются битые ссылки?

Битые ссылки могут возникнуть по нескольким причинам: при удалении какой-либо страницы, на которую ведет ссылка; при переезде страницы на новый адрес без настройки редиректа; при ошибке в линке.

Выводы

Вопреки распространенному мнению, страницы с кодом 404 не влияют на ранжирование сайта. Однако внешние и внутренние ссылки, ведущие на эти страницы в большом количестве, могут способствовать потере позиций в выдаче. К тому же, неправильно оформленная страница 404 создает негативный опыт пользователя, что приводит к потере трафика.

Постройте правильный алгоритм оптимизации страницы, сделайте ее привлекательной для пользователя. Это поможет удержать позиции сайта в выдаче и сохранить прибыль компании.
Задавайте вопросы в комментариях или пишите в техподдержку.:) А также вступайте в чат любителей Серпстатить и подписывайтесь на наш канал в Telegram.

Сэкономьте время на изучении Serpstat

Хотите получить персональную демонстрацию сервиса, тестовый период или эффективные кейсы использования Serpstat?

Оставьте заявку и мы свяжемся с вами ;)

Оцените статью по 5-бальной шкале

4.53 из 5 на основе 36 оценок
Нашли ошибку? Выделите её и нажмите Ctrl + Enter, чтобы сообщить нам.

Поделитесь статьей с вашими друзьями

Вы уверены?

Знакомство с Serpstat

Узнайте об основных возможностях сервиса удобным способом!

Отправьте заявку и наш специалист предложит вам варианты обучения: персональную демонстрацию, пробный период или материалы для самостоятельного изучения и повышения экспертизы. Все для комфортного начала работы с Serpstat.

Имя

Email

Телефон

Будем рады вашему комментарию
Я принимаю условия Политики конфиденциальности.

Спасибо, мы сохранили ваши новые настройки рассылок.

Сообщить об ошибке

Отменить

Мы используем файлы cookie для обеспечения работоспособности сервиса, улучшения навигации и маркетинговых активностей Serpstat. Нажимая "Принять и продолжить", вы соглашаетесь с нашей Политика конфиденциальности

Открыть чат технической поддержки
mail pocket flipboard Messenger telegramm