SEO	– Читать 17 минут

Основные ошибки в оптимизации сайта
и как их выявить

Фантастические ошибки сайта и где они обитают, иллюстрация

Анатолий Бондаренко

Team Lead of SEO Team at Netpeak

При оптимизации сайтов многие новички часто допускают технические ошибки, которые не позволяют эффективно продвинуть проект. Как результат — некоторые страницы не индексируются в поисковых системах или того хуже — сайт полностью попадает под фильтр.

Содержание:

Что должно быть в robots.txt?
Как закрыть страницу от поисковых систем?
Какими бывают ошибки при составлении файла robots.txt?

Проверьте редиректы главной страницы
Проверьте, как поведет себя страница, если убрать слеш в конце
Поищите внутренние ссылки с несколькими слешами в конце
Проверьте редирект со старых доменов и страниц

Технология SEOHide
Тег nofollow для ссылки

Как найти ссылки на несуществующие страницы?
Как оформить несуществующую страницу?
Как проверить какой код отдают несуществующие страницы?

Открываем для сканирования и индексации страницы пагинации
Настраиваем meta robots для Яндекса

Как искать дубли страниц?
Как бороться с дублями?

Нет подпукнтов ;)

А вот и конец ;)

Чтобы этого не произошло, нужно быстро находить и устранять такие ошибки. Как именно это сделать, на что обращать внимание и каким шагам следовать на примере сервиса Serpstat расскажет Толя Бондаренко — SEO-специалист из Netpeak.

Ну что ж, не буду вас томить, начнем ;)

Проверяем файл robots.txt

Robots.txt — это файл-рекомендация для роботов поисковых систем, который должен указывать, что нужно сканировать, а что нельзя. Находится он по адресу site.com/robots.txt (вместо site.com впишите название любого сайта).

Запомните, robots.txt — это всего лишь рекомендация, то есть поисковые системы могут игнорировать его — сканировать запрещенные страницы. Тем не менее, файл все равно должен быть правильно составлен.

Что должно быть в robots.txt?

Советую включить в файл robots.txt для рабочего сайта следующее:

User-agent: *

Allow: /

Sitemap: http://site.com/sitemap/

А для тестового сайта вот что:

User-agent: *

Disallow: /

Host: site.com

Разбираем:

User-agent: * — говорит о том, что последующие рекомендации относятся ко всем роботам поисковых систем. Я рекомендую писать именно так, потому что скрывать будем страницы с админ-панелью, с оплатой, корзину и т.д. через noindex.

Allow: / — говорит о том, что мы разрешили сканировать все!

Прописать robots.txt и оптимизация готова

Sitemap: http://site.com/sitemap/ — это путь к карте сайта.

Существует и еще одна распространенная директива "Disallow". Однако, я не рекомендую ее использовать для рабочих сайтов, потому что поисковая система часто ее игнорирует.

Как закрыть страницу от поисковых систем?

Чтобы закрыть страницы регистрации и другие ненужные страницы, используйте атрибут noindex. Он позволит вам убрать из индекса страницу при следующем посещении поискового робота и передать ссылочный вес страницы.

Чтобы закрыть страницу от индексации, используйте атрибут noindex между тегом <head>:

<meta name="robots" content="noindex"> — если нужно закрыть от всех роботов поисковых систем

<meta name="googlebot" content="noindex"> — если нужно закрыть только от робота Google. Однако с Google есть свои нюансы, подробно изучите их в официальной справке.

Также можно использовать технологию SEOHide для всех ссылок, которые ведут на страницы, которые не должен видеть робот. Немного подробней об этой технологии написано ниже.

Какими бывают ошибки при составлении файла robots.txt?

Вот вариант неправильного составления robots.txt:

User-agent: *

Disallow: /

Sitemap: http://site.com/sitemap/

В этом случае сайт будет полностью закрыт от сканирования.

И еще один пример:

User-agent: /

Allow: *

Sitemap: http://site.com/sitemap/

В данном случае ничего страшного не произойдет, но лучше придерживаться правильного синтаксиса.

Проверить корректность настройки файла robots.txt можно в сервисе Google Search Console:

Проверка файла robots.txt в Google Search Console

И в сервисе Яндекс.Вебмастер:

Самые распространенные SEO-ошибки на сайте: инфографика

Читать!

Смотрим редиректы

Редиректы — это способ перенаправления пользователей и поисковых систем c одного URL на другой. Бывают следующие варианты редиректов:

301 — передает около 90-99% ссылочного веса. Данный редирект указывает, что страница перемещена по новому адресу и старый url следует считать устаревшим. Чаще всего используют этот вариант редиректа для смены домена, редизайна и т.д.

302 — временный редирект. Раньше этот вариант редиректа не передавал Page Rank, но недавно появилась информация, что ссылочный вес тоже передается через 302 редирект.

Есть и другие редиректы, но они используются реже.

Что нужно смотреть:

Проверьте редиректы главной страницы

Для примера возьмем сайт https://www.olx.ua

Проверяем по следующей таблице:

Как видим, все варианты главной страницы перенаправляют на основную, так и должно быть.

Есть информация, что Google бот будет (если уже не делает так) сначала индексировать https версию сайта, затем все остальные. Поэтому советую учитывать это при выборе основного хоста.

Проверьте, как поведет себя страница, если убрать слеш в конце

Если страницы заканчиваются слешем "/", нужно обязательно проверить, как будет себя вести страница, если убрать его.

Если страница со слешем не перенаправляет на ту же страницу без слеша или наоборот — это ошибка. Нужно выбрать один вариант, так как поисковые системы будут воспринимать это как две разные страницы, но с одинаковым контентом.

Пример:

http://prom.ua/Odezhda/→ 301 редирект→ http://prom.ua/Odezhda

Поищите внутренние ссылки с несколькими слешами в конце

Случается, что в тексте внутренняя ссылка (ошибка при создании ссылки) имеет в конце два, три и более слеша:

site.com/cat1////

Если в таком случае не сработает редирект на корректный URL, это плохо. Значит, нужно написать программисту, чтобы сделал редирект на корректный URL.

Проверьте редирект со старых доменов и страниц

Они должны вести на релевантные страницы вашего нового сайта. Чаще всего, редиректы я ищу вручную, но перестраховываюсь, используя Serpstat. Можно провести аудит сайта и аудит страницы. Здесь есть отдельный пункт аудита для проверки редиректов:

Как оценить эффективность оптимизации в два клика: аудит одной страницы

Самые распространенные вопросы пользователей о модуле «Аудит сайта»: дайджест службы поддержки

SEO-аудит сайта с помощью Serpstat:
обзор инструмента

Работаем с исходящими ссылками

Если на сайте есть спамные исходящие ссылки, это может негативно сказаться на продвижении сайта. И наоборот, когда с одной страницы ведут много исходящих ссылок — это тоже не очень хорошо.

Однако нужно помнить, не все исходящие ссылки — это плохо. Например, если у вас информационный сайт и вы отрерайтили новость с другого источника и вставляете на нее ссылку, как на источник — это считается хорошим тоном, и это нормально. Просто следите за количеством исходящих ссылок и контролируйте их качество, с помощью того же Serpstat, например:

Если на сайте обнаружилось много исходящих ссылок, которые могут принести только вред сайту, их нужно срочно удалить. Если по каким-то причинам это не получается сделать, я использую два варианта решения:

Расширение функций API-Serpstat:
как использовать API для анализа ссылок

Самые распространенные вопросы пользователей о модуле «Анализ ссылок»: дайджест службы поддержки

Анализ ссылок: как мы сделали наш модуль эффективнее

Хотите узнать, как с помощью Serpstat устранить ошибки на сайте и проверить обратные ссылки?

Заказывайте бесплатную персональную демонстрацию сервиса, и наши специалисты вам все расскажут! ;)

Оставить заявку!

Технология SEOHide

С помощью этой технологии можно минимизировать вероятность перехода робота по ссылке. Методика следующая:

Реализуем ссылку через js

Для надежности закрываем папку с js файлами в robots.txt (Disallow: /js/)

Все!

Со всем этим подходим к программисту ;) Примерно так будет выглядеть ссылка, созданная с помощью SEOHide:

<a hashstring="f45a6597fdf5f85a" hashtype="href">анкор</a>

Тег nofollow для ссылки

Если по каким-то причинам клиент не может/не хочет внедрять SEOHide, я использую тег nofollow для ссылки. Но тут есть свои минусы: уже доказано, что Google переходит по этим ссылкам и ссылочный вес утекает, но такой вариант решения лучше, чем просто ничего не делать =)

Пример закрытой от робота ссылки:
<a href="signin.php" rel="nofollow">Войти</a>

Как и зачем использовать nofollow ссылки

Читать!

Ищем внутренние ссылки на несуществующие страницы

Как найти ссылки на несуществующие страницы?

Если на сайте есть такие ссылки, то по ним убегает внутренний Page Rank страницы («важность» в глазах поисковиков) на другие страницы. Это может плохо сказаться на продвижении сайта.

Serpstat предоставляет отчет о наличии ссылок на несуществующие страницы:

Проверка кодов ответов сайта, ошибки 404, 301 ответа и тд

404 ошибка: почему возникает и как ее устранить

Читать!

Как оформить несуществующую страницу?

Также нужно правильно оформить страницу, которую видят пользователи, переходя на несуществующие страницы. Она должна быть оформлена так, чтобы пользователь мог перейти на главную и на основные разделы сайта.

Хороший пример:

Несуществующие страницы должны отдавать статус-код 404.

Как создать страницу ошибки 404

Читать!

Как проверить какой код отдают несуществующие страницы?

Чтобы проверить какой код отдают несуществующие страницы, возьмите URL вашего сайта и допишите любую последовательность букв, например https://www.olx.ua/kdhlfj

Затем в консоли разработчика этой страницы на вкладке Network посмотрите status:

Проверка в Google Chrome код ответа несуществующей страницы

Важно отслеживать такие страницы, не забывайте о них ;)

На сайте не должно быть ссылок, которые ведут на 404 страницу. Робот зря переходит по ним и напрасно расходует краулинговый бюджет (количество страниц, которые поисковый бот может обойти за конкретный временной период). А это время он бы мог потратить на сканирование более важных страниц.

Как проверить и настроить коды ответа сервера

Читать!

Изучаем страницы пагинации

Если в какой-то категории на вашем сайте находится большое количество товаров, могут появиться страницы пагинации (порядковой нумерации страниц), на которых собраны все товары данной категории.

Важно знать: нет идеально метода оптимизации страниц пагинации. У всех вариантов есть свои преимущества и недостатки.

Открываем для сканирования и индексации страницы пагинации

Рекомендую этот метод. При правильной оптимизации сайта, страницы пагинации не буду ранжироваться и конкурировать с основной страницей, тем самым карточки товара будут получить свой заветный внутренний ссылочный вес.

Важные настройки:

Страница не закрыта от сканирования в файле robots.txt.

Страница не закрыта от индексации с помощью Canonical, meta robots и HTTP заголовками.

Уникализировать теги. Со второй страницы в теге title и H1 добавить строчку номера страницы: например «страница 2».

Если на странице присутствует SEO текст, его стоит выводить только на первой странице.

Как оптимизировать страницы пагинации после обновления алгоритмов Google

Читать!

Настраиваем meta robots для Яндекса

Тут проще, я советую со второй страницы пагинации в тег HEAD внедрять следующую строчку:

<meta name="yandex" content="noindex, follow"/>

Как оптимизировать страницы пагинации интернет-магазина, которые будут приносить трафик и продажи

Читать!

Проверяем дубли страниц

Дублирующие страницы — это страницы с одинаковым контентом. Чем чреваты дубли?

Ухудшается индексация сайта.

Распыляется ссылочный вес.

Изменяется релевантная страница в поисковой выдаче.

Возникает вероятность фильтра от поисковых систем.

Дубли необходимо оперативно выявлять и удалять.

Как искать дубли страниц?

Простой метод отыскать дубли — это найти дублирующиеся мета-теги и по этим страницам смотреть контент. Если он одинаков, это дубли, которые нужно устранить. Ищем дубли с помощью специальных сервисов:

Анализ сайта на дубли страницы в Serpstat

Затем проверяем содержимое страниц, перейдя по ссылкам. Убеждаемся, что контент идентичен и пишем программистам рекомендации для настройки 301 редиректа на главное зеркало сайта.

Как бороться с дублями?

Идеальный способ борьбы с дублями — это их окончательное удаление. Но если этого нельзя сделать, нужно вставить между тегами <head> и </head> на дублирующих страницах тег rel=canonical с ссылкой на целевую страницу. Пример:

<link rel="canonical" href="https://site.com/cat1/" />.

То есть с дублированной страницы бота будет перенаправлять на целевую и будем нам счастье :)

Как найти и удалить дубли страниц на сайте: инструкция для новичков

Читать!

Проверяем скорость сайта

Многие пренебрегают этим параметром, а зря! Улучшая скорость сайта можно не только получать плюсы в ранжировании, но и получать больше доверия от пользователей и коэффициент конверсий. Я пользуюсь сервисом PageSpeed Insights для проверки скорости работы сайта.

Пример хорошего быстро работающего сайта: www.work.ua

Проверка скорости загрузки сайта в Google PageSpeed Insider

Пример сайта, у которого проблемы со скоростью загрузки:

Пример сайта с низкой скоростью загрузки сайта

Сервис от Google также указывает, что можно исправить для ускорения сайта. В Serpstat'е также можно посмотреть скорость загрузки сайта:

Отчет по скорости загрузки сайта для мобильных устройств в Serpstat

Если вы не можете исправить те или иные технические ошибки для ускорения загрузки сайта, используйте так называемые сервисы CDN. Вот крутой кейс использования сервиса Айри. Этот кейс показал, что исправление скорости загрузки сайта может увеличить ваш трафик на 65%. А это очень ценно ;)

Расширение для браузеров Serpstat Website SEO Checker: Экспресс-анализ любого сайта в несколько кликов

Читать!

Вместо заключения

Вспомним основные положения этой статьи:

Файл Robots.txt нужно использовать для того чтобы указать разные инструкции разным поисковым роботам: указать хост, ссылку на карту сайта или попытаться закрыть тестовый сайт.

Запрещаем переход по ненужным исходящим ссылкам с помощью SEOHide и Nofollow.

Ищем несуществующие страницы, закрываем их кодом 404 и удаляем ссылки на эти страницы, которые есть на сайте.

Оптимизируем страницы пагинации rel="prev" и rel="next" для google и <meta name="yandex" content="noindex, follow"/>

Устраняем дубли страниц через 301 редирект с неосновных зеркал на основное: www.site.ru =>301=> site.ru; site.ru/page =>301 => site.ru/page/.

Избавляемся от дублей также атрибутом rel=canonical на основную страницу, чтобы робот не переходил на страницу и не индексировал ее.

Регулярно проверяем скорость сайта и улучшаем ее.

Чтобы быть в курсе всех новостей блога Serpstat, подписывайтесь рассылку. А также вступайте в чат любителей Серпстатить и подписывайтесь на наш канал в Telegram.

Сэкономьте время на изучении Serpstat

Хотите получить персональную демонстрацию сервиса, тестовый период или эффективные кейсы использования Serpstat?

Оставьте заявку и мы свяжемся с вами ;)

Оцените статью по 5-бальной шкале

4.21 из 5 на основе 38 оценок

Нашли ошибку? Выделите её и нажмите Ctrl + Enter, чтобы сообщить нам.

Рекомендуемые статьи

SEO

Идеальная оптимизация страницы сайта: наглядное руководство [Инфографика]

Ilkhom Chakkanbaev

5902

372

SEO

Краулинговый или рендеринговый бюджет: не вместо, а вместе

Анастасия Кочеткова

1702

SEO

Сколько стоят инструменты SEO-специалиста: гайд для профи и новичков

Катерина Бородина

27374

127

Основные ошибки в оптимизации сайта и как их выявить

Проверяем файл robots.txt

Что должно быть в robots.txt?

Как закрыть страницу от поисковых систем?

Какими бывают ошибки при составлении файла robots.txt?

Смотрим редиректы

Проверьте редиректы главной страницы

Проверьте, как поведет себя страница, если убрать слеш в конце

Поищите внутренние ссылки с несколькими слешами в конце

Проверьте редирект со старых доменов и страниц

Работаем с исходящими ссылками

Технология SEOHide

Тег nofollow для ссылки

Ищем внутренние ссылки на несуществующие страницы

Как найти ссылки на несуществующие страницы?

Как оформить несуществующую страницу?

Как проверить какой код отдают несуществующие страницы?

Изучаем страницы пагинации

Открываем для сканирования и индексации страницы пагинации

Настраиваем meta robots для Яндекса

Проверяем дубли страниц

Как искать дубли страниц?

Как бороться с дублями?

Проверяем скорость сайта

Вместо заключения

Сэкономьте время на изучении Serpstat

Основные ошибки в оптимизации сайта
и как их выявить