Основные ошибки в оптимизации сайта
и как их выявить
и как их выявить
При оптимизации сайтов многие новички часто допускают технические ошибки, которые не позволяют эффективно продвинуть проект. Как результат — некоторые страницы не индексируются в поисковых системах или того хуже — сайт полностью попадает под фильтр.
Содержание:
Нет подпукнтов ;)
А вот и конец ;)
Чтобы этого не произошло, нужно быстро находить и устранять такие ошибки. Как именно это сделать, на что обращать внимание и каким шагам следовать на примере сервиса Serpstat расскажет Толя Бондаренко — SEO-специалист из Netpeak.
Ну что ж, не буду вас томить, начнем ;)
Ну что ж, не буду вас томить, начнем ;)
Проверяем файл robots.txt
Robots.txt — это файл-рекомендация для роботов поисковых систем, который должен указывать, что нужно сканировать, а что нельзя. Находится он по адресу site.com/robots.txt (вместо site.com впишите название любого сайта).
Запомните, robots.txt — это всего лишь рекомендация, то есть поисковые системы могут игнорировать его — сканировать запрещенные страницы. Тем не менее, файл все равно должен быть правильно составлен.
Запомните, robots.txt — это всего лишь рекомендация, то есть поисковые системы могут игнорировать его — сканировать запрещенные страницы. Тем не менее, файл все равно должен быть правильно составлен.
Что должно быть в robots.txt?
Советую включить в файл robots.txt для рабочего сайта следующее:
User-agent: *
Allow: /
Sitemap: http://site.com/sitemap/
А для тестового сайта вот что:
User-agent: *
Disallow: /
Host: site.com
Разбираем:
User-agent: *
Allow: /
Sitemap: http://site.com/sitemap/
А для тестового сайта вот что:
User-agent: *
Disallow: /
Host: site.com
Разбираем:
User-agent: * — говорит о том, что последующие рекомендации относятся ко всем роботам поисковых систем. Я рекомендую писать именно так, потому что скрывать будем страницы с админ-панелью, с оплатой, корзину и т.д. через noindex.
Allow: / — говорит о том, что мы разрешили сканировать все!
Sitemap: http://site.com/sitemap/ — это путь к карте сайта.
Существует и еще одна распространенная директива "Disallow". Однако, я не рекомендую ее использовать для рабочих сайтов, потому что поисковая система часто ее игнорирует.
Как закрыть страницу от поисковых систем?
Чтобы закрыть страницы регистрации и другие ненужные страницы, используйте атрибут noindex. Он позволит вам убрать из индекса страницу при следующем посещении поискового робота и передать ссылочный вес страницы.
Чтобы закрыть страницу от индексации, используйте атрибут noindex между тегом <head>:
<meta name="robots" content="noindex"> — если нужно закрыть от всех роботов поисковых систем
<meta name="googlebot" content="noindex"> — если нужно закрыть только от робота Google. Однако с Google есть свои нюансы, подробно изучите их в официальной справке.
Также можно использовать технологию SEOHide для всех ссылок, которые ведут на страницы, которые не должен видеть робот. Немного подробней об этой технологии написано ниже.
Чтобы закрыть страницу от индексации, используйте атрибут noindex между тегом <head>:
<meta name="robots" content="noindex"> — если нужно закрыть от всех роботов поисковых систем
<meta name="googlebot" content="noindex"> — если нужно закрыть только от робота Google. Однако с Google есть свои нюансы, подробно изучите их в официальной справке.
Также можно использовать технологию SEOHide для всех ссылок, которые ведут на страницы, которые не должен видеть робот. Немного подробней об этой технологии написано ниже.
Какими бывают ошибки при составлении файла robots.txt?
Вот вариант неправильного составления robots.txt:
User-agent: *
Disallow: /
Sitemap: http://site.com/sitemap/
В этом случае сайт будет полностью закрыт от сканирования.
И еще один пример:
User-agent: /
Allow: *
Sitemap: http://site.com/sitemap/
В данном случае ничего страшного не произойдет, но лучше придерживаться правильного синтаксиса.
Проверить корректность настройки файла robots.txt можно в сервисе Google Search Console:
User-agent: *
Disallow: /
Sitemap: http://site.com/sitemap/
В этом случае сайт будет полностью закрыт от сканирования.
И еще один пример:
User-agent: /
Allow: *
Sitemap: http://site.com/sitemap/
В данном случае ничего страшного не произойдет, но лучше придерживаться правильного синтаксиса.
Проверить корректность настройки файла robots.txt можно в сервисе Google Search Console:
И в сервисе Яндекс.Вебмастер:
Смотрим редиректы
Редиректы — это способ перенаправления пользователей и поисковых систем c одного URL на другой. Бывают следующие варианты редиректов:
301 — передает около 90-99% ссылочного веса. Данный редирект указывает, что страница перемещена по новому адресу и старый url следует считать устаревшим. Чаще всего используют этот вариант редиректа для смены домена, редизайна и т.д.
302 — временный редирект. Раньше этот вариант редиректа не передавал Page Rank, но недавно появилась информация, что ссылочный вес тоже передается через 302 редирект.
Есть и другие редиректы, но они используются реже.
Что нужно смотреть:
Проверьте редиректы главной страницы
Как видим, все варианты главной страницы перенаправляют на основную, так и должно быть.
Есть информация, что Google бот будет (если уже не делает так) сначала индексировать https версию сайта, затем все остальные. Поэтому советую учитывать это при выборе основного хоста.
Есть информация, что Google бот будет (если уже не делает так) сначала индексировать https версию сайта, затем все остальные. Поэтому советую учитывать это при выборе основного хоста.
Проверьте, как поведет себя страница, если убрать слеш в конце
Если страницы заканчиваются слешем "/", нужно обязательно проверить, как будет себя вести страница, если убрать его.
Если страница со слешем не перенаправляет на ту же страницу без слеша или наоборот — это ошибка. Нужно выбрать один вариант, так как поисковые системы будут воспринимать это как две разные страницы, но с одинаковым контентом.
Пример:
http://prom.ua/Odezhda/→ 301 редирект→ http://prom.ua/Odezhda
Если страница со слешем не перенаправляет на ту же страницу без слеша или наоборот — это ошибка. Нужно выбрать один вариант, так как поисковые системы будут воспринимать это как две разные страницы, но с одинаковым контентом.
Пример:
http://prom.ua/Odezhda/→ 301 редирект→ http://prom.ua/Odezhda
Поищите внутренние ссылки с несколькими слешами в конце
Случается, что в тексте внутренняя ссылка (ошибка при создании ссылки) имеет в конце два, три и более слеша:
site.com/cat1////
Если в таком случае не сработает редирект на корректный URL, это плохо. Значит, нужно написать программисту, чтобы сделал редирект на корректный URL.
site.com/cat1////
Если в таком случае не сработает редирект на корректный URL, это плохо. Значит, нужно написать программисту, чтобы сделал редирект на корректный URL.
Проверьте редирект со старых доменов и страниц
Они должны вести на релевантные страницы вашего нового сайта. Чаще всего, редиректы я ищу вручную, но перестраховываюсь, используя Serpstat. Можно провести аудит сайта и аудит страницы. Здесь есть отдельный пункт аудита для проверки редиректов:
Работаем с исходящими ссылками
Если на сайте есть спамные исходящие ссылки, это может негативно сказаться на продвижении сайта. И наоборот, когда с одной страницы ведут много исходящих ссылок — это тоже не очень хорошо.
Однако нужно помнить, не все исходящие ссылки — это плохо. Например, если у вас информационный сайт и вы отрерайтили новость с другого источника и вставляете на нее ссылку, как на источник — это считается хорошим тоном, и это нормально. Просто следите за количеством исходящих ссылок и контролируйте их качество, с помощью того же Serpstat, например:
Однако нужно помнить, не все исходящие ссылки — это плохо. Например, если у вас информационный сайт и вы отрерайтили новость с другого источника и вставляете на нее ссылку, как на источник — это считается хорошим тоном, и это нормально. Просто следите за количеством исходящих ссылок и контролируйте их качество, с помощью того же Serpstat, например:
Если на сайте обнаружилось много исходящих ссылок, которые могут принести только вред сайту, их нужно срочно удалить. Если по каким-то причинам это не получается сделать, я использую два варианта решения:
Хотите узнать, как с помощью Serpstat устранить ошибки на сайте и проверить обратные ссылки?
Заказывайте бесплатную персональную демонстрацию сервиса, и наши специалисты вам все расскажут! ;)
Заказывайте бесплатную персональную демонстрацию сервиса, и наши специалисты вам все расскажут! ;)
Персональная демонстрация
Оставьте заявку и мы проведем для вас персональную демонстрацию сервиса, предоставим пробный период и предложим комфортные условия для старта использования инструмента
Технология SEOHide
С помощью этой технологии можно минимизировать вероятность перехода робота по ссылке. Методика следующая:
1
Реализуем ссылку через js
2
Для надежности закрываем папку с js файлами в robots.txt (Disallow: /js/)
3
Все!
Со всем этим подходим к программисту ;) Примерно так будет выглядеть ссылка, созданная с помощью SEOHide:
<a hashstring="f45a6597fdf5f85a" hashtype="href">анкор</a>
<a hashstring="f45a6597fdf5f85a" hashtype="href">анкор</a>
Тег nofollow для ссылки
Если по каким-то причинам клиент не может/не хочет внедрять SEOHide, я использую тег nofollow для ссылки. Но тут есть свои минусы: уже доказано, что Google переходит по этим ссылкам и ссылочный вес утекает, но такой вариант решения лучше, чем просто ничего не делать =)
Пример закрытой от робота ссылки:
<a href="signin.php" rel="nofollow">Войти</a>
Пример закрытой от робота ссылки:
<a href="signin.php" rel="nofollow">Войти</a>
Ищем внутренние ссылки на несуществующие страницы
Как найти ссылки на несуществующие страницы?
Если на сайте есть такие ссылки, то по ним убегает внутренний Page Rank страницы («важность» в глазах поисковиков) на другие страницы. Это может плохо сказаться на продвижении сайта.
Serpstat предоставляет отчет о наличии ссылок на несуществующие страницы:
Serpstat предоставляет отчет о наличии ссылок на несуществующие страницы:
Как оформить несуществующую страницу?
Также нужно правильно оформить страницу, которую видят пользователи, переходя на несуществующие страницы. Она должна быть оформлена так, чтобы пользователь мог перейти на главную и на основные разделы сайта.
Хороший пример:
Хороший пример:
Несуществующие страницы должны отдавать статус-код 404.
Как проверить какой код отдают несуществующие страницы?
Чтобы проверить какой код отдают несуществующие страницы, возьмите URL вашего сайта и допишите любую последовательность букв, например https://www.olx.ua/kdhlfj
Затем в консоли разработчика этой страницы на вкладке Network посмотрите status:
Затем в консоли разработчика этой страницы на вкладке Network посмотрите status:
Важно отслеживать такие страницы, не забывайте о них ;)
На сайте не должно быть ссылок, которые ведут на 404 страницу. Робот зря переходит по ним и напрасно расходует краулинговый бюджет (количество страниц, которые поисковый бот может обойти за конкретный временной период). А это время он бы мог потратить на сканирование более важных страниц.
На сайте не должно быть ссылок, которые ведут на 404 страницу. Робот зря переходит по ним и напрасно расходует краулинговый бюджет (количество страниц, которые поисковый бот может обойти за конкретный временной период). А это время он бы мог потратить на сканирование более важных страниц.
Изучаем страницы пагинации
Если в какой-то категории на вашем сайте находится большое количество товаров, могут появиться страницы пагинации (порядковой нумерации страниц), на которых собраны все товары данной категории.
Важно знать: нет идеально метода оптимизации страниц пагинации. У всех вариантов есть свои преимущества и недостатки.
Важно знать: нет идеально метода оптимизации страниц пагинации. У всех вариантов есть свои преимущества и недостатки.
Открываем для сканирования и индексации страницы пагинации
Рекомендую этот метод. При правильной оптимизации сайта, страницы пагинации не буду ранжироваться и конкурировать с основной страницей, тем самым карточки товара будут получить свой заветный внутренний ссылочный вес.
Важные настройки:
Важные настройки:
1
Страница не закрыта от сканирования в файле robots.txt.
2
Страница не закрыта от индексации с помощью Canonical, meta robots и HTTP заголовками.
3
Уникализировать теги. Со второй страницы в теге title и H1 добавить строчку номера страницы: например «страница 2».
4
Если на странице присутствует SEO текст, его стоит выводить только на первой странице.
Настраиваем meta robots для Яндекса
Тут проще, я советую со второй страницы пагинации в тег HEAD внедрять следующую строчку:
<meta name="yandex" content="noindex, follow"/>
<meta name="yandex" content="noindex, follow"/>
Проверяем дубли страниц
Дублирующие страницы — это страницы с одинаковым контентом. Чем чреваты дубли?
Ухудшается индексация сайта.
Распыляется ссылочный вес.
Изменяется релевантная страница в поисковой выдаче.
Возникает вероятность фильтра от поисковых систем.
Дубли необходимо оперативно выявлять и удалять.
Как искать дубли страниц?
Простой метод отыскать дубли — это найти дублирующиеся мета-теги и по этим страницам смотреть контент. Если он одинаков, это дубли, которые нужно устранить. Ищем дубли с помощью специальных сервисов:
Краулер Netpeak Spider быстро ищет дубликаты:
страниц;
тегов title и meta description;
дубликаты заголовков H1.
Чтобы сделать проверку в программе, нужно:
1
Отметить пункты «Title» «Description» и «Заголовки H1-H6» в параметрах на боковой панели программы.
2
Вставить домен в поле «Начальный URL» и запустить сканирование кнопкой «Старт».
3
По окончании открыть отчёт по ошибкам и проверить на наличие дубликатов.
Затем проверяем содержимое страниц, перейдя по ссылкам. Убеждаемся, что контент идентичен и пишем программистам рекомендации для настройки 301 редиректа на главное зеркало сайта.
Как бороться с дублями?
Идеальный способ борьбы с дублями — это их окончательное удаление. Но если этого нельзя сделать, нужно вставить между тегами <head> и </head> на дублирующих страницах тег rel=canonical с ссылкой на целевую страницу. Пример:
<link rel="canonical" href="https://site.com/cat1/" />.
То есть с дублированной страницы бота будет перенаправлять на целевую и будем нам счастье :)
<link rel="canonical" href="https://site.com/cat1/" />.
То есть с дублированной страницы бота будет перенаправлять на целевую и будем нам счастье :)
Проверяем скорость сайта
Многие пренебрегают этим параметром, а зря! Улучшая скорость сайта можно не только получать плюсы в ранжировании, но и получать больше доверия от пользователей и коэффициент конверсий. Я пользуюсь сервисом PageSpeed Insights для проверки скорости работы сайта.
Пример хорошего быстро работающего сайта: www.work.ua
Пример хорошего быстро работающего сайта: www.work.ua
Пример сайта, у которого проблемы со скоростью загрузки:
Сервис от Google также указывает, что можно исправить для ускорения сайта. В Serpstat'е также можно посмотреть скорость загрузки сайта:
Если вы не можете исправить те или иные технические ошибки для ускорения загрузки сайта, используйте так называемые сервисы CDN. Вот крутой кейс использования сервиса Айри. Этот кейс показал, что исправление скорости загрузки сайта может увеличить ваш трафик на 65%. А это очень ценно ;)
Вместо заключения
Вспомним основные положения этой статьи:
1
Файл Robots.txt нужно использовать для того чтобы указать разные инструкции разным поисковым роботам: указать хост, ссылку на карту сайта или попытаться закрыть тестовый сайт.
2
Запрещаем переход по ненужным исходящим ссылкам с помощью SEOHide и Nofollow.
3
Ищем несуществующие страницы, закрываем их кодом 404 и удаляем ссылки на эти страницы, которые есть на сайте.
4
Оптимизируем страницы пагинации rel="prev" и rel="next" для google и <meta name="yandex" content="noindex, follow"/>
5
Устраняем дубли страниц через 301 редирект с неосновных зеркал на основное: www.site.ru =>301=> site.ru; site.ru/page =>301 => site.ru/page/.
6
Избавляемся от дублей также атрибутом rel=canonical на основную страницу, чтобы робот не переходил на страницу и не индексировал ее.
7
Регулярно проверяем скорость сайта и улучшаем ее.
Чтобы быть в курсе всех новостей блога Serpstat, подписывайтесь рассылку. А также вступайте в чат любителей Серпстатить и подписывайтесь на наш канал в Telegram.
Сэкономьте время на изучении Serpstat
Хотите получить персональную демонстрацию сервиса, тестовый период или эффективные кейсы использования Serpstat?
Оставьте заявку и мы свяжемся с вами ;)
Нашли ошибку? Выделите её и нажмите Ctrl + Enter, чтобы сообщить нам.
Кейсы, лайфхаки, исследования и полезные статьи
Не успеваешь следить за новостями? Не беда! Наш любимый редактор Анастасия подберет материалы, которые точно помогут в работе. Присоединяйся к уютному комьюнити :)
Нажимая кнопку, ты соглашаешься с нашей политикой конфиденциальности.