23 августа 2017

Как создать карту сайта для Google и Яндекс?


Евгения Кривко
Head of SEO в интернет-агентстве CyberShark
Карта сайта в формате XML — путеводитель по веб-ресурсу для поисковых роботов и иногда для пользователей. Для пользователей рекомендуется делать карту сайта в формате HTML, но я не знаю ни одного человека, который хоть раз воспользовался бы ею за последние 5 лет.
Google и Яндекс рекомендуют для хорошей индексации иметь на сайте оба варианта сайтмапа. Но если вы не ортодоксальный перфекционист, созданием HTML-карты можно пожертвовать в угоду хорошо продуманной навигации по сайту. А вот жертвовать созданием и настройкой Sitemap XML не стоит, даже если ваш сайт пока что состоит из 10-20 страниц.

Почему карта сайта в формате XML так важна?

При отсутствии карты поисковикам приходится самостоятельно:

  • искать недавно появившиеся страницы на вашем сайте;
  • находить изменения на старых страницах вашего web-ресурса;
  • определять, какие страницы проиндексировать приоритетно, а какие — нет;
  • назначать периодичность индексации страниц.

Все это для поисковых краулеров достаточно «напряжно» (думаю, «напряга» им хватает с количеством сайтов в интернете, которое сегодня уже исчисляется миллиардами). Поэтому без четких инструкций они делают это «спустя рукава».
Что происходит, когда на сайте нет сайтмапа?
А происходит примерно следующее:
«Сайтмапа нет, но вы держитесь,» — видят поисковые боты и благополучно уходят, проиндексировав наобум пару-тройку страниц сайта и забив на все остальное.

Чтобы этого не происходило, есть несколько удобных способов создать карту сайта.

Сервисы для создания Sitemap XML

Существует много онлайн-сервисов и программ для создания файла Sitemap. Самые популярные среди них — MySitemapGenerator, HTML Web, генераторы сайтмапа от SaitReport и Cy-Pr. Однако у таких сервисов есть недостатки, которые могут свести все старания к нулю:
1
У большинства таких сервисов есть ограничение по добавлению URL-ов — например, MySitemapGenerator позволяет бесплатно сгенерировать файл всего на 500 страниц, за последующие страницы придется доплачивать в долларах, и так при каждом использовании.
2
Cозданная карта не будет динамической — то есть каждый раз при добавлении новых материалов/товаров/статей на сайт придется ее переделывать.
Собственно, второй пункт смущает больше первого — какой смысл делать карту для ежедневно обновляемого блога или активно растущего интернет-магазина, если придется регулярно ее переделывать и перезакачивать на сервер?

Мы в компании CyberShark уже давно не задаемся таким вопросом, потому что работаем преимущественно с тремя CMS: Wordpress (для сайтов услуг, информационных порталов, сайтов компаний), OpenCart и 1С-Битрикс (для интернет-магазинов и масштабных корпоративных сайтов). А у этих систем, к счастью программистов (которым не нужно ничего делать) и восторгу оптимизаторов, есть встроенные средства для того, чтобы сделать карту сайта своими руками.

К внутренней оптимизации сайта мы относимся почти религиозно, а потому и сайтмап стараемся делать с ювелирной точностью, чтобы поисковикам не к чему было придраться.

Общие правила составления XML-карты сайта

1
Должна быть доступна по адресу site.com/sitemap.xml, где site.com - ваш домен. Если у вас карта сайта генерируется с другим URL-ом, ничего военного здесь нет — просто поставьте 301 редирект с site.com/sitemap.xml на тот адрес Sitemap, по которому она открывается корректно.
2
Должна выглядеть перечнем ссылок сайта примерно вот так:
3
Не должна конфликтовать с файлом robots.txt. И под словом «конфликтовать» я подразумеваю «не запутывайте поискового робота»: если вы какие-то страницы закрываете от индексации в robots.txt, то и в карте сайта их быть не должно.
4
В файле Sitemap XML должно содержаться не более 50 тысяч ссылок. Если ссылок больше, есть три варианта решения вопроса:

  • разбить карту на несколько частей (например, по типам страниц или таксономиям);
  • сжать карту сайта архиватором, чтобы у нее появилось расширение .gz;
  • проанализировать, какие типы страниц вам не нужны в сайтмапе и удалить их (на случай, если в вашу карту попадают служебные страницы или URL-ы, автоматически генерируемые фильтрами и сортировкой).
5
По объему карта должна «весить» не более 10 МБайт. В противном случае прибегаем к тем методам, что и в предыдущем пункте.
6
В сайтмапе не должно быть 404 ошибок и тестовых страниц. Если удаляли что-то с сайта или проводили эксперименты — следите за тем, чтобы этот мусор не попадал в файл.

Как сделать карту сайта средствами CMS?

Для каждой CMS можно подобрать свои сервисы.
Инструкция для Wordpress
К Вордпрессу я отношусь с особенной любовью, потому что в этой CMS можно сделать 90% сеошной работы, не прибегая к услугам программиста. В том числе и настроить карту сайта.

Шаг 1: Устанавливаем плагин Yoast SEO

Если у вас на вордпрессовском сайте до сих пор нет этого волшебного плагина, срочно его установите и активируйте — это даже не находка для шпиона, это целый клондайк полезных фишек для оптимизатора (особенно для ленивого, как я).
Шаг 2: Переходим в раздел «XML-карта сайта» и настраиваем генерацию сайтмапа

В админке в появившихся после активации плагина SEO-настройках выбираем XML-карту сайта:
Здесь вносим самое главное:

1) Выставляем максимальное количество URL-ов, добавленных в одну карту (по умолчанию их 1000, но можно поставить больше, до 50 000):

2) Иключаем из карты ненужные типы страниц и таксономии (к примеру, если вы не хотите, чтоб индексировались страницы тегов или медиафайлов):

3) Нажимаем кнопку «Включено»:

Вуаля! Карта сайта на WordPress готова.

Что удобно:

  • плагин по умолчанию распределяет URL-ы в три разные папки по типам страниц — Yoast смотрит в будущее уверенным взглядом и верит, что ваш сайт разрастается до неприличных размеров, и одного сайтмапа вам будет мало:
  • карта сайта генерируется в человекопонятном виде — выглядит вот так:
То есть если оптимизатору или контент-менеджеру нужно по каким-то причинам выгрузить все публикации сайта, он легко может это сделать с помощью Sitemap XML, сгенерированную в Yoast. При этом поисковому боту такой формат тоже вполне понятен.
Подводный камень:
В плагине нет возможности настроить периодичность и приоритет индексации. Если вам нужны эти детали (например, когда количество страниц сайта исчисляется в десятках тысяч и они очень объемные), стоит обратиться к программисту за помощью. Но по опыту могу сказать, что роботы Google- и Яндекс-боты с аппетитом «кушают» и такой сайтмап тоже. Главное здесь — его наличие.
Инструкция для OpenCart
Я искренне считаю ОпенКарт лучшей из бесплатных CMS для разработки интернет-магазинов, в частности из-за того, что ее можно сравнительно легко оптимизировать под требования поисковых систем.

Sitemap XML в OpenCart тоже сделать довольно просто. В этом нам помогает модуль Google Sitemap.
Шаг 1: Проверяем наличие модуля Google Sitemap в админке сайта

Для этого заходим в Модули/Расширения и выбираем тип расширения «Каналы продвижения» →

Если добрый разработчик не удалил установленный по умолчанию модуль, ты вы сразу его увидите, если же разработчик попался не такой добрый — нужно скачать модуль с официального сайта OpenCart и установить его по подсказкам в админке (в пункте «Установка расширений»).
Шаг 2: Активируем и настраиваем Google Sitemap

Напротив названия модуля жмем «Активировать» (если он неактивен), и далее — «Редактировать»:

В открывшемся окне выбираем «Включено» и сохраняем изменения:

Что удобно: почти ничего не нужно делать, сайтмап настраивается в 3-4 клика.
Подводные камни:
1. URL, который вы видите на скрине выше — это и есть адрес, по которому карта сайта будет доступна. Он мало подходит под описание «ЧПУ», чем справедливо смущает многих сеошников. Тут есть два варианта решения вопроса:

  • попросить программиста настроить отображение карты по более красивому URL-у site.com/sitemap.xml, попутно вызвав его фирменное закатывание глаз);
  • закрыть на это свои глаза и настроить редирект с site.com/sitemap.xml на этот несимпатичный, но в целом вполне приемлемый адрес (в отличие от карты, генерируемой плагином Yoast SEO в WordPress, здесь не добавляется автоматический редирект).
2. Проконтролируйте, чтоб в карту сайта не попадали дубликаты страницы (помните, я писала про «напряг» для краулеров?). Самое лучшее — проследить за тем, чтобы CMS не генерировала дубли страниц, еще на этапе создания сайта. Этот вопрос, в свою очередь, можно решить редиректами либо атрибутом canonical, но это уже совсем другая история.
Инструкция для 1С-Битрикс
Сразу приведу сравнение для понимания: если OpenCart — это качественный минивен эконом-класса, то 1С-Битрикс — это небольшой авианосец. Или большой авианосец. В такой машине для внедрения даже базовых моментов технической оптимизации очень сложно обойтись без программиста.

При этом карту сайта на 1С-Битрикс создать не так уж сложно. Труднее настроить ее корректную работу.
Шаг 1: В админке заходим в раздел Маркетинг и нажимаем «Настройка sitemap.xml».

Шаг 2: настраиваем карту сайта для 1С-Битрикс.

Если карты нет — нажимаем зеленую кнопку «Добавить», если есть — правой кнопкой мыши напротив названия карты кликаем на три полоски и выбираем «Редактировать»:

После перехода на страницу настроек прорабатываем каждую вкладку отдельно →

  1. В «Настройках» указываем защищенный протокол, если он есть, вписываем корректный адрес карты и ставим галочку для добавления ссылки на карту сайта в файл robots.txt.

2. Во вкладках "Файлы", "Инфоблоки" и "Форумы" ставим галочки напротив тех типов страниц, которые должны быть в сайтмапе, и убираем напротив тех, которые не должны там присутствовать;

3. Жмем кнопку "Сохранить и запустить".
Что удобно: детализированные настройки позволяют представить сайтмап древовидным и четко указать краулерам, в каких направлениях двигаться. И это очень удобно, особенно когда количество страниц сайта действительно импонирует сравнению с авианосцем, которое я приводила выше.
Подводные камни
Даже когда все настройки внесены корректно:

  • дочерние карты сайта могут дублироваться между собой, заставляя ботов индексировать одно и то же несколько раз подряд;
  • в сайтмап часто попадают дефолтные страницы сайта, даже если сам сайт был создан за царя Гороха;
  • некоторые страницы просто не добавляются автоматически в карту по неизвестным причинам (даже прогеры в таких случаях начинают говорить об ауре и флюидах).

В любом случае, здесь вам без программиста не обойтись.

После успешного создания карты сайта

Когда все круги этапы настройки и генерации Sitemap XML пройдены, важно не забыть сделать две вещи.
1
Добавьте ссылку на файл сайтмапа в файл robots.txt. Выглядит это так:

Sitemap: http://site.com/sitemap.xml

Если ваш URL сайтмапа отличается — вставляйте сюда тот, по которому бот сразу перейдет на карту сайта. Не заставляйте его проходить через лишние редиректы.
2
Добавьте карту сайта в панели Google Search Console и Яндекс Вебмастер:
На этапе добавления предлагается протестировать карту сайта — я рекомендую это сделать. Это самый быстрый способ понять, правильно ли составлен файл. Еще один способ это сделать — проверить ее валидатором, например, XML Sitemaps.
Вместо заключения
Не думайте, что если сделали карту сайта один раз, она будет служить вам веки вечные. Регулярно проверяйте доступность URL-а в адресной строке и заглядывайте в панели вебмастеров.

Быстрой вам индексации и высоких позиций!

Рекомендуемые статьи

Хотите узнать новые фишки по интернет-маркетингу?
Подпишитесь на нашу рассылку — только полезные статьи, реальные кейсы и новости Serpstat раз в неделю.

Комментарии

Войти Регистрация

Вы исчерпали лимит запросов.

Или email
Забыли пароль?
Или email
Нажимая "Зарегистрироваться", Вы соглашаетесь с
условиями использования Serpstat and Политика конфиденциальности
Back To Login

Не волнуйтесь! Напишите свой электронный адрес и мы пришлем вам новый пароль.

Вы уверены?

Знакомство с сервисом

Serpstat экономит время, как и мы готовы сэкономить ваше, на знакомстве с ключевыми возможностями сервиса.
Наш специалист свяжется с вами и по итогу предложит подходящий вариант, который может включать персональную демонстрацию, пробный период, обучающие статьи и записи вебинаров, консультацию специалиста, а также комфортные условия для старта использования Serpstat.

Имя
Email
Телефон
Skype или Google Hangouts
Комментарий

Увеличить лимиты

Зарегистрироваться

Спасибо, мы с вами свяжемся в ближайшее время

Пригласить
E-mail
Роль
Сообщение
необязательно

У вас закончились лимиты

Вы достигли лимита на количество созданных проектов и больше не можете создавать новые проекты. Увеличьте лимиты или удалите существующие проекты.

Я хочу больше лимитов

У вас закончились лимиты

Вы исчерпали все доступные поинты в инструментах.

Я хочу больше лимитов