Report a bug

Cancel
16111   36   17
SEO 11 min read 23 August 2017

Как создать карту сайта для Google и Яндекс?


Евгения Кривко
Head of SEO в интернет-агентстве CyberShark
Карта сайта в формате XML — путеводитель по веб-ресурсу для поисковых роботов и иногда для пользователей. Для пользователей рекомендуется делать карту сайта в формате HTML, но я не знаю ни одного человека, который хоть раз воспользовался бы ею за последние 5 лет.
Google и Яндекс рекомендуют для хорошей индексации иметь на сайте оба варианта сайтмапа. Но если вы не ортодоксальный перфекционист, созданием HTML-карты можно пожертвовать в угоду хорошо продуманной навигации по сайту. А вот жертвовать созданием и настройкой Sitemap XML не стоит, даже если ваш сайт пока что состоит из 10-20 страниц.

Почему карта сайта в формате XML так важна?

При отсутствии карты поисковикам приходится самостоятельно:

  • искать недавно появившиеся страницы на вашем сайте;
  • находить изменения на старых страницах вашего web-ресурса;
  • определять, какие страницы проиндексировать приоритетно, а какие — нет;
  • назначать периодичность индексации страниц.

Все это для поисковых краулеров достаточно «напряжно» (думаю, «напряга» им хватает с количеством сайтов в интернете, которое сегодня уже исчисляется миллиардами). Поэтому без четких инструкций они делают это «спустя рукава».
Что происходит, когда на сайте нет сайтмапа?
А происходит примерно следующее:
«Сайтмапа нет, но вы держитесь,» — видят поисковые боты и благополучно уходят, проиндексировав наобум пару-тройку страниц сайта и забив на все остальное.

Чтобы этого не происходило, есть несколько удобных способов создать карту сайта.

Сервисы для создания Sitemap XML

Существует много онлайн-сервисов и программ для создания файла Sitemap. Самые популярные среди них — MySitemapGenerator, HTML Web, генераторы сайтмапа от SaitReport и Cy-Pr. Однако у таких сервисов есть недостатки, которые могут свести все старания к нулю:
1
У большинства таких сервисов есть ограничение по добавлению URL-ов — например, MySitemapGenerator позволяет бесплатно сгенерировать файл всего на 500 страниц, за последующие страницы придется доплачивать в долларах, и так при каждом использовании.
2
Cозданная карта не будет динамической — то есть каждый раз при добавлении новых материалов/товаров/статей на сайт придется ее переделывать.
Собственно, второй пункт смущает больше первого — какой смысл делать карту для ежедневно обновляемого блога или активно растущего интернет-магазина, если придется регулярно ее переделывать и перезакачивать на сервер?

Мы в компании CyberShark уже давно не задаемся таким вопросом, потому что работаем преимущественно с тремя CMS: Wordpress (для сайтов услуг, информационных порталов, сайтов компаний), OpenCart и 1С-Битрикс (для интернет-магазинов и масштабных корпоративных сайтов). А у этих систем, к счастью программистов (которым не нужно ничего делать) и восторгу оптимизаторов, есть встроенные средства для того, чтобы сделать карту сайта своими руками.

К внутренней оптимизации сайта мы относимся почти религиозно, а потому и сайтмап стараемся делать с ювелирной точностью, чтобы поисковикам не к чему было придраться.

Общие правила составления XML-карты сайта

1
Должна быть доступна по адресу site.com/sitemap.xml, где site.com - ваш домен. Если у вас карта сайта генерируется с другим URL-ом, ничего военного здесь нет — просто поставьте 301 редирект с site.com/sitemap.xml на тот адрес Sitemap, по которому она открывается корректно.
2
Должна выглядеть перечнем ссылок сайта примерно вот так:
3
Не должна конфликтовать с файлом robots.txt. И под словом «конфликтовать» я подразумеваю «не запутывайте поискового робота»: если вы какие-то страницы закрываете от индексации в robots.txt, то и в карте сайта их быть не должно.
4
В файле Sitemap XML должно содержаться не более 50 тысяч ссылок. Если ссылок больше, есть три варианта решения вопроса:

  • разбить карту на несколько частей (например, по типам страниц или таксономиям);
  • сжать карту сайта архиватором, чтобы у нее появилось расширение .gz;
  • проанализировать, какие типы страниц вам не нужны в сайтмапе и удалить их (на случай, если в вашу карту попадают служебные страницы или URL-ы, автоматически генерируемые фильтрами и сортировкой).
5
По объему карта должна «весить» не более 10 МБайт. В противном случае прибегаем к тем методам, что и в предыдущем пункте.
6
В сайтмапе не должно быть 404 ошибок и тестовых страниц. Если удаляли что-то с сайта или проводили эксперименты — следите за тем, чтобы этот мусор не попадал в файл.

Как сделать карту сайта средствами CMS?

Для каждой CMS можно подобрать свои сервисы.
Инструкция для Wordpress
К Вордпрессу я отношусь с особенной любовью, потому что в этой CMS можно сделать 90% сеошной работы, не прибегая к услугам программиста. В том числе и настроить карту сайта.

Шаг 1: Устанавливаем плагин Yoast SEO

Если у вас на вордпрессовском сайте до сих пор нет этого волшебного плагина, срочно его установите и активируйте — это даже не находка для шпиона, это целый клондайк полезных фишек для оптимизатора (особенно для ленивого, как я).
Шаг 2: Переходим в раздел «XML-карта сайта» и настраиваем генерацию сайтмапа

В админке в появившихся после активации плагина SEO-настройках выбираем XML-карту сайта:
Здесь вносим самое главное:

1) Выставляем максимальное количество URL-ов, добавленных в одну карту (по умолчанию их 1000, но можно поставить больше, до 50 000):

2) Иключаем из карты ненужные типы страниц и таксономии (к примеру, если вы не хотите, чтоб индексировались страницы тегов или медиафайлов):

3) Нажимаем кнопку «Включено»:

Вуаля! Карта сайта на WordPress готова.

Что удобно:

  • плагин по умолчанию распределяет URL-ы в три разные папки по типам страниц — Yoast смотрит в будущее уверенным взглядом и верит, что ваш сайт разрастается до неприличных размеров, и одного сайтмапа вам будет мало:
  • карта сайта генерируется в человекопонятном виде — выглядит вот так:
То есть если оптимизатору или контент-менеджеру нужно по каким-то причинам выгрузить все публикации сайта, он легко может это сделать с помощью Sitemap XML, сгенерированную в Yoast. При этом поисковому боту такой формат тоже вполне понятен.
Подводный камень:
В плагине нет возможности настроить периодичность и приоритет индексации. Если вам нужны эти детали (например, когда количество страниц сайта исчисляется в десятках тысяч и они очень объемные), стоит обратиться к программисту за помощью. Но по опыту могу сказать, что роботы Google- и Яндекс-боты с аппетитом «кушают» и такой сайтмап тоже. Главное здесь — его наличие.
Инструкция для OpenCart
Я искренне считаю ОпенКарт лучшей из бесплатных CMS для разработки интернет-магазинов, в частности из-за того, что ее можно сравнительно легко оптимизировать под требования поисковых систем.

Sitemap XML в OpenCart тоже сделать довольно просто. В этом нам помогает модуль Google Sitemap.
Шаг 1: Проверяем наличие модуля Google Sitemap в админке сайта

Для этого заходим в Модули/Расширения и выбираем тип расширения «Каналы продвижения» →

Если добрый разработчик не удалил установленный по умолчанию модуль, ты вы сразу его увидите, если же разработчик попался не такой добрый — нужно скачать модуль с официального сайта OpenCart и установить его по подсказкам в админке (в пункте «Установка расширений»).
Шаг 2: Активируем и настраиваем Google Sitemap

Напротив названия модуля жмем «Активировать» (если он неактивен), и далее — «Редактировать»:

В открывшемся окне выбираем «Включено» и сохраняем изменения:

Что удобно: почти ничего не нужно делать, сайтмап настраивается в 3-4 клика.
Подводные камни:
1. URL, который вы видите на скрине выше — это и есть адрес, по которому карта сайта будет доступна. Он мало подходит под описание «ЧПУ», чем справедливо смущает многих сеошников. Тут есть два варианта решения вопроса:

  • попросить программиста настроить отображение карты по более красивому URL-у site.com/sitemap.xml, попутно вызвав его фирменное закатывание глаз);
  • закрыть на это свои глаза и настроить редирект с site.com/sitemap.xml на этот несимпатичный, но в целом вполне приемлемый адрес (в отличие от карты, генерируемой плагином Yoast SEO в WordPress, здесь не добавляется автоматический редирект).
2. Проконтролируйте, чтоб в карту сайта не попадали дубликаты страницы (помните, я писала про «напряг» для краулеров?). Самое лучшее — проследить за тем, чтобы CMS не генерировала дубли страниц, еще на этапе создания сайта. Этот вопрос, в свою очередь, можно решить редиректами либо атрибутом canonical, но это уже совсем другая история.
Инструкция для 1С-Битрикс
Сразу приведу сравнение для понимания: если OpenCart — это качественный минивен эконом-класса, то 1С-Битрикс — это небольшой авианосец. Или большой авианосец. В такой машине для внедрения даже базовых моментов технической оптимизации очень сложно обойтись без программиста.

При этом карту сайта на 1С-Битрикс создать не так уж сложно. Труднее настроить ее корректную работу.
Шаг 1: В админке заходим в раздел Маркетинг и нажимаем «Настройка sitemap.xml».

Шаг 2: настраиваем карту сайта для 1С-Битрикс.

Если карты нет — нажимаем зеленую кнопку «Добавить», если есть — правой кнопкой мыши напротив названия карты кликаем на три полоски и выбираем «Редактировать»:

После перехода на страницу настроек прорабатываем каждую вкладку отдельно →

  1. В «Настройках» указываем защищенный протокол, если он есть, вписываем корректный адрес карты и ставим галочку для добавления ссылки на карту сайта в файл robots.txt.

2. Во вкладках "Файлы", "Инфоблоки" и "Форумы" ставим галочки напротив тех типов страниц, которые должны быть в сайтмапе, и убираем напротив тех, которые не должны там присутствовать;

3. Жмем кнопку "Сохранить и запустить".
Что удобно: детализированные настройки позволяют представить сайтмап древовидным и четко указать краулерам, в каких направлениях двигаться. И это очень удобно, особенно когда количество страниц сайта действительно импонирует сравнению с авианосцем, которое я приводила выше.
Подводные камни
Даже когда все настройки внесены корректно:

  • дочерние карты сайта могут дублироваться между собой, заставляя ботов индексировать одно и то же несколько раз подряд;
  • в сайтмап часто попадают дефолтные страницы сайта, даже если сам сайт был создан за царя Гороха;
  • некоторые страницы просто не добавляются автоматически в карту по неизвестным причинам (даже прогеры в таких случаях начинают говорить об ауре и флюидах).

В любом случае, здесь вам без программиста не обойтись.

После успешного создания карты сайта

Когда все круги этапы настройки и генерации Sitemap XML пройдены, важно не забыть сделать две вещи.
1
Добавьте ссылку на файл сайтмапа в файл robots.txt. Выглядит это так:

Sitemap: http://site.com/sitemap.xml

Если ваш URL сайтмапа отличается — вставляйте сюда тот, по которому бот сразу перейдет на карту сайта. Не заставляйте его проходить через лишние редиректы.
2
Добавьте карту сайта в панели Google Search Console и Яндекс Вебмастер:
На этапе добавления предлагается протестировать карту сайта — я рекомендую это сделать. Это самый быстрый способ понять, правильно ли составлен файл. Еще один способ это сделать — проверить ее валидатором, например, XML Sitemaps.
Вместо заключения
Не думайте, что если сделали карту сайта один раз, она будет служить вам веки вечные. Регулярно проверяйте доступность URL-а в адресной строке и заглядывайте в панели вебмастеров.

Быстрой вам индексации и высоких позиций!
Found an error? Select it and press Ctrl + Enter to tell us

Recommended articles

Subscribe to our newsletter
Keep up to date with our latest news, events and blog posts!

Comments

Sign In Free Sign Up

You’ve reached your query limit.

Or email
Forgot password?
Or email
By clicking 'Sign Up Free' I agree to Serptat's
Terms of Service and Privacy Policy
Back To Login

Don’t worry! Just fill in your email and we’ll send over your password.

Are you sure?
Please pick the project to work on

Personal demonstration

Serpstat is all about saving time, and we want to save yours! One of our specialists will contact you and discuss options going forward. These may include a personal demonstration, a trial period, comprehensive training articles & webinar recordings, and custom adivce from a Serpstat specialist. It is our goal to make you feel comfortable while using Serpstat.

Name
Email
Phone
Skype or Google Hangouts
Comment

Upgrade your plan

Sign Up Free

Спасибо, мы с вами свяжемся в ближайшее время

Invite
E-mail
Role
Message
Optional

You have run out of limits

You have reached the limit for the number of created projects. You cannot create new projects unless you increase the limits or delete existing projects.

I want more limits

Christmas is a time for miracles.

You are almost on the finish line of our Christmas quest. The last brick of your lego-promocode is left on the way up 55% discount.

Did not find previous lego-bricks? Fill the form anyway.

Name
Email
Phone
Skype or Google Hangouts
Write your discount code