Как собрать семантику в 3 раза быстрее с помощью Serpstat — опыт HOSTiQ.ua
3365
3
Sitemap.xml или карта сайта: как создать и настроить для Google и Яндекс
Карта сайта в формате XML — путеводитель по веб-ресурсу для поисковых роботов и иногда для пользователей. Для пользователей рекомендуется делать карту сайта в формате HTML, но я не знаю ни одного человека, который хоть раз воспользовался бы ею за последние 5 лет.
Google и Яндекс рекомендуют для хорошей индексации иметь на сайте оба варианта сайтмапа. Но если вы не ортодоксальный перфекционист, созданием HTML-карты можно пожертвовать в угоду хорошо продуманной навигации по сайту. А вот жертвовать созданием и настройкой Sitemap XML не стоит, даже если ваш сайт пока что состоит из 10-20 страниц. Хотя если у вас небольшой одностраничный сайт, то карта сайта не очень то вам и нужен.
Содержание:
1. Почему карта сайта в формате XML так важна?
1.1. Что происходит, когда на сайте нет сайтмапа?
2. Сервисы для создания Sitemap XML
3. Общие правила составления XML-карты сайта
4. Как сделать карту сайта средствами CMS?
4.1. Инструкция для Wordpress
4.2. Инструкция для OpenCart
4.3. Инструкция для 1С-Битрикс
5. После успешного создания карты сайта
6. Как просканировать сайт по Sitemap.xml с помощью сервиса Serpstat?
Вместо заключения
Почему карта сайта в формате XML так важна?
При отсутствии карты поисковикам приходится самостоятельно:
- искать недавно появившиеся страницы на вашем сайте;
- находить изменения на старых страницах вашего web-ресурса;
- определять, какие страницы проиндексировать приоритетно, а какие — нет;
- назначать периодичность индексации страниц.
Что происходит, когда на сайте нет сайтмапа?
А происходит примерно следующее:
«Сайтмапа нет, но вы держитесь,» — видят поисковые боты и благополучно уходят, проиндексировав наобум пару-тройку страниц сайта и забив на все остальное.
Чтобы этого не происходило, есть несколько удобных способов создать карту сайта.
Чтобы этого не происходило, есть несколько удобных способов создать карту сайта.
Сервисы для создания Sitemap XML
Существует много онлайн-сервисов и программ для создания файла Sitemap. Самые популярные среди них — MySitemapGenerator, HTML Web, генераторы сайтмапа от SaitReport и Cy-Pr. Однако у таких сервисов есть недостатки, которые могут свести все старания к нулю:
1
У большинства таких сервисов есть ограничение по добавлению URL-ов — например, MySitemapGenerator позволяет бесплатно сгенерировать файл всего на 500 страниц, за последующие страницы придется доплачивать в долларах, и так при каждом использовании.
2
Cозданная карта не будет динамической — то есть каждый раз при добавлении новых материалов/товаров/статей на сайт придется ее переделывать.
Собственно, второй пункт смущает больше первого — какой смысл делать карту для ежедневно обновляемого блога или активно растущего интернет-магазина, если придется регулярно ее переделывать и перезакачивать на сервер?
Мы в компании CyberShark уже давно не задаемся таким вопросом, потому что работаем преимущественно с тремя CMS: Wordpress (для сайтов услуг, информационных порталов, сайтов компаний), OpenCart и 1С-Битрикс (для интернет-магазинов и масштабных корпоративных сайтов). А у этих систем, к счастью программистов (которым не нужно ничего делать) и восторгу оптимизаторов, есть встроенные средства для того, чтобы сделать карту сайта своими руками.
К внутренней оптимизации сайта мы относимся почти религиозно, а потому и сайтмап стараемся делать с ювелирной точностью, чтобы поисковикам не к чему было придраться.
Мы в компании CyberShark уже давно не задаемся таким вопросом, потому что работаем преимущественно с тремя CMS: Wordpress (для сайтов услуг, информационных порталов, сайтов компаний), OpenCart и 1С-Битрикс (для интернет-магазинов и масштабных корпоративных сайтов). А у этих систем, к счастью программистов (которым не нужно ничего делать) и восторгу оптимизаторов, есть встроенные средства для того, чтобы сделать карту сайта своими руками.
К внутренней оптимизации сайта мы относимся почти религиозно, а потому и сайтмап стараемся делать с ювелирной точностью, чтобы поисковикам не к чему было придраться.
Общие правила составления XML-карты сайта
1
Должна быть доступна по адресу site.com/sitemap.xml, где site.com - ваш домен. Если у вас карта сайта генерируется с другим URL-ом, ничего военного здесь нет — просто поставьте 301 редирект с site.com/sitemap.xml на тот адрес Sitemap, по которому она открывается корректно.
2
Должна выглядеть перечнем ссылок сайта примерно вот так:
3
Не должна конфликтовать с файлом robots.txt. И под словом «конфликтовать» я подразумеваю «не запутывайте поискового робота»: если вы какие-то страницы закрываете от индексации в robots.txt, то и в карте сайта их быть не должно.
4
В файле Sitemap XML должно содержаться не более 50 тысяч ссылок. Если ссылок больше, есть три варианта решения вопроса:
- разбить карту на несколько частей (например, по типам страниц или таксономиям);
- сжать карту сайта архиватором, чтобы у нее появилось расширение .gz;
- проанализировать, какие типы страниц вам не нужны в сайтмапе и удалить их (на случай, если в вашу карту попадают служебные страницы или URL-ы, автоматически генерируемые фильтрами и сортировкой).
5
По объему карта должна «весить» не более 10 МБайт. В противном случае прибегаем к тем методам, что и в предыдущем пункте.
6
В сайтмапе не должно быть 404 ошибок и тестовых страниц. Если удаляли что-то с сайта или проводили эксперименты — следите за тем, чтобы этот мусор не попадал в файл.
Как сделать карту сайта средствами CMS?
Для каждой CMS можно подобрать свои сервисы.
Инструкция для Wordpress
К Вордпрессу я отношусь с особенной любовью, потому что в этой CMS можно сделать 90% сеошной работы, не прибегая к услугам программиста. В том числе и настроить карту сайта.
Шаг 1: Устанавливаем плагин Yoast SEO
Шаг 1: Устанавливаем плагин Yoast SEO
Если у вас на вордпрессовском сайте до сих пор нет этого волшебного плагина, срочно его установите и активируйте — это даже не находка для шпиона, это целый клондайк полезных фишек для оптимизатора (особенно для ленивого, как я).
Шаг 2: Переходим в раздел «XML-карта сайта» и настраиваем генерацию сайтмапа
В админке в появившихся после активации плагина SEO-настройках выбираем XML-карту сайта:
В админке в появившихся после активации плагина SEO-настройках выбираем XML-карту сайта:
Здесь вносим самое главное:
1) Выставляем максимальное количество URL-ов, добавленных в одну карту (по умолчанию их 1000, но можно поставить больше, до 50 000):
1) Выставляем максимальное количество URL-ов, добавленных в одну карту (по умолчанию их 1000, но можно поставить больше, до 50 000):
2) Иключаем из карты ненужные типы страниц и таксономии (к примеру, если вы не хотите, чтоб индексировались страницы тегов или медиафайлов):
3) Нажимаем кнопку «Включено»:
Вуаля! Карта сайта на WordPress готова.
Что удобно:
Что удобно:
- плагин по умолчанию распределяет URL-ы в три разные папки по типам страниц — Yoast смотрит в будущее уверенным взглядом и верит, что ваш сайт разрастается до неприличных размеров, и одного сайтмапа вам будет мало:
- карта сайта генерируется в человекопонятном виде — выглядит вот так:
То есть если оптимизатору или контент-менеджеру нужно по каким-то причинам выгрузить все публикации сайта, он легко может это сделать с помощью Sitemap XML, сгенерированную в Yoast. При этом поисковому боту такой формат тоже вполне понятен.
Подводный камень:
В плагине нет возможности настроить периодичность и приоритет индексации. Если вам нужны эти детали (например, когда количество страниц сайта исчисляется в десятках тысяч и они очень объемные), стоит обратиться к программисту за помощью. Но по опыту могу сказать, что роботы Google- и Яндекс-боты с аппетитом «кушают» и такой сайтмап тоже. Главное здесь — его наличие.
Инструкция для OpenCart
Я искренне считаю ОпенКарт лучшей из бесплатных CMS для разработки интернет-магазинов, в частности из-за того, что ее можно сравнительно легко оптимизировать под требования поисковых систем.
Sitemap XML в OpenCart тоже сделать довольно просто. В этом нам помогает модуль Google Sitemap.
Sitemap XML в OpenCart тоже сделать довольно просто. В этом нам помогает модуль Google Sitemap.
Шаг 1: Проверяем наличие модуля Google Sitemap в админке сайта
Для этого заходим в Модули/Расширения и выбираем тип расширения «Каналы продвижения» →
Для этого заходим в Модули/Расширения и выбираем тип расширения «Каналы продвижения» →
Если добрый разработчик не удалил установленный по умолчанию модуль, тогда вы сразу его увидите, если же разработчик попался не такой добрый — нужно скачать модуль с официального сайта OpenCart и установить его по подсказкам в админке (в пункте «Установка расширений»).
Шаг 2: Активируем и настраиваем Google Sitemap
Напротив названия модуля жмем «Активировать» (если он неактивен), и далее — «Редактировать»:
Напротив названия модуля жмем «Активировать» (если он неактивен), и далее — «Редактировать»:
В открывшемся окне выбираем «Включено» и сохраняем изменения:
Что удобно: почти ничего не нужно делать, сайтмап настраивается в 3-4 клика.
Подводные камни:
1. URL, который вы видите на скрине выше — это и есть адрес, по которому карта сайта будет доступна. Он мало подходит под описание «ЧПУ», чем справедливо смущает многих сеошников. Тут есть два варианта решения вопроса:
- попросить программиста настроить отображение карты по более красивому URL-у site.com/sitemap.xml, попутно вызвав его фирменное закатывание глаз);
- закрыть на это свои глаза и настроить редирект с site.com/sitemap.xml на этот несимпатичный, но в целом вполне приемлемый адрес (в отличие от карты, генерируемой плагином Yoast SEO в WordPress, здесь не добавляется автоматический редирект).
Инструкция для 1С-Битрикс
Сразу приведу сравнение для понимания: если OpenCart — это качественный минивен эконом-класса, то 1С-Битрикс — это небольшой авианосец. Или большой авианосец. В такой машине для внедрения даже базовых моментов технической оптимизации очень сложно обойтись без программиста.
При этом карту сайта на 1С-Битрикс создать не так уж сложно. Труднее настроить ее корректную работу.
При этом карту сайта на 1С-Битрикс создать не так уж сложно. Труднее настроить ее корректную работу.
Шаг 1: В админке заходим в раздел Маркетинг и нажимаем «Настройка sitemap.xml».
Шаг 2: настраиваем карту сайта для 1С-Битрикс.
Если карты нет — нажимаем зеленую кнопку «Добавить», если есть — правой кнопкой мыши напротив названия карты кликаем на три полоски и выбираем «Редактировать»:
Если карты нет — нажимаем зеленую кнопку «Добавить», если есть — правой кнопкой мыши напротив названия карты кликаем на три полоски и выбираем «Редактировать»:
После перехода на страницу настроек прорабатываем каждую вкладку отдельно →
- В «Настройках» указываем защищенный протокол, если он есть, вписываем корректный адрес карты и ставим галочку для добавления ссылки на карту сайта в файл robots.txt.
2. Во вкладках "Файлы", "Инфоблоки" и "Форумы" ставим галочки напротив тех типов страниц, которые должны быть в сайтмапе, и убираем напротив тех, которые не должны там присутствовать;
3. Жмем кнопку "Сохранить и запустить".
3. Жмем кнопку "Сохранить и запустить".
Что удобно: детализированные настройки позволяют представить сайтмап древовидным и четко указать краулерам, в каких направлениях двигаться. И это очень удобно, особенно когда количество страниц сайта действительно импонирует сравнению с авианосцем, которое я приводила выше.
Подводные камни
Даже когда все настройки внесены корректно:
- дочерние карты сайта могут дублироваться между собой, заставляя ботов индексировать одно и то же несколько раз подряд;
- в сайтмап часто попадают дефолтные страницы сайта, даже если сам сайт был создан за царя Гороха;
- некоторые страницы просто не добавляются автоматически в карту по неизвестным причинам (даже прогеры в таких случаях начинают говорить об ауре и флюидах).
После успешного создания карты сайта
Когда все круги этапы настройки и генерации Sitemap XML пройдены, важно не забыть сделать две вещи.
1
Добавьте ссылку на файл сайтмапа в файл robots.txt. Выглядит это так:
Sitemap: http://site.com/sitemap.xml
Если ваш URL сайтмапа отличается — вставляйте сюда тот, по которому бот сразу перейдет на карту сайта. Не заставляйте его проходить через лишние редиректы.
Sitemap: http://site.com/sitemap.xml
Если ваш URL сайтмапа отличается — вставляйте сюда тот, по которому бот сразу перейдет на карту сайта. Не заставляйте его проходить через лишние редиректы.
2
Добавьте карту сайта в панели Google Search Console и Яндекс Вебмастер:
 |
 |
На этапе добавления предлагается протестировать карту сайта — я рекомендую это сделать. Это самый быстрый способ понять, правильно ли составлен файл. Еще один способ это сделать — проверить ее валидатором, например, XML Sitemaps.
Как просканировать сайт по Sitemap.xml с помощью сервиса Serpstat?
Технический SEO-аудит — это детальная проверка сайта на наличие внутренних ошибок и соответствие требованиям поисковых систем.
Аудит часто проводят тогда, когда сайт попадает под санкции поисковых систем: снижаются позиции и резко падает трафик. В таком случае проверка позволяет выявить ошибки, после устранения которых можно вернуть прежние позиции.
SEO-аудит нужен и тогда, когда с сайтом все нормально: трафик растет и постепенно растут позиции. С его помощью можно еще больше ускорить рост сайта, выявив и исправив технические уязвимости.
После того, как Sitemap настроен — краулер может сканировать сайт по его указаниям;)
Аудит часто проводят тогда, когда сайт попадает под санкции поисковых систем: снижаются позиции и резко падает трафик. В таком случае проверка позволяет выявить ошибки, после устранения которых можно вернуть прежние позиции.
SEO-аудит нужен и тогда, когда с сайтом все нормально: трафик растет и постепенно растут позиции. С его помощью можно еще больше ускорить рост сайта, выявив и исправив технические уязвимости.
После того, как Sitemap настроен — краулер может сканировать сайт по его указаниям;)
1
Перед началом Аудита необходимо настроить проект. Перейдем в раздел настроек. Выбираем Тип сканирования по Sitemap. В появившемся поле вводим данные из Sitemap.xml искомого сайта.
2
После нажатия кнопки «Начать Аудит» краулер начнет сканирование и спустя небольшое количество времени вы сможете проверить результаты по техническим ошибкам на сайте, если такие имеются. Чтобы просмотреть детальный отчет по каждой ошибке и по страницам, на которых они присутствуют — достаточно всего лишь нажать на одну из них.
Вместо заключения
Не думайте, что если сделали карту сайта один раз, она будет служить вам веки вечные. Регулярно проверяйте доступность URL-а в адресной строке и заглядывайте в панели вебмастеров.
Быстрой вам индексации и высоких позиций!
Быстрой вам индексации и высоких позиций!
Сэкономьте время на изучении Serpstat
Хотите получить персональную демонстрацию сервиса, тестовый период или эффективные кейсы использования Serpstat?
Оставьте заявку и мы свяжемся с вами ;)
Нашли ошибку? Выделите её и нажмите Ctrl + Enter, чтобы сообщить нам.
Рекомендуемые статьи
Кейсы, лайфхаки, исследования и полезные статьи
Не успеваешь следить за новостями? Не беда! Наш любимый редактор Анастасия подберет материалы, которые точно помогут в работе. Присоединяйся к уютному комьюнити :)
Нажимая кнопку, ты соглашаешься с нашей политикой конфиденциальности.
Комментарии
