Alexey Chernitsyn
Небольшое замечание к пункту 1
"Должна быть доступна по адресу site.com/sitemap.xml, где site.com - ваш домен. "
нет, не должна.
Ее можно разместить ГДЕ УГОДНО НА САЙТЕ. У поисковиков (лично я) не встречал жестких требований на этот счет.
Часто для защиты от ботов конкурентов (которые парсят изменения на сайте: контент, цены) карту сайта размещают в другом месте, а не в корне.
Понятно, что нынешние технологии ботов позволяют уже не распознавать такой парсинг и такая игра в прятки - это зачастую паранойя. Но факт - карта сайта может быть засунута не только в корень и ничего это плохого не сделает:
- в Я.Вебмастере - вы добавляете для робота карту из любого места
- в Google Search Console - аналогично - из любого места сайта.
Примечание:
да, в robots.txt желательно добавлять указание на расположение sitemap.xml. Но делать это также не обязательно. Обязательным там остается только указание на хост
Host: www.site.com
или
Host: site.com
Буду благодарен, если приведете ссылки на источник, если я не прав.
Evgeniya
Алекcей, спасибо за Ваш комментарий! Вынуждена признать, что конкретно по этому вопросу пруфлинков не нашла, поэтому возможно Вы и правы.
НО с точки зрения опыта могу сказать, что все-таки быстрее и качественнее индексация сайта проходит именно тогда, когда сайтмап находится в корневом каталоге сайта и по привычному адресу /sitemap.xml.
И еще с точки зрения логики: всем известно, что поисковикам лучше работается с недлинными человекопонятными УРЛами первого уровня вложенности. Почему это не должно касаться и карты сайта?
Так что где угодно (вот прям ГДЕ УГОДНО) располагать карту сайта я НЕ рекомендую.
Alex Wise
Евгения, спасибо за статью!)
Когда-то мы реализовали в Netpeak Spider серьёзный валидатор XML-карты сайта по документации https://www.sitemaps.org/ru... → вы не пробовали?
Там можно и создать свою карту сайта (вы приводили примеры сервисов, но что может быть лучше, чем в SEO-краулере сделать генерацию Sitemap, заранее установив полностью все правила, которые вы хотите учитывать типа robots.txt, canonical, meta robots и т.д.?) по этой же документации ;)
1. Вот скрин валидатора → http://img.netpeaksoftware.... (тут справа вверху "какие ошибки были найдены"; а ниже я специально открыл блок, какие в принципе бывают ошибки).
2. Вот скрин генератора → http://img.netpeaksoftware.... (тут можно сгенерировать даже HTML-карту сайта, что есть далеко не во всех генераторах).
Вадим - Blogin.Top
Евгения, по поводу карты сайта я солидарен с Алексеем. У меня для нее есть отдельная страница, тогда зачем я буду еще дублировать ссылку для поискового робота в корне сайта? Какое этому есть пояснение?
Вы считаете, что поисковый робот ищет карту сайта только в файле robots.txt?
Evgeniya
Alex, спасибо, Нетпик Спайдер - это у нас вообще мастхэв, мы без него как без рук)) Активно пользуемся, особенно, когда проводим аудиты сайтов.
И да, этот инструмент - отличное дополнение к статье!
Однако, как я и писала, сторонние инструменты генерируют статическую карту сайта, необновляемую. Мы работаем со многими информационными порталами и интернет-магазинами, на которых инфа обновляется каждый (или почти каждый) день. Тут намного удобнее внутренние инструменты CMS, которые добавляют УРЛы в карту сайта автоматически, без необходимости повторной генерации карты.
Evgeniya
Вадим, как раз дублировать не нужно. Дубликатов на сайте мы наоборот всячески стараемся избегать и всем советуем:)
Вместо того, чтоб делать дубликат, просто настройте редирект с /sitemap.xml на ваш УРЛ карты. Страница редиректа не является дубликатом той страницы, на которую вы настраиваете редирект. Она вообще представляет собой буквально 4-5 строчек кода (думаю, Вы и без меня это знаете).
Суть в том, чтобы дать поисковому боту несколько путей найти сайтмап, ведь чем быстрее он ее обнаружит, тем быстрее проиндексирует.
Конечно, я НЕ считаю, что поисковый робот ищет карту сайта только в файле robots.txt, но с какого места он начинает индексировать сайт - науке достоверно неизвестно. Поэтому сеошники и добавляют карту и в robots.txt, и в панели вебмастеров, и в корне сайта располагают и даже иногда ставят ссылку на нее в футере (не поддерживаю последний метод).
Alex Wise
Спасибо за приятные слова! ;)
По поводу крупных проектов, где часто всё меняется – полностью согласен с вами, нужно либо готовыми инструментами пользоваться (если такие присутствуют в CMS), либо разрабатывать свои самописные, в зависимости от структуры сайта.
Вадим - Blogin.Top
Евгения, каждый из нас имеет свою точку зрения и об этом можно вести дискуссию до бесконечности :)
Я не SEOшник, я блогер, но с кухней SEO знаком не по наслышке. Чтобы привлечь поискового робота и помочь ему проиндексировать новый или уже существующий, но с новой картой проект, достаточно создать страницу карты сайта, разместить на нее ссылку в меню и скормить эту страницу в известных соцсетях. Вот и все дела. При условии. что публикации будут регулярно появляться в блоге или на сайте, робот будет их хавать с удовольствием и индексировать. Другие заморочки с картой сайта, считаю просто лишними и устаревшими. Сейчас поисковые системы совсем другие.
Еще в 2007 году, когда я создал свой первый блог на WordPress, этот совет по поводу размещения ссылки на карту сайта в файле robots.txt, тогда муссировали SEOшники. С тех пор прошло 10 лет, а воз и ныне там... А технологии сейчас развиваются высокими темпами, и то, что вчера было актуальным, сегодня уже устарело, я уже не говорю о рекомендациях десятилетней давности. Вы не подумайте, что я решил пристебаться именно к этому моменту. Просто информация и рекомендация относительно robots.txt и карты сайта уже давно древняя и не соответствует нынешней ситуации. не в духе времени.. или не в ногу со временем. Ведь за 10 лет поисковые системы в своем развитии сделал такой прогресс, что 2007 год теперь кажется на расстоянии нескольких световых лет. нельзя идти вперед и развиваться с повернутой назад головой.
Evgeniya
Да, Вадим, согласна, SEO - неточная наука. Вы блогер, а я SEOшник. Основываюсь на опыте работы с крупными информационными порталами, интернет-магазинами и блогами, конечно. Дискуссия и правда бессмысленна, поэтому не будем пререкаться ;)
Alexey Chernitsyn
Евгения, со мной "бороться" не нужно - я сам всегда размещаю сайтмап в корне. И не забываю прописывать в robots.txt, т.к. это рекомендовано Яндексом.
дело не в этом, я сам seo-оптимизатор, и просто часто встречал как появлялись "легенды" - нечто, что неподтверждалось пруфлинками и переростало в верования))
Просто решил Вас поправить. Не буду переубеждать, но место размещения карты сайта для поисковиков не существенно.
вы меня заинтриговали и я, пожалуй, задам этот вопрос Платону)) ну, чтобы уж не ссылаться на отсутствие такого в хелпах, а просто на ответ.
обязательно вам пришлю копию.
Лично я даже пару раз экспериментировал - на добавление в очередь индексации у Google - как было быстро, так и оставалось, у Яндекса - как было с задержкой на пару дней (может и раньше, кстати - зависит от очереди обработки) - так и осталось.
Так что просто решил вас поправить, чтобы у неопытных людей не создавалось излишней путаницы
А вот чем полезным готов с вами поделиться - это обнаруженный "нюанс" индексации сайта и добавления его в поиск у Яндекса. Это интереснейший пример из моей практики и пока я такого в описаниях ни у кого не видел))
Делюсь:
- просели позиции по нескольким маржинальным категориям товаров. стало неясно откуда ноги растут:
* в поиске они есть
* а на своих "положенных" местах в ТОП 5 - исчезли...ушли за 20-е места...
- на сайте клиента было обнаружено, что система автогенерации sitemap.xml заглючила и туда не добавились URL этих категорий
и поэтому (в Яндексе)
трам-там-там- барабанная дробь
эти категории ушли из борьбы за поисковую выдачу в ТОП 10.
При этом в поиске эти категории были видны (url:site.com/categoria1)
После исправления бага с автогенерацией sitemap.xml - все вернулось "на круги своя" ))
Прекрасный и абсолютно неоднозначный вывод:
если вы боретесь за выдачу в ТОП10 в Яндексе по любому из поисковых запросов, то НАЛИЧИЕ sitemap.xml обязательно. Т.к. это является фактором включения страницы в борьбу за первые места.
Но а в остальном повторюсь - размещение файла sitemap.xml - абсолютно несущественно - информацию о нем поисковый робот почти всегда "больше любит" получать из ЛК (Search Console или Я.Вебмастер).
AlexBrtn
Чтобы привлечь поискового робота и помочь ему проиндексировать новый или уже существующий, но с новой картой проект, достаточно создать страницу карты сайта, разместить на нее ссылку в меню и скормить эту страницу в известных соцсетях.
Отправить быстро можно так http://google.com/ping?site... на карту.
И у гугла карта сайта первична та что в вебмастере прописана вами, а не в robots.
Вадим - Blogin.Top
Вы знаете. все эти телодвижения с пропиской в вебмастере Гугла, да и Яндекса, не что иное, как привязка не вашего проекта, а вас на уровне подсознания к этим поисковикам. Ведь они то коммерческие проекты, вот и делаются эти ловушки, а потом затягивают так, что люди начинают покупать рекламу в Директе и Адсенсе, вместо того, чтобы эти деньги потратить на классного SEOшника.
Если вообще забить на эти аки вебмастера в Гугле и Яндексе, то ровным счетом ничего не измениться ни в лучшую, ни в худшую сторону. Поисковый робот и без этих телодвижений найдет контент и проиндексирует. Я давно уже не прописываю свои проекты ни в одном из вебмастеров, не вижу в этом надобности, вообще в упор не вижу. Это обычная бюрократия.. с подтверждением сайтов метатегами или другим способом.. а что это дает, лишний трафик, моральное удовлетворение?.... Ничего!
AlexBrtn
Вы сейчас глупость написали. При чём тут директ и адсенс? Там вы управляете полностью индексацией. Маленький пример: страница при индексации ответила 502-й и др. и не проиндексировалась, от куда вы будете это знать? А так бы знали, кинули на переиндекс не ждя недели когда бот вернётся к ней. ...В прочем если вы за столько времени не поняли для чего это, то нет смысла объяснять.
Вадим - Blogin.Top
Просто мне надоедает таким вот знатокам пояснять «глупости», а точнее, простые вещи, котрые вместе с букварем скурили первоклассники. Я выше писал, что достаточно скормить любую страницу в соцсети и все. Тчк. И робот схавает в ту же секунду. Что здесь не так? Вы же сами процитировали эту часть моего комментария.
Даже, если страница с актуальным материалом ушла в глубь блога/сайта, то ее периодически нужно расшаривать в соцсетях, а не в поисковиках. Для таких целей для блоговых движков не глупые люди плагины создали, работу которых можно настроить по графику, чтобы поисковики не забывали за ушедшие в глубь блога посты.
А если вы по каждому пустяку привыкли стучаться к поисковикам, то я здесь ничем вам помочь не могу :)
Людмила Васильева
Спасибо большое! Очень полезная статья, все искала решения, как обойти неудобство при частом обновлении сайта, или когда сайт наполняется разными людьми в разное время.
Alexey Chernitsyn
Юлия, спасибо!
Правда, спасибо. Признаюсь, видимо, я не уделил должного времени на вычитывания официального протокола формата sitemap.xml.
И сейчас, даже нашел ниже указанной вами фразу, которая еще более внятно это поясняет:
"URL-адреса, которые считаются недопустимыми, исключаются из дальнейшего рассмотрения.
Настоятельно рекомендуется поместить файл Sitemap в корневой каталог Вашего веб-сервера.
Например, если адрес Вашего сервера — primer.ru, Ваш файл индекса Sitemap должен
быть размещен по адресу http://primer.ru/sitemap.xml. Возможно, в некоторых случаях
нужно будет создать различные файлы Sitemap для различных путей на Вашем сайте (например,
если полномочия доступа в Вашей организации установлены таким образом, что доступ
с правом записи к различным каталогам предоставляется отдельно)."
