Как задать в robots.txt директивы для роботов Google и Яндекса

2. Где можно найти файл robots.txt и как его создать или редактировать
3. Как создать и редактировать robots.txt
4. Инструкция по работе с robots.txt
5. Синтаксис в robots.txt
6. Директивы в Robots.txt
- Disallow
- Allow
- Sitemap
- Clean-param
- Crawl-delay
7. Как проверить работу файла robots.txt
- В Яндекс.Вебмастер
- В Google Search Console
Заключение
Зачем robots.txt нужен на сайте



Где можно найти файл robots.txt и как его создать или редактировать

Как создать и редактировать robots.txt
Вручную




Через модули/дополнения/плагины

Инструкция по работе с robots.txt
Синтаксис в robots.txt
Директивы в Robots.txt
Disallow
User-agent: *
Disallow: /
Disallow: /category1/
User-agent: *
Disallow: /category2/$
User-agent: *
Disallow:
Allow
Disallow: */feed/*
Allow: /feed/turbo/
Allow: /doc.xml
Sitemap
Важно понимать, что в отличие от стандартных директив у нее есть особенности в записи:
Clean-param
www.example1.com/forum/showthread.php?s=681498b9648949605&t=8243
www.example1.com/forum/showthread.php?s=1e71c4427317a117a&t=8243
#robots.txt будет содержать:
User-agent: Yandex
Disallow:
Clean-param: s /forum/showthread.php
www.example2.com/index.php?page=1&sid=2564126ebdec301c607e5df
www.example2.com/index.php?page=1&sid=974017dcd170d6c4a5d76ae
#robots.txt будет содержать:
User-agent: Yandex
Disallow:
Clean-param: sid /index.php
Подробнее о данной директиве можно прочитать здесь.
Crawl-delay
Crawl-delay: 3
Заказывайте бесплатную персональную демонстрацию сервиса, и наши специалисты вам все расскажут! ;)

Как проверить работу файла robots.txt
В Яндекс.Вебмастер


В нашем случае мы проверяем эти правила.



В Google Search Console




Заключение
Пропишите к каким поисковым роботам вы обращаетесь и дайте им команду, как описано выше.
Далее, проверьте его правильность через встроенные инструменты Google и Яндекс. Если не возникает ошибок, сохраните файл в корневую папку и еще раз проверьте его доступность, перейдя по ссылке http://yoursiteadress.com/robots.txt. Активная ссылка говорит о том, что все сделано правильно.
Помните, что директивы носят рекомендательный характер, а для того чтобы полностью запретить индексирование страницы нужно воспользоваться другими методами.

о выполнении работ по конкретному проекту. Инструмент содержит готовые шаблоны с обширным списком параметров по развитию проекта, к которым также можно добавлять собственные пункты.
Начать работу со «Списком задач» |
Сэкономьте время на изучении Serpstat
Хотите получить персональную демонстрацию сервиса, тестовый период или эффективные кейсы использования Serpstat?
Оставьте заявку и мы свяжемся с вами ;)
Кейсы, лайфхаки, исследования и полезные статьи
Не успеваешь следить за новостями? Не беда! Наш любимый редактор Анастасия подберет материалы, которые точно помогут в работе. Присоединяйся к уютному комьюнити :)
Нажимая кнопку, ты соглашаешься с нашей политикой конфиденциальности.
Комментарии