Які сторінки потрібно закрити від індексації

До такого контенту можна віднести технічні та адміністративні сторінки сайту (кошик, сторінка оплати, результатів пошуку, авторизація тощо), дані з персональною інформацією, набори фільтрів каталогу товару в електронній комерції (множинний вибір фільтрів за ціною, кольором, фактурою тощо).

Краулінговий бюджет — це певна кількість сторінок сайту, яку періодично сканує пошукова система. Для сайтів це значення кількості сторінок не постійне і в тому числі залежить від типу сайту і частоти його оновлення. У наших інтересах витрачати ресурси краулерів на ті сторінки, які становлять цінність і користь як для клієнта, так і для нас (бізнесу). Щоб краулер частіше відвідував і оновлював контент в індексі потрібних нам сторінок, необхідно закрити від сканування ті, які витягають краулінговий бюджет і не приносять користі.

Якщо проєкт тільки в процесі створення, краще закрити сайт від пошукових систем. Рекомендується відкрити доступ до сканування наповнених і оптимізованих сторінок, відображення яких у результатах пошуку доцільне. Під час розробки сайту на тестовому сервері доступ до нього має бути обмежений за допомогою файлу robots.txt, метатега noindex або пароля, однак пріоритетний варіант — це саме присвоєння метатега <meta name="robots" content="noindex, nofollow" />  до всіх сторінок ресурсу, адже в такому разі індексація сторінки неможлива, на відміну від robots.txt, де директива заборони скоріше рекомендація для краулера, а індексація сторінок однаково можлива. Найчастіше програмісту не складно додати потрібну логіку, щоб вивести додатковий метатег і заборонити індексацію сайту. Для Word Press можна використовувати налаштування плагіну Yoast SEO або іншого з подібною функцією.

Закрити сайт від індексації в robots.txt можна так (перша директива означає звернення до всіх краулерів, друга директива — забороняє сканувати всі URL сайту):

User-agent: *
Disallow: /

Ці два рядки заборонять доступ до сайту всім роботам пошукових систем.

Якщо потрібно при цьому дозволити сканувати конкретні URL, потрібно додати директиву Allow: /namepage$ де /namepage URL сторінки дозволеної до сканування. Директива дозволу сканування домінує над забороною (для конкретного URL), а значок $ скасовує застосування за замовчуванням не виведеного символу "*". Тобто якщо не поставити $ — ми дозволимо сканувати вкладені відносно головного URL, такі як /namepage/indexpage.html і т.д.

Заборона індексації для сайту на сервері NGINX здійснюється за допомогою додавання коду add_header X-Robots-Tag "noindex, nofollow"; у файл .conf.

Налаштовуючи копію сайту, важливо правильно вказати дзеркало за допомогою 301 редиректу або атрибута rel="canonical", щоб зберегти позиції наявного ресурсу і проінформувати пошукову систему: де сайт-першоджерело, а де його аналог. Закривати від індексації робочий ресурс вкрай небажано. Тим самим можна анулювати вік сайту і напрацьовану репутацію.

Сторінки друку можуть бути корисні відвідувачеві. Потрібну інформацію можна видрукувати у вигляді адаптованого тексту: статтю, відомості про товар, карту розташування організації.

По суті, сторінка друку є копією її основної версії. Якщо ця сторінка відкрита для індексації, пошуковий робот може вибрати її пріоритетною і більш релевантною. Для правильної оптимізації сайту з великою кількістю сторінок слід встановити заборону індексації сторінок для друку.

Щоб закрити посилання на документ, можна використовувати виведення контенту за допомогою AJAX, закрити сторінки за допомогою метатегу <meta name="robots" content="noindex, follow"/> , або в роботс закрити від індексації всі сторінки друку.

На сайті, крім сторінок з основним контентом, можуть бути документи PDF, DOC, XLS, доступні для читання і завантаження. У результатах пошуку поряд зі сторінками сайту можна побачити заголовки pdf-файлів.

Можливо, вміст цих файлів не відповідає запитам цільової аудиторії сайту. Або ж документи з'являються в пошуку вище html-сторінок сайту. У цьому разі індексація документів небажана, і їх краще закрити від сканування у файлі robots.txt.

Приклад індексації pdf-файлу на сайті

Сюди відносять усі сторінки, що корисні для клієнтів, але не несуть інформаційної цінності для інших користувачів і, як наслідок, пошукових систем. Це можуть бути форми реєстрації та оформлення заявок, кошик, особистий кабінет. Доступ до таких сторінок слід обмежити.

Технічні сторінки потрібні виключно для службового використання адміністратором. Наприклад, форма авторизації для входу в панель керування має закриватись від індексації.

Ці дані можуть містити не тільки ім'я та прізвище зареєстрованого користувача, а й контактні та платіжні дані, залишені під час оформлення замовлення. Ця інформація має бути надійно захищена від перегляду.

Особливості структури таких сторінок роблять їх схожими одна на одну. Щоб знизити ризик санкцій від пошукових систем за дубльований контент, рекомендуємо закривати до них доступ.

Метатег robots зі значенням noindex у html-файлі

Щоб закрити сторінку від індексації, використовуйте атрибут noindex у html-коді сторінки — це сигнал пошуковій системі про те, що її слід виключити з результатів пошуку. Щоб використовувати метатеги, необхідно в заголовок <head>  відповідного html-документа додати <meta name="robots" content="noindex, follow"/>.

Це дає змогу повністю закрити сторінку, залишивши роботам можливість переходити за розміщеними на сторінці посиланнями. Просто замініть follow на nofollow:

<meta name="robots" content="noindex, nofollow"/>

У разі використання цих методів сторінка буде закрита для сканування навіть за наявності зовнішніх посилань на неї.

Як закрити сайт від індексації Google

Ви можете також закрити доступ до сайту тільки ботам Google. Додайте цей метатег всередині <head> </head>  усіх сторінок ресурсу:

<meta name="googlebot" content="noindex, nofollow"/>

Через robots доступ до сайту ботам Google закривається так:

User-agent: googlebot
Disallow: /

Ще можна заборонити доступ до будь-яких статей сайту роботам Google Новин, тоді вони не з'являться в Google News:

<meta name="Googlebot-News" content="noindex, nofollow">.

Файл robots.txt

У цьому документі можна заблокувати доступ до всіх обраних сторінок або вказати пошуковикам не індексувати сайт.

Обмежити індексацію сторінок через файл robots.txt можна так:

Щоб використання цього методу було ефективним, слід перевірити, чи немає зовнішніх посилань на розділ сайту, який потрібно приховати, а також змінити всі внутрішні посилання, що ведуть на нього.

Файл конфігурації .htaccess

Використовуючи цей документ можна обмежити доступ до сайту за допомогою пароля. Необхідно вказати Username користувачів, які зможуть потрапити до потрібних сторінок і документів, у файлі паролів .htpasswd. Потім вказати шлях до цього файлу за допомогою спеціального коду у файлі .htaccess.

Видалення URL через сервіси вебмайстрів

У Google Search Console можна прибрати сторінку з результатів пошуку, вказавши URL у спеціальній формі та позначивши причину її видалення. Функція видалення сторінок доступна в розділі "Індекс Google". Обробка запиту може зайняти деякий час.

Видалення URL-адрес з індексу в Search Console