Как провести анализ логов сайта

Логи сайта, как правило, имеют ценность для технического аудита веб-площадок и могут быть чрезвычайно полезными для SEO-оптимизации.

Анализ логов сервера:

• показывает, сколько краулингового бюджета теряется и где именно;
  
• помогает выявить и корректно настроить возникшие ошибки 404, 500 и прочие;
  
• позволяет найти страницы, которые редко сканируются или игнорируются поисковиками;
  
• дает еще множество возможностей.

Когда пользователь вводит URL-адрес в браузер, тот сначала разбивает его на три компонента. Например:

В данном случае браузер понимает, что https — это протокол, your_site_address.com — название сервера, а example.html — имя файла.

Название сервера преобразуется в IP-адрес через сервер доменных имен. Затем HTTP-запрос GET отправляется на веб-сервер через соответствующий протокол для запрашиваемой страницы или файла, при этом HTML возвращается в браузер, а затем интерпретируется для форматирования видимой страницы на экране. Каждый из этих запросов записывается в log file веб-сервера.

Проще говоря, процесс выглядит так: посетитель совершает переход по странице, браузер передает его запрос серверу, на котором расположен веб-сайт. Сервер выдает запрошенную пользователем страницу в ответ. И после этого фиксирует все происходящее в log-файле.

Все, что вам нужно, чтобы проанализировать сканирование сайта поисковой системой, — экспортировать данные и отфильтровать запросы, сделанные роботом, например, Googlebot. С помощью браузера и диапазона IP это сделать удобнее.

Сам лог-файл представляет собой сырую информацию, сплошной текст. Но правильная обработка и анализ дают неограниченный источник информации.

Структура журнала в конечном счете зависит от типа используемого сервера и конфигураций. Например, анализ логов Apache будет отличаться от анализа логов Nginx. Но есть несколько общих атрибутов, которые почти всегда содержатся в файле:

• IP-адрес запроса;
  
• дата и время;
  
• география;
  
• метод GET / POST;
  
• запрос к URL;
  
• код состояния HTTP;
  
• браузер.
  

Пример записи, включая приведенные выше данные:

111.11.111.111 - - [12 / Oct / 2018: 01: 02: 03 -0100] « GET / resources / whitepapers / retail-whitepaper / HTTP / 1.1 « 200 »-« »Opera / 1.0 (совместимый; Googlebot / 2.1; + http://www.google.com/bot.html)

Дополнительные атрибуты, которые иногда можно увидеть, включают:

• имя хоста;
  
• запрос / клиентский IP-адрес;
  
• загруженные байты;
  
• затраченное время.
  

Чтобы подобный файл появился и для сайта на платформе WordPress, необходимо включить функцию логирования. Для этого найдите в корневой папке сайта файл с названием wp-config.php. Скачайте файл на компьютер, чтобы получить доступ к редактированию.

Далее найдите строку: «That's all, stop editing! Happy blogging». Перед ней добавьте новую строку кода:

Это переведет сайт в режим отладки, что включит отображение уведомлений об ошибках.

Теперь запустите запись ошибок в log-файл. Для этого сразу под предыдущей строкой кода добавьте новую:

Чтобы зайти в log-файл сайта на WordPress, нужно перейти в FTP или менеджер файлов. Далее в общей папке сайта откройте папку wp-content, в ней найдите файл с именем debug, как показано на скриншоте:

На некоторых сайтах файл может содержаться в папках logs или access logs.

Так вы откроете лог-файл, который необходимо скопировать и перенести в Excel для более простой сортировки. В целях анализа обычно используются данные за месячный период.

По мере того, как все больше и больше компаний переходят в облако, аналитики журнала, анализ логов и инструменты управления журналами становятся все более востребованными.

Некоторые проверяют лог-файлы вручную. Веб-мастера экспортируют файл и анализируют его в программе Excel. В таком случае понадобится только сортировка и несколько формул, но данный подход — устаревший, и здесь рассматриваться не будет.

Использование специальных инструментов для анализа файлов журналов может облегчить обработку больших объемов информации.

Некоторые веб-мастера устанавливают анализатор логов на сам сервер. Способ удобен для проектов, расположенных на собственных серверах, — тогда логи будут сохранены неограниченное количество времени. А проекты, которые находятся на стороннем хостинге, будут поставлены в рамки — хранение максимум 1 месяц. Поэтому возникает необходимость производить ротацию и архивирование.

Для примера проведем анализ лог файлов через Screaming Frog Log File Analyzer.

Инструмент предоставляет доступ к бесплатной версии, ограничивая журнал событий одной тысячей строк. Для некрупного проекта этого объема хватит.

Скачайте и установите программу на компьютер, далее выгрузите лог-файлы или составьте список всех URL-адресов, которые присутствуют на веб-площадке. Экспорт файла описан выше в статье.

Откройте программу и, воспользовавшись кнопкой New на верхней панели, создайте новый проект:

Затем откроется окно основного управления, в котором собрана информация о посещениях веб-ресурса поисковыми роботами.

Более подробная информация находится во вкладках отчета.

Анализ логов онлайн покажет в таблице коды ответа страниц, даты последних переходов, контент, количество поисковых ботов и прочее.

Остальные анализаторы рассмотрим более кратко.

GoAccess предназначен для быстрого анализа данных. Его основная идея — быстро посмотреть логи сервера и проанализировать их в режиме реального времени без необходимости использования вашего браузера.

Splunk позволяет вам обрабатывать бесплатно до 500 МБ данных в день. Это отличный способ собирать, хранить, искать, сравнивать, анализировать журналы сайта.

Logmatic.io — инструмент анализа журналов, разработанный специально для улучшения работы программного обеспечения. Акцент делается на программные данные, куда входят и журналы. На данный момент инструмент платный.

Logstash — бесплатный инструмент с открытым исходным кодом для управления событиями и журналами. Его можно использовать для сбора журналов, их хранения и анализа.

Анализ log-файлов полезен прежде всего для SEO-продвижения сайта. Для его проведения потребуется выгрузить файл из корневой папки сайта.

Данные, которые в большинстве случаев содержатся в инструменте:

• IP-адрес запроса;
  
• дата и время;
  
• география;
  
• метод GET / POST;
  
• запрос к URL;
  
• код состояния HTTP;
  
• браузер.

Чтобы проанализировать файл, воспользуйтесь сортировкой и сделайте это вручную в таблице Excel или установите программу Screaming Frog Log File Analyzer или ее аналоги. Также есть ряд инструментов, которые устанавливаются непосредственно на сервера веб-сайта. Этот вариант подойдет при наличии собственных серверов.