Мы используем файлы cookie для обеспечения работоспособности сервиса, улучшения навигации и маркетинговых активностей Serpstat. Нажимая "Принять и продолжить", вы соглашаетесь с нашей Политика конфиденциальности

Сообщить об ошибке

Отменить
22224 18
How-to Читать 7 минут

Как провести анализ логов сайта

Как анализировать логи сайта
ЧЕК-ЛИСТ: ТЕХНИЧЕСКАЯ ЧАСТЬ — АНАЛИЗ
Инструкцию одобрил
SEO-специалист в Luxeo
Каждое обращение к вашему веб-ресурсу фиксируется — как от пользователя, так и от поисковых краулеров. Это позволяет увидеть, какие поисковые системы, сканируют ваш сайт, как вел себя на сайте посетитель и прочее.
Логи сайта, как правило, имеют ценность для технического аудита веб-площадок и могут быть чрезвычайно полезными для SEO-оптимизации.

Анализ логов сервера:

  • показывает, сколько краулингового бюджета теряется и где именно;
  • помогает выявить и корректно настроить возникшие ошибки 404, 500 и прочие;
  • позволяет найти страницы, которые редко сканируются или игнорируются поисковиками;
  • дает еще множество возможностей.

Как работает web server log file

Когда пользователь вводит URL-адрес в браузер, тот сначала разбивает его на три компонента. Например:
https://your_site_address.com/example.html
В данном случае браузер понимает, что https — это протокол, your_site_address.com — название сервера, а example.html — имя файла.

Название сервера преобразуется в IP-адрес через сервер доменных имен. Затем HTTP-запрос GET отправляется на веб-сервер через соответствующий протокол для запрашиваемой страницы или файла, при этом HTML возвращается в браузер, а затем интерпретируется для форматирования видимой страницы на экране. Каждый из этих запросов записывается в log file веб-сервера.

Проще говоря, процесс выглядит так: посетитель совершает переход по странице, браузер передает его запрос серверу, на котором расположен веб-сайт. Сервер выдает запрошенную пользователем страницу в ответ. И после этого фиксирует все происходящее в log-файле.

Все, что вам нужно, чтобы проанализировать сканирование сайта поисковой системой, — экспортировать данные и отфильтровать запросы, сделанные роботом, например, Googlebot. С помощью браузера и диапазона IP это сделать удобнее.

Сам лог-файл представляет собой сырую информацию, сплошной текст. Но правильная обработка и анализ дают неограниченный источник информации.

Содержание и структура лог-файла

Структура журнала в конечном счете зависит от типа используемого сервера и конфигураций. Например, анализ логов Apache будет отличаться от анализа логов Nginx. Но есть несколько общих атрибутов, которые почти всегда содержатся в файле:

  • IP-адрес запроса;
  • дата и время;
  • география;
  • метод GET / POST;
  • запрос к URL;
  • код состояния HTTP;
  • браузер.
Пример записи, включая приведенные выше данные:

111.11.111.111 - - [12 / Oct / 2018: 01: 02: 03 -0100] « GET / resources / whitepapers / retail-whitepaper / HTTP / 1.1 « 200 »-« »Opera / 1.0 (совместимый; Googlebot / 2.1; + http://www.google.com/bot.html)

Дополнительные атрибуты, которые иногда можно увидеть, включают:

  • имя хоста;
  • запрос / клиентский IP-адрес;
  • загруженные байты;
  • затраченное время.

Экспорт лог-файла на WordPress

Чтобы подобный файл появился и для сайта на платформе WordPress, необходимо включить функцию логирования. Для этого найдите в корневой папке сайта файл с названием wp-config.php. Скачайте файл на компьютер, чтобы получить доступ к редактированию.

Далее найдите строку: «That's all, stop editing! Happy blogging». Перед ней добавьте новую строку кода:
define( 'WP_DEBUG', true );
Это переведет сайт в режим отладки, что включит отображение уведомлений об ошибках.

Теперь запустите запись ошибок в log-файл. Для этого сразу под предыдущей строкой кода добавьте новую:
define( 'WP_DEBUG_LOG', true );
Чтобы зайти в log-файл сайта на WordPress, нужно перейти в FTP или менеджер файлов. Далее в общей папке сайта откройте папку wp-content, в ней найдите файл с именем debug, как показано на скриншоте:
Как найти лог-файл на WordPress
На некоторых сайтах файл может содержаться в папках logs или access logs.

Так вы откроете лог-файл, который необходимо скопировать и перенести в Excel для более простой сортировки. В целях анализа обычно используются данные за месячный период.

Анализаторы файлов журналов

По мере того, как все больше и больше компаний переходят в облако, аналитики журнала, анализ логов и инструменты управления журналами становятся все более востребованными.

Некоторые проверяют лог-файлы вручную. Веб-мастера экспортируют файл и анализируют его в программе Excel. В таком случае понадобится только сортировка и несколько формул, но данный подход — устаревший, и здесь рассматриваться не будет.

Использование специальных инструментов для анализа файлов журналов может облегчить обработку больших объемов информации.

Некоторые веб-мастера устанавливают анализатор логов на сам сервер. Способ удобен для проектов, расположенных на собственных серверах, — тогда логи будут сохранены неограниченное количество времени. А проекты, которые находятся на стороннем хостинге, будут поставлены в рамки — хранение максимум 1 месяц. Поэтому возникает необходимость производить ротацию и архивирование.

Screaming Frog Log File Analyzer

Для примера проведем анализ лог файлов через Screaming Frog Log File Analyzer.

Инструмент предоставляет доступ к бесплатной версии, ограничивая журнал событий одной тысячей строк. Для некрупного проекта этого объема хватит.

Скачайте и установите программу на компьютер, далее выгрузите лог-файлы или составьте список всех URL-адресов, которые присутствуют на веб-площадке. Экспорт файла описан выше в статье.

Откройте программу и, воспользовавшись кнопкой New на верхней панели, создайте новый проект:
Анализ логов в Screaming Frog Log File Analyzer
Затем откроется окно основного управления, в котором собрана информация о посещениях веб-ресурса поисковыми роботами.
Анализатор логов Screaming Frog Log File Analyzer
Более подробная информация находится во вкладках отчета.
Анализ логов сайта онлайн в Screaming Frog Log File Analyzer
Анализ логов онлайн покажет в таблице коды ответа страниц, даты последних переходов, контент, количество поисковых ботов и прочее.

Остальные анализаторы рассмотрим более кратко.

GoAccess предназначен для быстрого анализа данных. Его основная идея — быстро посмотреть логи сервера и проанализировать их в режиме реального времени без необходимости использования вашего браузера.

Splunk позволяет вам обрабатывать бесплатно до 500 МБ данных в день. Это отличный способ собирать, хранить, искать, сравнивать, анализировать журналы сайта.

Logmatic.io — инструмент анализа журналов, разработанный специально для улучшения работы программного обеспечения. Акцент делается на программные данные, куда входят и журналы. На данный момент инструмент платный.

Logstash — бесплатный инструмент с открытым исходным кодом для управления событиями и журналами. Его можно использовать для сбора журналов, их хранения и анализа.

Заключение

Анализ log-файлов полезен прежде всего для SEO-продвижения сайта. Для его проведения потребуется выгрузить файл из корневой папки сайта.

Данные, которые в большинстве случаев содержатся в инструменте:

  • IP-адрес запроса;
  • дата и время;
  • география;
  • метод GET / POST;
  • запрос к URL;
  • код состояния HTTP;
  • браузер.

Чтобы проанализировать файл, воспользуйтесь сортировкой и сделайте это вручную в таблице Excel или установите программу Screaming Frog Log File Analyzer или ее аналоги. Также есть ряд инструментов, которые устанавливаются непосредственно на сервера веб-сайта. Этот вариант подойдет при наличии собственных серверов.
Эта статья — часть модуля «Список задач» в Serpstat
«Список задач» в Serpstat
«Список задач» — готовый to-do лист, который поможет вести учет
о выполнении работ по конкретному проекту. Инструмент содержит готовые шаблоны с обширным списком параметров по развитию проекта, к которым также можно добавлять собственные пункты.
Начать работу со «Списком задач»

Сэкономьте время на изучении Serpstat

Хотите получить персональную демонстрацию сервиса, тестовый период или эффективные кейсы использования Serpstat?

Оставьте заявку и мы свяжемся с вами ;)

Оцените статью по 5-бальной шкале

4.05 из 5 на основе 18 оценок
Нашли ошибку? Выделите её и нажмите Ctrl + Enter, чтобы сообщить нам.