Serpstat использует файлы cookie для обеспечения работоспособности сервиса, улучшения навигации, предоставления возможности связаться с командой поддержки, а также маркетинговых активностей Serpstat.

Нажав кнопку "Принять и продолжить", вы соглашаетесь с Политики конфиденциальности

Принять и продолжить

Сообщить об ошибке

Отменить
6475 1
How-to Читать 7 минут 28 ноября 2018

Как провести анализ логов сайта

Как анализировать логи сайта
ЧЕК-ЛИСТ: ТЕХНИЧЕСКАЯ ЧАСТЬ — АНАЛИЗ
Инструкцию одобрил
SEO-специалист в Luxeo
Каждое обращение к вашему веб-ресурсу фиксируется — как от пользователя, так и от поисковых краулеров. Это позволяет увидеть, какие поисковые системы, сканируют ваш сайт, как вел себя на сайте посетитель и прочее.
Логи сайта, как правило, имеют ценность для технического аудита веб-площадок и могут быть чрезвычайно полезными для SEO-оптимизации.

Анализ логов сервера:

  • показывает, сколько краулингового бюджета теряется и где именно;
  • помогает выявить и корректно настроить возникшие ошибки 404, 500 и прочие;
  • позволяет найти страницы, которые редко сканируются или игнорируются поисковиками;
  • дает еще множество возможностей.

Как работает web server log file

Когда пользователь вводит URL-адрес в браузер, тот сначала разбивает его на три компонента. Например:
https://your_site_address.com/example.html
В данном случае браузер понимает, что https — это протокол, your_site_address.com — название сервера, а example.html — имя файла.

Название сервера преобразуется в IP-адрес через сервер доменных имен. Затем HTTP-запрос GET отправляется на веб-сервер через соответствующий протокол для запрашиваемой страницы или файла, при этом HTML возвращается в браузер, а затем интерпретируется для форматирования видимой страницы на экране. Каждый из этих запросов записывается в log file веб-сервера.

Проще говоря, процесс выглядит так: посетитель совершает переход по странице, браузер передает его запрос серверу, на котором расположен веб-сайт. Сервер выдает запрошенную пользователем страницу в ответ. И после этого фиксирует все происходящее в log-файле.

Все, что вам нужно, чтобы проанализировать сканирование сайта поисковой системой, — экспортировать данные и отфильтровать запросы, сделанные роботом, например, Googlebot. С помощью браузера и диапазона IP это сделать удобнее.

Сам лог-файл представляет собой сырую информацию, сплошной текст. Но правильная обработка и анализ дают неограниченный источник информации.

Содержание и структура лог-файла

Структура журнала в конечном счете зависит от типа используемого сервера и конфигураций. Например, анализ логов Apache будет отличаться от анализа логов Nginx. Но есть несколько общих атрибутов, которые почти всегда содержатся в файле:

  • IP-адрес запроса;
  • дата и время;
  • география;
  • метод GET / POST;
  • запрос к URL;
  • код состояния HTTP;
  • браузер.
Пример записи, включая приведенные выше данные:

111.11.111.111 - - [12 / Oct / 2018: 01: 02: 03 -0100] « GET / resources / whitepapers / retail-whitepaper / HTTP / 1.1 « 200 »-« »Opera / 1.0 (совместимый; Googlebot / 2.1; + http://www.google.com/bot.html)

Дополнительные атрибуты, которые иногда можно увидеть, включают:

  • имя хоста;
  • запрос / клиентский IP-адрес;
  • загруженные байты;
  • затраченное время.

Экспорт лог-файла на WordPress

Чтобы подобный файл появился и для сайта на платформе WordPress, необходимо включить функцию логирования. Для этого найдите в корневой папке сайта файл с названием wp-config.php. Скачайте файл на компьютер, чтобы получить доступ к редактированию.

Далее найдите строку: «That's all, stop editing! Happy blogging». Перед ней добавьте новую строку кода:
define( 'WP_DEBUG', true );
Это переведет сайт в режим отладки, что включит отображение уведомлений об ошибках.

Теперь запустите запись ошибок в log-файл. Для этого сразу под предыдущей строкой кода добавьте новую:
define( 'WP_DEBUG_LOG', true );
Чтобы зайти в log-файл сайта на WordPress, нужно перейти в FTP или менеджер файлов. Далее в общей папке сайта откройте папку wp-content, в ней найдите файл с именем debug, как показано на скриншоте:
Как найти лог-файл на WordPress
На некоторых сайтах файл может содержаться в папках logs или access logs.

Так вы откроете лог-файл, который необходимо скопировать и перенести в Excel для более простой сортировки. В целях анализа обычно используются данные за месячный период.

Анализаторы файлов журналов

По мере того, как все больше и больше компаний переходят в облако, аналитики журнала, анализ логов и инструменты управления журналами становятся все более востребованными.

Некоторые проверяют лог-файлы вручную. Веб-мастера экспортируют файл и анализируют его в программе Excel. В таком случае понадобится только сортировка и несколько формул, но данный подход — устаревший, и здесь рассматриваться не будет.

Использование специальных инструментов для анализа файлов журналов может облегчить обработку больших объемов информации.

Некоторые веб-мастера устанавливают анализатор логов на сам сервер. Способ удобен для проектов, расположенных на собственных серверах, — тогда логи будут сохранены неограниченное количество времени. А проекты, которые находятся на стороннем хостинге, будут поставлены в рамки — хранение максимум 1 месяц. Поэтому возникает необходимость производить ротацию и архивирование.

Screaming Frog Log File Analyzer

Для примера проведем анализ лог файлов через Screaming Frog Log File Analyzer.

Инструмент предоставляет доступ к бесплатной версии, ограничивая журнал событий одной тысячей строк. Для некрупного проекта этого объема хватит.

Скачайте и установите программу на компьютер, далее выгрузите лог-файлы или составьте список всех URL-адресов, которые присутствуют на веб-площадке. Экспорт файла описан выше в статье.

Откройте программу и, воспользовавшись кнопкой New на верхней панели, создайте новый проект:
Анализ логов в Screaming Frog Log File Analyzer
Затем откроется окно основного управления, в котором собрана информация о посещениях веб-ресурса поисковыми роботами.
Анализатор логов Screaming Frog Log File Analyzer
Более подробная информация находится во вкладках отчета.
Анализ логов сайта онлайн в Screaming Frog Log File Analyzer
Анализ логов онлайн покажет в таблице коды ответа страниц, даты последних переходов, контент, количество поисковых ботов и прочее.

Остальные анализаторы рассмотрим более кратко.

GoAccess предназначен для быстрого анализа данных. Его основная идея — быстро посмотреть логи сервера и проанализировать их в режиме реального времени без необходимости использования вашего браузера.

Splunk позволяет вам обрабатывать бесплатно до 500 МБ данных в день. Это отличный способ собирать, хранить, искать, сравнивать, анализировать журналы сайта.

Logmatic.io — инструмент анализа журналов, разработанный специально для улучшения работы программного обеспечения. Акцент делается на программные данные, куда входят и журналы. На данный момент инструмент платный.

Logstash — бесплатный инструмент с открытым исходным кодом для управления событиями и журналами. Его можно использовать для сбора журналов, их хранения и анализа.

Заключение

Анализ log-файлов полезен прежде всего для SEO-продвижения сайта. Для его проведения потребуется выгрузить файл из корневой папки сайта.

Данные, которые в большинстве случаев содержатся в инструменте:

  • IP-адрес запроса;
  • дата и время;
  • география;
  • метод GET / POST;
  • запрос к URL;
  • код состояния HTTP;
  • браузер.

Чтобы проанализировать файл, воспользуйтесь сортировкой и сделайте это вручную в таблице Excel или установите программу Screaming Frog Log File Analyzer или ее аналоги. Также есть ряд инструментов, которые устанавливаются непосредственно на сервера веб-сайта. Этот вариант подойдет при наличии собственных серверов.
Эта статья — часть модуля «Список задач» в Serpstat
«Список задач» в Serpstat
«Список задач» — готовый to-do лист, который поможет вести учет
о выполнении работ по конкретному проекту. Инструмент содержит готовые шаблоны с обширным списком параметров по развитию проекта, к которым также можно добавлять собственные пункты.
Начать работу со «Списком задач»

Сэкономьте время на изучении Serpstat

Хотите получить персональную демонстрацию сервиса, тестовый период или эффективные кейсы использования Serpstat?

Оставьте заявку и мы свяжемся с вами ;)

Оцените статью по 5-бальной шкале

3.7 из 5 на основе 10 оценок
Нашли ошибку? Выделите её и нажмите Ctrl + Enter, чтобы сообщить нам.

Поделитесь статьей с вашими друзьями

Войти Регистрация

Вы исчерпали лимит запросов.

Или email
Забыли пароль?
Или email
Back To Login

Не волнуйтесь! Напишите свой электронный адрес и мы пришлем вам новый пароль.

Вы уверены?

Awesome!

To complete your registration you need to enter your phone number

Назад

Мы отправили код подтверждения на ваш номер телефона

Your phone Resend code Осталось запросов

Что-то пошло не так.

Свяжитесь с нашей службой поддержки
Или подтвердите регистрацию с помощью Телеграм бота Перейдите по этой ссылке
Выберите один из проектов

Знакомство с сервисом

Ознакомьтесь с основными возможностями Serpstat удобным способом!

Отправьте заявку для ознакомления с сервисом и мы свяжемся с вами в кратчайшие сроки. Наш специалист предложит подходящий вариант, который может включать персональную демонстрацию, пробный период, материалы для обучения и повышения экспертизы, личную консультацию, а также комфортные условия для начала работы с Serpstat.

Имя

Email

Телефон

Будем рады вашему комментарию
Увеличить лимиты

Улучшить тариф

Экспорт недоступен для вашего тарифного плана. Вам необходимо улучшить свой тариф до Lite или выше, чтобы получить доступ к инструменту Подробнее

Зарегистрироваться

Спасибо, мы с вами свяжемся в ближайшее время

Пригласить
Просмотр Редактирование

E-mail
Сообщение
необязательно
E-mail
Сообщение
необязательно

У вас закончились лимиты

Вы достигли лимита на количество созданных проектов и больше не можете создавать новые проекты. Увеличьте лимиты или удалите существующие проекты.

Я хочу больше лимитов