Wie analysiert man die Logdateien der Websites

Wenn ein Benutzer eine URL in einen Browser eingibt, unterteilt er diese zunächst in drei Komponenten. Zum Beispiel:

In diesem Fall erkennt der Browser, dass HTTPS das Protokoll ist, deine-seite.com – der Servername und beispiel.html – der Dateiname.

Der Servername wird über einen Domainname-Server in eine IP-Adresse umgewandelt. Die HTTP-GET-Anforderung wird dann über das entsprechende Protokoll für die angeforderte Seite oder Datei an den Webserver gesendet, der HTML-Code wird an den Browser zurückgegeben und dann interpretiert, um die sichtbare Seite auf dem Bildschirm zu formatieren. Jede dieser Anforderungen wird in der Protokolldatei des Webservers aufgezeichnet.

Einfach ausgedrückt sieht der Vorgang so aus: Der Besucher navigiert auf der Seite, der Browser sendet seine Anfrage an den Server, auf dem sich die Website befindet. Der Server gibt die vom Benutzer angeforderte Seite zurück. Danach fixiert es alles, was passiert, in der Logdatei. Alles was du brauchst, um eine Abtastung einer Website mit der Suchmaschine zu analysieren, ist das Exportieren von Daten und das Filtern der Anforderungen eines Roboters, beispielsweise Googlebot. Es ist bequemer, mit einem Browser und einen IP-Bereich zu machen.

Die Logdatei selbst ist eine unformatierte Information, ein fester Text. Eine ordnungsgemäße Verarbeitung und Analyse bietet jedoch eine unbegrenzte Informationsquelle.

Die Protokollstruktur hängt letztendlich vom verwendeten Servertyp und den Konfigurationen ab. Beispielsweise unterscheidet sich die Analyse von Apache-Logs von der Analyse von Nginx-Logs. Es gibt jedoch mehrere gemeinsame Attribute, die fast immer in einer Datei enthalten sind:

• IP-Adresse der Anfrage
• Datum und Uhrzeit
• Geografie
• GET / POST-Methode
• URL-Anfrage
• HTTP-Statuscode
• Browser.

Ein Beispiel für einen Datensatz mit den oben genannten Daten:

111.11.111.111 - - [12 / Oct / 2018: 01: 02: 03 -0100] « GET / resources / whitepapers / retail-whitepaper / HTTP / 1.1 « 200 »-« »Opera / 1.0 (vereinbar; Googlebot / 2.1; + http://www.google.com/bot.html)

Zusätzliche Attribute, die manchmal zu sehen sind, sind:

• Hostname
• Anfrage / Client-IP-Adresse
• geladene Bytes
• verstrichene Zeit.

Damit eine ähnliche Datei für eine WordPress-Site angezeigt wird, musst du die Protokollierungsfunktion aktivieren. Suche dazu die Datei wp-config.php im Stammverzeichnis der Site. Lade die Datei auf deinen Computer herunter, um auf die Bearbeitung zuzugreifen.

Suche als Nächstes die Zeile: «That's all, stop editing! Happy blogging». Füge vor ihr eine neue Codezeile ein:

Dadurch wird die Site in den Debug-Modus versetzt, in dem Fehlermeldungen angezeigt werden.

Beginne nun mit der Aufzeichnung von Fehlern in der Logdatei. Füge dazu direkt unter der vorherigen Codezeile eine neue hinzu:

Um die Logdatei der Site in WordPress einzugeben, musst zu FTP oder zum Dateimanager wechseln. Öffne anschließend im freigegebenen Ordner der Site den Ordner "wp-content" und suche die Datei mit dem Namen "debug", wie im Screenshot gezeigt:

Auf einigen Sites ist die Datei möglicherweise in den «logs» oder «access logs» Ordnern enthalten.

Du öffnest also eine Protokolldatei, die du kopierst und zur einfacheren Sortierung nach Excel übertragen müssen. Zu Analysezwecken werden normalerweise Daten für einen monatlichen Zeitraum verwendet.

Da immer mehr Unternehmen in Cloud gehen, Analysten des Protokolls, die Protokollanalyse- und Log-Management-Tools werden immer mehr.

Einige von ihnen prüfen Logdateien manuell. Die Webmaster exportieren die Datei und analysiere es im Excel-Programm. In diesem Fall benötigt es nur, und diese Anlage werden jedoch veraltet, und wird hier nicht berücksichtigt. Die Verwendung spezieller Tools zur Analyse von Protokolldateien kann die Verarbeitung großer Informationsmengen erleichtern.

Einige Webmaster installieren den Logsanalysator auf dem Server selbst. Die Methode ist bequem für Projekte, die sich auf ihren eigenen Servern befinden – dann werden die Protokolle eine unbegrenzte Zeit angehalten. Und die Projekte, die auf dem Hosting von Drittanbietern sind, werden auf das Rahmen – Speicher sparen maximal 1 Monat. Daher ist es erforderlich, Drehung und Archivierung zu erzeugen.

Beispielsweise analysiere die Logdateien durch Screaming Frog Log File Analyzer.

Das Tool bietet Zugriff auf die kostenlose Version und begrenzt das Ereignisprotokoll von eintausend Reihen. Für das nicht komponierte Projekt dieses Volumen genügt es.

Lade das Programm auf dem Computer herunter und installiere dann Protokolldateien oder lass eine Liste aller URLs, die auf der Website vorhanden sind. Das Exportieren der Datei wird oben im Artikel beschrieben.

Öffne das Programm und öffne mit der neuen Taste auf dem oberen Bereich, ein neues Projekt:

Dann öffnet sich das Hauptsteuerungsfenster, das Informationen über den Besuch der Webressource durch Suchroboter enthält.

Für weitere Informationen findest du in den Berichtstabs.

Die Analyse von Logs zeigt die Tabelle der Antwort der Seiten, das Datum der letzten Übergänge, Inhalte, die Anzahl der Suchbots und andere.

Die übrigen Analysatoren werden mehr kurz betrachten.

GoAccess ist für die schnelle Datenanalyse vorherbestimmt. Seine Hauptidee ist es, die Serverlogs schnell zu sehen und sie in Echtzeit zu analysieren, ohne deinen Browser zu verwenden.

Mit Splunk kannst du bis zu 500 MB Daten pro Tag kostenlos verarbeiten. Dies ist eine großartige Möglichkeit, Site-Protokolle zu sammeln, zu speichern, zu suchen, zu vergleichen und zu analysieren.

Logmatic.io ist ein Protokollanalysetool, das speziell zur Verbesserung der Softwareleistung entwickelt wurde. Der Schwerpunkt liegt auf Programmdaten, einschließlich Protokollen. Im Moment ist das Tool bezahlt.

Logstash ist ein kostenloses Open-Source-Tool zum Verwalten von Ereignissen und Protokollen. Es kann zum Sammeln, Speichern und Analysieren von Protokollen verwendet werden.

Die Analyse von Logdateien ist vor allem für die SEO-Site-Promotion nützlich. Um dies durchzuführen, musst du die Datei aus dem Stammordner der Site hochladen.

Daten, die in den meisten Fällen im Tool enthalten sind:

● IP-Adresse der Anfrage
● Datum und Uhrzeit
● Geografie
● GET / POST-Methode
● URL-Anfrage
● HTTP-Statuscode
● Browser.

Um die Datei zu analysieren, verwende die Sortierung und führe manuell in der Excel-Tabelle aus oder installiere das Programm Screaming Frog Log File Analyzer oder seine Analoga. Es gibt auch eine Reihe von Tools, die direkt auf dem Website-Server installiert sind. Diese Option ist geeignet, wenn du über eigene Server verfügst.