5 nützliche Open-Source-Tools für die Log-Analyse

Die Überwachung von Netzwerkaktivitäten kann eine mühsame Arbeit sein, aber es gibt gute Gründe, sie durchzuführen. Zum einen können Sie damit verdächtige Logins auf Workstations, mit dem Netzwerk verbundenen Geräten und Servern finden und untersuchen und gleichzeitig Quellen für den Missbrauch von Administratoren identifizieren. Sie können auch Softwareinstallationen und Datentransfers nachverfolgen, um potenzielle Probleme in Echtzeit zu identifizieren und nicht erst, wenn der Schaden bereits eingetreten ist.

Diese Protokolle tragen auch dazu bei, dass Ihr Unternehmen die General Data Protection Regulation (GDPR) einhält, die für alle Unternehmen gilt, die innerhalb der Europäischen Union tätig sind. Wenn Sie eine Website haben, die in der EU einsehbar ist, sind Sie qualifiziert.

Die Protokollierung – sowohl die Verfolgung als auch die Analyse – sollte ein grundlegender Prozess in jeder Überwachungsinfrastruktur sein. Eine Transaktionsprotokolldatei ist notwendig, um eine SQL-Server-Datenbank nach einer Katastrophe wiederherzustellen. Darüber hinaus können DevOps-Teams und Datenbankadministratoren (DBAs) durch die Verfolgung von Protokolldateien eine optimale Datenbankleistung aufrechterhalten oder im Falle eines Cyberangriffs Beweise für unautorisierte Aktivitäten finden. Aus diesem Grund ist es wichtig, Systemprotokolle regelmäßig zu überwachen und zu analysieren. Auf diese Weise lässt sich die Ereigniskette, die zu dem aufgetretenen Problem geführt hat, zuverlässig nachvollziehen.

Es gibt heute eine ganze Reihe von Open-Source-Log-Trackern und -Analyse-Tools, so dass die Auswahl der richtigen Ressourcen für Aktivitätsprotokolle einfacher ist, als Sie denken. Die freie und Open-Source-Software-Community bietet Log-Designs, die mit allen Arten von Websites und so gut wie jedem Betriebssystem funktionieren. Hier sind fünf der besten, die ich verwendet habe, in keiner bestimmten Reihenfolge.

Graylog

Graylog wurde 2011 in Deutschland gestartet und wird heute entweder als Open-Source-Tool oder als kommerzielle Lösung angeboten. Es ist als zentralisiertes Log-Management-System konzipiert, das Datenströme von verschiedenen Servern oder Endpunkten empfängt und es Ihnen ermöglicht, diese Informationen schnell zu durchsuchen oder zu analysieren.

Graylog hat sich unter Systemadministratoren einen guten Ruf erarbeitet, weil es leicht skalierbar ist. Die meisten Webprojekte fangen klein an, können aber exponentiell wachsen. Graylog kann Lasten über ein Netzwerk von Backend-Servern ausgleichen und mehrere Terabytes an Log-Daten pro Tag verarbeiten.

IT-Administratoren werden feststellen, dass die Frontend-Oberfläche von Graylog einfach zu bedienen und robust in seiner Funktionalität ist. Graylog basiert auf dem Konzept der Dashboards, mit denen Sie auswählen können, welche Metriken oder Datenquellen Sie am wertvollsten finden, und mit denen Sie schnell Trends im Laufe der Zeit erkennen können.

Wenn ein Sicherheits- oder Leistungsvorfall auftritt, wollen IT-Administratoren in der Lage sein, die Symptome so schnell wie möglich zu einer Grundursache zu verfolgen. Die Suchfunktion in Graylog macht dies einfach. Es verfügt über eine eingebaute Fehlertoleranz, die Multi-Thread-Suchen ausführen kann, so dass Sie mehrere potenzielle Bedrohungen gemeinsam analysieren können.

Nagios

Nagios begann 1999 mit einem einzigen Entwickler und hat sich seitdem zu einem der zuverlässigsten Open-Source-Tools für die Verwaltung von Log-Daten entwickelt. Die aktuelle Version von Nagios kann in Server mit Microsoft Windows, Linux oder Unix integriert werden.

Das Hauptprodukt ist ein Log-Server, der die Datenerfassung vereinfachen und Informationen für Systemadministratoren leichter zugänglich machen soll. Die Nagios-Log-Server-Engine erfasst Daten in Echtzeit und speist sie in ein leistungsstarkes Suchwerkzeug ein. Die Integration mit einem neuen Endpunkt oder einer neuen Anwendung ist dank des eingebauten Setup-Assistenten einfach.

Nagios wird am häufigsten in Organisationen eingesetzt, die die Sicherheit ihres lokalen Netzwerks überwachen müssen. Es kann eine Reihe von netzwerkbezogenen Ereignissen überwachen und dabei helfen, die Verteilung von Warnmeldungen zu automatisieren. Nagios kann sogar so konfiguriert werden, dass vordefinierte Skripte ausgeführt werden, wenn eine bestimmte Bedingung erfüllt ist, so dass Sie Probleme lösen können, bevor ein Mensch eingreifen muss.

Als Teil der Netzwerküberwachung filtert Nagios die Protokolldaten basierend auf dem geografischen Standort, von dem sie stammen. Das bedeutet, dass Sie umfassende Dashboards mit Mapping-Technologie erstellen können, um zu verstehen, wie Ihr Web-Traffic fließt.

Elastic Stack (der „ELK Stack“)

Elastic Stack, oft auch ELK Stack genannt, ist eines der beliebtesten Open-Source-Tools bei Unternehmen, die große Datenmengen durchsieben und ihre Systemprotokolle sinnvoll nutzen müssen (und es ist auch ein persönlicher Favorit).

Das Hauptangebot besteht aus drei separaten Produkten: Elasticsearch, Kibana und Logstash:

  • Wie der Name schon vermuten lässt, ist Elasticsearch darauf ausgelegt, Anwendern zu helfen, Übereinstimmungen innerhalb von Datensätzen mit einer Vielzahl von Abfragesprachen und -typen zu finden. Geschwindigkeit ist der größte Vorteil dieses Tools. Es kann zu Clustern mit Hunderten von Serverknoten erweitert werden, um Petabytes von Daten mit Leichtigkeit zu verarbeiten.

  • Kibana ist ein Visualisierungstool, das neben Elasticsearch läuft, damit Benutzer ihre Daten analysieren und leistungsstarke Berichte erstellen können. Wenn Sie die Kibana-Engine zum ersten Mal auf Ihrem Server-Cluster installieren, erhalten Sie Zugriff auf eine Oberfläche, die Statistiken, Graphen und sogar Animationen Ihrer Daten anzeigt.

  • Das letzte Stück des ELK Stack ist Logstash, das als rein serverseitige Pipeline in die Elasticsearch-Datenbank fungiert. Sie können Logstash mit einer Vielzahl von Programmiersprachen und APIs integrieren, sodass Informationen von Ihren Websites und mobilen Anwendungen direkt in die leistungsstarke Elasticsearch-Suchmaschine eingespeist werden.

Ein einzigartiges Merkmal von ELK Stack ist, dass es Ihnen ermöglicht, Anwendungen zu überwachen, die auf Open-Source-Installationen von WordPress basieren. Im Gegensatz zu den meisten Out-of-the-Box-Sicherheits-Audit-Log-Tools, die Admin- und PHP-Logs, aber nur wenig anderes verfolgen, kann ELK Stack Webserver- und Datenbank-Logs durchforsten.

Schlechte Log-Verfolgung und Datenbankverwaltung sind eine der häufigsten Ursachen für schlechte Website-Performance. Werden die Datenbank-Logs nicht regelmäßig überprüft, optimiert und geleert, kann dies nicht nur eine Website verlangsamen, sondern auch zu einem kompletten Absturz führen. Daher ist der ELK Stack ein exzellentes Werkzeug für die Werkzeugkiste eines jeden WordPress-Entwicklers.

LOGalyze

LOGalyze ist eine Organisation mit Sitz in Ungarn, die Open-Source-Tools für Systemadministratoren und Sicherheitsexperten entwickelt, um ihnen bei der Verwaltung von Server-Logs zu helfen und sie in nützliche Datenpunkte zu verwandeln. Das Hauptprodukt ist als kostenloser Download für den privaten oder kommerziellen Gebrauch erhältlich.

LOGalyze ist so konzipiert, dass es wie eine massive Pipeline funktioniert, in die mehrere Server, Anwendungen und Netzwerkgeräte Informationen über die SOAP-Methode (Simple Object Access Protocol) einspeisen können. Es bietet eine Frontend-Oberfläche, an der sich Administratoren anmelden können, um die Sammlung von Daten zu überwachen und mit der Analyse zu beginnen.

Von der LOGalyze-Web-Oberfläche aus können Sie dynamische Berichte ausführen und diese in Excel-Dateien, PDFs oder andere Formate exportieren. Diese Berichte können auf mehrdimensionalen Statistiken basieren, die vom LOGalyze-Backend verwaltet werden. Sie können sogar Datenfelder über Server oder Anwendungen hinweg kombinieren, um Trends in der Performance zu erkennen.

LOGalyze ist so konzipiert, dass es in weniger als einer Stunde installiert und konfiguriert ist. Es verfügt über vorgefertigte Funktionen, die es ermöglichen, Audit-Daten in Formaten zu sammeln, die von gesetzlichen Vorschriften gefordert werden. Zum Beispiel kann LOGalyze leicht verschiedene HIPAA-Berichte ausführen, um sicherzustellen, dass Ihr Unternehmen die Gesundheitsvorschriften einhält und konform bleibt.

Fluentd

Wenn Ihr Unternehmen Datenquellen hat, die an vielen verschiedenen Orten und Umgebungen leben, sollte Ihr Ziel sein, diese so weit wie möglich zu zentralisieren. Andernfalls werden Sie Schwierigkeiten haben, die Leistung zu überwachen und sich vor Sicherheitsbedrohungen zu schützen.

Fluentd ist eine robuste Lösung für die Datensammlung und ist vollständig quelloffen. Es bietet keine vollständige Frontend-Oberfläche, sondern fungiert stattdessen als Sammlungsschicht, die bei der Organisation verschiedener Pipelines hilft. Fluentd wird von einigen der größten Unternehmen weltweit eingesetzt, kann aber auch in kleineren Organisationen implementiert werden.

Der größte Vorteil von Fluentd ist seine Kompatibilität mit den gängigsten Technologie-Tools, die heute verfügbar sind. Sie können Fluentd zum Beispiel verwenden, um Daten von Webservern wie Apache, Sensoren von intelligenten Geräten und dynamische Datensätze von MongoDB zu sammeln. Was Sie mit diesen Daten machen, liegt ganz bei Ihnen.

Fluentd basiert auf dem JSON-Datenformat und kann in Verbindung mit mehr als 500 Plugins von namhaften Entwicklern verwendet werden. So können Sie Ihre Logging-Daten in andere Anwendungen einbinden und mit minimalem manuellem Aufwand bessere Analysen daraus machen.

Das Fazit

Wenn Sie Aktivitätsprotokolle nicht bereits aus Sicherheitsgründen, zur Einhaltung gesetzlicher Vorschriften und zur Messung der Produktivität nutzen, sollten Sie das ändern. Es gibt eine Vielzahl von Plugins auf dem Markt, die für verschiedene Umgebungen und Plattformen ausgelegt sind, sogar für Ihr internes Netzwerk. Warten Sie nicht auf einen schwerwiegenden Vorfall, um einen proaktiven Ansatz für die Wartung und Überwachung von Protokollen zu rechtfertigen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.