Was ist ELK?
Der Elastic Stack (auch bekannt als ELK) ist eine robuste Lösung für Suche, Protokollierung und Datenanalyse. Der ELK Stack besteht aus drei Programmen, die, wenn sie zusammen verwendet werden, als eine vollständig zentralisierte Protokollierungs- und Protokollanalyselösung fungieren. Diese Programme sind ElasticSearch, Logstash und Kibana. ELK ist die am weitesten verbreitetste Open-Source- und Protokollmanagement-Plattform, die weltweit eingesetzt wird.
Der ELK-Stack mit der Business Bot Plattform wie folgt:
ElasticSearch (ES): ist eine Volltextsuchmaschine ähnlich wie Solr (beide verwenden Apache Lucene als zugrunde liegender Speicher), welche die Logs speichert und es Ihnen ermöglicht, Abfragen von Protokolleinträgen durchzuführen. Sobald ein Protokolleintrag in ES empfangen wird, wird der Log-Eintrag mit dem Zeitstempel markiert und indiziert. Später kann der Log-Eintrag dank des Lucene Index fast sofort abgerufen werden.
Kibana: führt Abfragen auf ElasticSearch durch und visualisiert die Logs der Business Bot Plattform. Die webbasierte Anwendung ist für die Bereitstellung von einfach zu bedienenden Dashboard-Tools verantwortlich.
Logstash: fungiert als Log-Router. Neben der Business Bot Plattform können verschiedene Anwendungen (z.B. MySQL, Apache Webserver) ihre Protokolle an Logstash senden, wo sie gefiltert, transformiert und an einen oder mehrere Ausgänge gemäß der Logstash-Konfigurationsdatei gesendet werden. Damit es ELK-Stack genannt werden kann, muss Logstash die Protokolle an ElasticSearch übergeben. Logstash ist somit verantwortlich für das Sammeln der Daten, Transformationen wie Parsen – mit regulären Ausdrücken – Hinzufügen von Feldern, Formatieren als Strukturen wie JSON, etc. und schließlich das Senden der Daten an verschiedene Ziele, wie z.B. einen ElasticSearch-Cluster.
Filebeat: ist ein Transporter zur Weiterleitung und Zentralisierung von Protokolldaten. Filebeat wird als Agent auf den Servern installiert und überwacht die angegebenen Protokolldateien oder Speicherorte, sammelt Protokollereignisse und leitet sie an Logstash zur Indexierung weiter.
Log4j: ist ein schnelles und flexibles Framework zur Protokollierung von Anwendungsdebugging-Meldungen. Mit log4j ist es möglich, die Protokollierung zur Laufzeit zu aktivieren, ohne den Anwendungscode zu verändern. Das log4j-Paket ist so konzipiert, dass diese Anweisungen im ausgelieferten Code bleiben können, ohne dass hohe Leistungskosten anfallen. Das Protokollierungsverhalten kann durch Bearbeiten der Konfigurationsdatei gesteuert werden, ohne die Anwendungsbinary zu berühren. Alle Log-Ereignisse der Business Bot Plattform werden innerhalb von Log4j verarbeitet. Dadurch bietet dies Ihnen eine einfache Möglichkeit, sich in die Logs einzuklinken.
Chatbot-Logs von der Business Bot Plattform an den ELK-Stack senden
Wenn Sie bereits ein ELK-Stack installiert haben, muss nur log4j Konfiguration der Business Bot Plattform angepasst werden. Logstash benötigt dann noch die Information, auf welche Logdatei geschaut werden soll. Das ist alles, was Sie brauchen, um den ELK-Stack mit der Business Bot Plattform zu konfigurieren. Um den BBP-Logs zu überwachen, geht man im Kibana-Webinterface auf Discover und kann über die Felder die gewünschten Log-Nachrichten filter.
Welche Vorteile hat die Lösung?
1 – Ausgereifte Benutzeroberfläche für die Datenanalyse
ELK verfügt über eine elegante Benutzeroberfläche, die die Aufgaben der Datenanalyse optimiert, so dass Sie Zeit damit verbringen können, Daten zu untersuchen und zu überprüfen, ohne herauszufinden, wie Sie durch die Benutzeroberfläche navigieren müssen. Das Einzige, worum Sie sich kümmern müssen ist das Suchergebnis ihrer Suchanfrage.
2 – Datenvisualisierung for free
Mit ELK können Sie gleich im Moment der Inspiration mit der Erforschung Ihrer Daten beginnen. Kibana bietet sofort einsatzbereite Visualisierungen, einschließlich Histogramme, Liniendiagramme, Kreisdiagramme und vieles mehr. Sie können auch die Vega-Grammatik verwenden, um benutzerdefinierte Visualisierungen zu erstellen.
3 – Erweiterbare Quelle und Aggregation
Sie können Logstash so konfigurieren, dass es Daten aus einer Vielzahl von Quellen akzeptiert. Logash ist im Wesentlichen eine rationalisierte ETL-Pipeline, die eine Reihe von Optionen zum Filtern und Transformieren von Daten nach Ihren Bedürfnissen ermöglicht.
Die Business Bot Plattform kann sehr einfach mit dem ELK-Stack verbunden werden, so dass Sie sämtliche Chatbot Logs über die zentralisierte ELK-Plattform überwachen können. Kontaktieren Sie uns, wir unterstützen Sie gerne rund um das Thema Chatbots im Unternehmensumfeld.