Splunk Tutorial für Beginner [Big Data] – SIEM erklärt

Splunk Home Steffen Lippke Tutorial Steffen Lippke Splunk Tutorial Deutsch 30 Min
Splunk Home Steffen Lippke Tutorial Steffen Lippke Splunk Tutorial Deutsch 30 Min

„Daten sind das Rohöl des 21. Jahrhunderts“ – Male Spitz

Toll! Meinen Motor stirbt, wenn ich ein SD-Karten in den Tank werfe.

Ich möchte Dir zeigen, wie Dir anhand eines Praxisbeispiels zeigen, wie Du aus „Big “ Data Informationen gewinnst. Ich stelle Dir die Software Splunk vor, die für Dich den Knochenjob macht.

Für was brauche ich eine weitere Software?

Du kannst Du mit Splunk…

  • … den Aktienkurs vorhersagen (Machine Learning Toolkit)
  • … die Verkäufe des letzten Jahres ermitteln und optimieren (SAP)
  • … die selbst-bereichernden Überweisungen in Deinem Unternehmen finden (Banking)
  • … voraussehen, wann und ob eine Maschine den Geist aufgibt (Predictive Maintainance)
  • … Deine IT-Systeme optimal auslasten und optimieren (Nagios)
  • … Flaschenhälse in Deiner Produktion erkennen (Maschien Logdateien)
  • … IT Systeme überwachen (Cisco)
  • … Deinen Hund splunken (GEO-Tagging)
  • … Dein SmartHome noch smarter machen (IoT-Daten)
  • … Heizungsanalgensystem überwachen (IoT-Daten)

Dieser umfangreiche Guide soll alle Anfänger-Fragen zu Splunk klären soll. In den nächsten 30 min lernst Du über Splunk mehr, als wenn Du ratlos 10h in der Splunk Doku liest.

Splunk konkret erklärt an einem Praxis-relevanten Beispiel

Die Software Splunk ist unglaublich vielseitig und in den Datenmengen skalierbar.

Viele Hersteller von technischen Geräten bieten Splunk Apps zum Download, um die Geräte an Splunk zu koppeln.

Damit sich die vermittelte Splunk-Theorie festigt, möchte Ich Dir jeden einzelnen Arbeitsschritt mit Splunk von dem Download von Splunk bis hin zur Visualisierung eines Aktien-Indexes zeigen (später könntest Du mit den Machine Learning Toolkit den Kurs der Aktien vorhersagen).

Was ist Splunk?

Splunk nutzen Firmen als Wachhund für Ihre IT.

Der Wachhund Splunk passt rund um die Uhr auf, ob sich Kriminelle an dem Unternehmen zu schaffen machen. Splunk ist ein wachsamer Wachhund, der selbst kleinste Veränderungen bemerkt und sofort bellt, wenn etwas Ungewöhnliches passiert. Das Bellen weckt den Wachmann „Phantom“ auf, der mit einem Knüppel und Handschellen bewaffnet jeden Eindringlich sofort eliminieren kann. Am nächsten Tag berichtet er den Analysten, was in der Nacht (und Tagsüber) vorgekommen ist.

Jetzt etwas wissenschaftlicher: Splunk ist eine Sicherheits-, Informations- und Event-Management-Software (kurz: SIEM). Splunk versteht Maschinen-Daten, sowie die Texte, die Menschen erstellt haben.

Der komplizierte Name deutet, dass Du alle Logdateien Deiner Geräte in einen großen Datentopf wirfst, diese vereinheitlichst und Splunk warnt Dich, wenn etwas Ungewöhnliches auftritt. Du kannst mit Splunk diese Daten analysieren und diese zu Kennzahlen verdichten.

+ Alles in Echtzeit!

So findest Du Dich im Splunk-Jungel zurecht

Splunk kann auf einige Einsteiger etwas verwirrend wirken, deshalb erkläre ich Dir die wichtigsten Konzepte und Funktionen:

Suchleiste – Wenn Du mit Splunk arbeitest, ist das Eingabefeld Dein ständiger Begleiter. Dort gibst Du Splunk-Abfrage ein, die aus den indexierten Daten, die gesuchten Informationen extrahieren.

Splunk Settings Steffen Lippke Splunk Tutorial Deutsch 30 Min
Splunk Settings Steffen Lippke Splunk Tutorial Deutsch 30 Min

Einstellungen – Als Anfänger arbeitest Du in den Einstellungen selten bis gar nicht. Lass die Finger davon.

Splunk Indexing Rate Steffen Lippke Splunk Tutorial Deutsch 30 Min
Splunk Indexing Rate Steffen Lippke Splunk Tutorial Deutsch 30 Min

Indexierung – Wenn Splunk Logdateien importiert, nennt sich dieser Vorgang Indexierung. Ein Index ist in Splunk eine Datenbank. Beachte das diese eine NoSQL-Datenbank und keine SQL-Datenbank mit Spalten ist.

Splunk Ergebnisse Steffen Lippke Splunk Tutorial Deutsch 30 Min
Splunk Ergebnisse Steffen Lippke Splunk Tutorial Deutsch 30 Min

Suchergebnisse – Wenn Du ein paar Buchstaben in die Suchleisten eingetippt hast, dann gibt Splunk meistens Ergebnisse in Form einer Liste zurück. Splunk extrahiert die Felder wie Datum, IP-Adresse und Host aus den Logdateien. Die Logdateien speichert Splunk nicht in Tabellen, sondern in dem ursprünglichen ROH-Format!

Statistik – Der Tab „Statistik“ stellt die Logdateien in einer Tabelle dar.

Visualisieren – Der Tab „Visualisieren“ wandelt die Rohlogdaten in eine Balken-, Linien-, Kreisdiagramm und weitere Diagramme um. Diese kannst Du anpassen, um diese in einem Dashboard speichern.

Dashboards – Splunk Dashboards beinhalten abgespeicherte Suchabfragen, die das Dashboard als Rohlogdaten, Tabelle, Diagramm oder KPI darstellt.

10 wichtige Splunk-Vokabeln zum Spicken

Wenn Du in der Doku liest, könnten Dir die folgenden 10 Vokabeln begegnen. Damit Du besser die Doku verstehst, musst Du deren Bedeutung kennen.

Lookups – Ein Lookup ist wie ein Spickzettel mit Deutsch-Englisch Vokabeln für Splunk. Die CSV-Dateien enthalten eine Zuordnung / Mapping. Z. B. 404 bedeutet „Page-not-found“.

Index – Ein Index ist ein Splunk-Datenspeicher, der auf NoSQL aufbaut.

Search Head – Ein Search Head ist der Suchalgorithmus, der über die verschiedenen Indizes hinweg nach den geforderten Dokumenten sucht.

Forwarder – Der Splunk Universal Forwarder ist ein Programm, welches Logdateien weiterleitet. Dieser installiert ein Techniker auf dem Quell-Server oder -Client.

Common Information Model – Das Common Information Model (CIM) soll Logdateien über alle Systeme, Software und Maschinen, die auf den Markt sind, vereinheitlichen. Sie ermöglichen ein einfaches Durchsuchen der Logdateien.

Indexierung – Die Indexierung ist der Prozess die Daten in Splunk zu importieren.

Datenmodel – Ein Datenmodell ist die reduzierte Datenmenge eines Index. Diese beinhaltet nur die relevanten Felder. Deshalb kann der Search Head ein Datenmodell schneller als ein Index durchsuchen.

Splunk Apps – Splunk ist mit Splunk Apps modular erweiterbar. Viele IT-Hersteller und Freiwillige stellen (kostenlos) die Splunk Apps zu Verfügung.

Splunk Abfragesprache – Die Splunk Search Language (SSL) ist eine Abfragesprache ähnlich wie SQL. Splunk Search Language sucht im Gegensatz zu SQL auf keiner relationalen Datenbank, sondern in einer NoSQL Datenbasis. Der Entwickler sucht mit SSL nach einfachen Strings und schränkt die Suche in der Zeit, Typ, Index, Logdatei-Typ ein, um die Suche zu bescheinigen.

In Splunk Logdateien, Aktienindizes, GPS-Daten.. und viel mehr importieren

Splunk schluckt alles. Hauptsache die Datei besteht aus Bits und Bytes.

Ein Index erleichtert den Entwicklern ein schnelles Durchsuchen der Dateien.

Mit Splunk soll der Entwickler schnell unterschiedliche (Log)dateien gleichzeitig durchsuchen und zusammenzufassen können.

Der Timestamp der Indexierung / bzw. Erstellung ist ein zentrales Kriterium um, die Suche einzuschränken und zu beschleunigen.

Splunk versteht CSV, JSON, Textdateien, SQL-Datenbanken, strukturierte und unstrukturierte Daten. Splunk kann z.B. Windows-, Firewall-, Linux-, Symantec-, Cisco-Logdateien verstehen und analysieren (Splunk Apps).

Die Praxis: So kannst Du einen Aktienkurs in Splunk analysieren

Damit Du die Power von Splunk testen kannst, gebe ich Dir eine Anleitung, wie Du Aktienkurse mit Splunk importierst, analysierst und visualisierst.

#1 In diesen 8 Schritten Splunk auf Deiner Kiste installieren

Im ersten Schritt brauchst Du Splunk auf Deiner Kiste, um die Software zu testen und zu verstehen:

  1. Splunk.com aufrufen
01 Free Splunk Steffen Lippke Splunk Tutorial Deutsch 30 Min
01 Free Splunk Steffen Lippke Splunk Tutorial Deutsch 30 Min
2. Melde Dich mit Deinen Daten an (Keine Fake oder Trash-Mail)
02 Anmeldung bei Splunk Steffen Lippke Splunk Tutorial Deutsch 30 Min
02 Anmeldung bei Splunk Steffen Lippke Splunk Tutorial Deutsch 30 Min
3. Downloade Dir Splunk Free
03 Download Steffen Lippke Splunk Tutorial Deutsch 30 Min
03 Download Steffen Lippke Splunk Tutorial Deutsch 30 Min
4. Installiere Splunk Free
04 Installieren Steffen Lippke Splunk Tutorial Deutsch 30 Min
5. Starte Splunk
Splunk Home Steffen Lippke Tutorial Steffen Lippke Splunk Tutorial Deutsch 30 Min
Splunk Home Steffen Lippke Tutorial Steffen Lippke Splunk Tutorial Deutsch 30 Min
6. Gehe in den Browser unter http://localhost:8000/en-US/app/launcher/home 7. Melde Dich an 8. Fertig

#2 Import der Aktien Daten in Splunk

  1. Downloade Dir eine CSV-Datei von X mit den historischen Aktienkursen
07 Add data Steffen Lippke Splunk Tutorial Deutsch 30 Min
07 Add data Steffen Lippke Splunk Tutorial Deutsch 30 Min

3. Gehe zu localhost:8000, um auf den Splunk Server zuzugreifen

4. Logo Dich in Dein Splunk ein

5. Klicke auf Get Data in > Import

10 Splunk upload Steffen Lippke Splunk Tutorial Deutsch 30 Min
10 Splunk upload Steffen Lippke Splunk Tutorial Deutsch 30 Min10 Splunk upload Steffen Lippke Splunk Tutorial Deutsch 30 Min

9. Wähle statische Dateien / CSV von Deinen Downlaods aus

10. Next

11. Im nächsten Tab  „Set Source Type gebe ein > Timezone: Greenwich > Timestamp-Format: %Y-%m-%d > Timestamp-Fields: Datum

12. Save As (link) um Speicherdialog zu öffnen

11 New Index
11 New Index

#3 Index vorbereiten und suchen

  1. Name: Msci_Datum_CSV
  2. Save
  3. Next
  4. New Index mit Index Name = msciindex, dann Save
  5. Review
  6. Submit
  7. Start Searching
  8. Speichern
  9. Gebe in der Splunk-Such-Leiste nach
    index=“msciindex“ | timechart span=10d avg(Erster)
  10. Wähle den Zeitraum „All Time“ aus
  11. Klicke auf das Lupen-Icon, um die Suche zu starten
  12. Jetzt sollten die Inhalte der CSV-Datei auf Deinem Bildschirm in Zeilenformat erscheinen

Die Daten sind erfolgreich in Splunk indexiert und jetzt bereit für Analyse und Transformation der Ergebnisse.

#4 Transformation und Analyse mit Splunk Grafiken

  1. Gebe in die Suchleiste
    index=“msciindex“ | timechart span=10d avg(Erster)
    ein.
  2. Klicke auf den Tab-Statistik. Hier sollt eine Tabelle mit dem Datum und den Schlussbeständen aufgelistet sein.
  3. Klicke auf den Tab Visualisierung. Hier kannst Du die gefilterten Datensätze mit Balken-, Linien oder Kreisdiagramm darstellen.
12 Suche
12 Suche
4. Das fertige Diagramm kannst Du auf einem Dashboard speichern, indem Du oben rechts aus Save As > Dashboard auswählst. 5. Speichere es als „MSCI World“ 6. Klicke auf View Dashboards
14 Dashbaord
14 Dashbaord
7. Fertig: Jetzt mal freuen !!!
1 Star2 Stars3 Stars4 Stars5 Stars (5 votes, average: 5,00 out of 5)
Loading...

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.