Splunk 8 Tutorial für Beginner – GUIDE Suche Beispiele {SIEM}

Splunk Beginner Coding Lab Steffen Lippke Tutorials und Guides
Splunk Beginner Coding Lab Steffen Lippke Tutorials und Guides

Wie kann ich aus Big Data Wissen generieren? Dieses Splunk Tutorial ist die Antwort!

Ich möchte Dir anhand eines Praxisbeispiels zeigen, wie Du aus Big Data Wissen generieren kannst.

Dieser Guide soll dich in Splunk vom Indexieren bis zum fertigen Dashbaord führen

Anwendung Splunk: Verpasse nicht diese Möglichkeiten

Du kannst Du mit Splunk Software…

  • … den Aktienkurs vorhersagen (Machine Learning Toolkit)
  • … die Verkäufe des letzten Jahres ermitteln und optimieren (SAP)
  • … die selbst-bereichernden Überweisungen in Deinem Unternehmen finden (Banking)
  • … voraussehen, wann und ob eine Maschine den Geist aufgibt (Predictive Maintainance)
  • … Deine IT-Systeme optimal auslasten und optimieren (Nagios)
  • … Flaschenhälse in Deiner Produktion erkennen (Maschinen Logdateien)
  • … IT-Systeme überwachen (Cisco)
  • … Deinen Hund splunken (GEO-Tagging)
  • … Dein SmartHome noch smarter machen (IoT-Daten)
  • … Heizungssysteme überwachen (IoT-Daten)

Dieser umfangreiche Guide soll alle Anfänger-Fragen zu Splunk klären. In den nächsten 30 Minuten lernst Du über Splunk mehr, als wenn Du ratlos 10 Stunden lang in der Splunk-Doku liest.

Splunk Tutorial mit Praxis-relevantem Beispiel

Die Software Splunk ist unglaublich vielseitig und in den Datenmengen skalierbar.

Viele Hersteller von technischen Geräten (WLAN, Server, SmartHome) bieten Splunk Apps zum Download, um die Geräte mit Splunk zu koppeln.

Damit sich die vermittelten Splunk-Grundlagen festigt, möchte Ich Dir jeden einzelnen Arbeitsschritt mit Splunk von dem Download von Splunk bis hin zur Visualisierung eines Aktien-Indexes zeigen (später könntest Du mit den Machine Learning Toolkit den Kurs der Aktien vorhersagen).

Was ist Splunk SIEM?

Splunk nutzen Unternehmen als Wachhund für Ihre IT.

Der Wachhund Splunk passt rund um die Uhr auf, ob sich Kriminelle an dem Unternehmen zu schaffen machen. Splunk ist ein wachsamer Wachhund, der selbst kleinste Veränderungen bemerkt und sofort bellt, wenn etwas Ungewöhnliches passiert.

Das Bellen weckt den Wachmann Phantom auf, der mit einem Knüppel und Handschellen bewaffnet jeden Eindringlich sofort eliminieren kann. Am nächsten Tag berichtet er den Analysten, was in der Nacht (und am Tag) vorgekommen ist.

Technisch: Splunk ist eine Sicherheits-, Informations- und Event-Management-Software (kurz: SIEM). Splunk versteht Maschinen-Daten, sowie die Texte, die Menschen erstellt haben.

SIEM bedeutet, dass Du alle Logdateien Deiner Geräte in einen großen Datenbank lädst, diese vereinheitlichst. Das SIEM warnt Dich, wenn etwas Ungewöhnliches auftritt. Du kannst mit Splunk diese Daten analysieren und diese zu Kennzahlen verdichten.

+ Alles in Echtzeit!

Splunk Begriffe erklärt: Der Splunk-Jungel

Splunk kann auf einige Einsteiger etwas verwirrend wirken, deshalb erkläre ich Dir die wichtigsten Konzepte und Funktionen:

Suchleiste – Wenn Du mit Splunk arbeitest, ist das Such-Eingabefeld Dein ständiger Begleiter. Dort gibst Du Splunk-Abfragen ein, die aus den indexierten Daten, die gesuchten Informationen extrahieren.

Splunk Settings Steffen Lippke Splunk Tutorial Deutsch 30 Min
Splunk Settings Steffen Lippke Splunk Tutorial Deutsch 30 Min

Einstellungen – Als Anfänger arbeitest Du in den Einstellungen selten bis gar nicht. Lese erst in der Doku nach, wie Du konfiguriert.

Splunk Indexing Rate Steffen Lippke Splunk Tutorial Deutsch 30 Min
Splunk Indexing Rate Steffen Lippke Splunk Tutorial Deutsch 30 Min

Indexierung – Wenn Splunk Logdateien importiert, nennt sich dieser Vorgang Indexierung. Ein Index ist in Splunk eine Datenbank. Beachte das diese eine NoSQL-Datenbank und keine SQL-Datenbank mit Spalten ist.

Splunk Ergebnisse Steffen Lippke Splunk Tutorial Deutsch 30 Min
Splunk Ergebnisse Steffen Lippke Splunk Tutorial Deutsch 30 Min

Suchergebnisse – Wenn Du ein paar Buchstaben in die Suchleisten eingetippt hast, dann gibt Splunk meistens Logdateien in Form einer Liste zurück. Splunk extrahiert die Felder wie Datum, IP-Adresse und Host aus den Logdateien. Die Logdateien speichert Splunk nicht in Tabellen, sondern in dem ursprünglichen ROH-Format!

Statistik – Der Tab „Statistik“ stellt die Logdateien in einer Tabelle dar.

Visualisieren – Der Tab „Visualisieren“ wandelt die Rohlogdaten in eine Balken-, Linien-, Kreisdiagramm und weitere Diagramme um. Diese kannst Du anpassen, um diese in einem Dashboard speichern.

Dashboards – Splunk Dashboards beinhalten abgespeicherte Suchabfragen, die das Dashboard als Rohlogdaten, Tabelle, Diagramm oder KPI darstellt.

10 wichtige Splunk-Vokabeln zum Spicken

Wenn Du in der Splunk-Doku liest, könnten Dir die folgenden 10 Vokabeln begegnen. Damit Du besser die Doku verstehst, musst Du deren Bedeutung kennen.

Lookups – Ein Lookup ist wie ein Spickzettel mit Deutsch-Englisch Vokabeln für Splunk. Die CSV-Dateien enthalten eine Zuordnung / Mapping. z. B. 404 bedeutet „Page-not-found“.

Index – Ein Index ist ein Splunk-Datenspeicher, der auf NoSQL aufbaut.

Search Head – Ein Search Head ist ein Cluster mit einem Suchalgorithmus, der über die verschiedenen Indizes hinweg nach den geforderten Logdateien sucht.

Forwarder – Der Splunk Universal Forwarder ist ein Programm, welches Logdateien weiterleitet. Dieser installiert ein Techniker auf dem Quell-Server oder -Client.

Common Information Model – Das Common Information Model (CIM) soll Logdateien über alle Systeme, Software und Maschinen, die auf den Markt sind, vereinheitlichen. Sie ermöglichen ein einfaches Durchsuchen der Logdateien.

Indexierung – Die Indexierung ist der Prozess die Daten in Splunk zu importieren.

Datenmodel – Ein Datenmodell ist die reduzierte Datenmenge eines Index. Diese beinhaltet nur die relevanten Felder. Deshalb kann der Search Head ein Datenmodell schneller als ein Index durchsuchen.

Splunk Apps – Splunk ist mit Splunk Apps modular erweiterbar. Viele IT-Hersteller und Freiwillige stellen (kostenlos) die Splunk Apps zu Verfügung.

Splunk Abfragesprache – Die Splunk Search Language (SSL) ist eine Abfragesprache ähnlich wie SQL. Splunk Search Language sucht im Gegensatz zu SQL auf keiner relationalen Datenbank, sondern in einer NoSQL-Datenbasis. Der Entwickler sucht mit SSL nach einfachen Strings und schränkt die Suche in der Zeit, Typ, Index, Logdatei-Typ ein, um die Suche zu beschleunigen.

Indexierung in Splunk: Allesfresser

Splunk schluckt alles. Hauptsache die Datei besteht aus Bits und Bytes.

Ein Index erleichtert den Entwicklern ein schnelles Durchsuchen der Dateien.

Mit Splunk soll der Entwickler schnell unterschiedliche (Log)dateien gleichzeitig durchsuchen und zusammenfassen können.

Der Timestamp der Indexierung / bzw. Erstellung ist ein zentrales Kriterium um, die Suche einzuschränken und zu beschleunigen.

Splunk versteht CSV, JSON, Textdateien, SQL-Datenbanken, strukturierte und unstrukturierte Daten. Splunk kann z.B. Windows-, Firewall-, Linux-, Symantec-, Cisco-Logdateien verstehen und analysieren (Splunk Apps).

Die Praxis: Aktienkurs in Splunk analysieren

Damit Du die Power von Splunk testen kannst, gebe ich Dir eine Anleitung, wie Du Aktienkurse mit Splunk importierst, analysierst und visualisierst.

#1 In Splunk installieren (7 Schritte)

Im ersten Schritt brauchst Du Splunk auf Deiner Kiste, um die Software zu testen und zu verstehen:

  1. Splunk.com aufrufen
01 Free Splunk Steffen Lippke Splunk Tutorial Deutsch 30 Min
01 Free Splunk Steffen Lippke Splunk Tutorial Deutsch 30 Min

2. Melde Dich mit Deinen Daten an (Keine Fake oder Trash-Mail – Splunk ist schlau)

02 Anmeldung bei Splunk Steffen Lippke Splunk Tutorial Deutsch 30 Min
02 Anmeldung bei Splunk Steffen Lippke Splunk Tutorial Deutsch 30 Min

3. Downloade Dir Splunk

03 Download Steffen Lippke Splunk Tutorial Deutsch 30 Min
03 Download Steffen Lippke Splunk Tutorial Deutsch 30 Min

4. Installiere Splunk Free mit dem grafischen Installer

04 Installieren Steffen Lippke Splunk Tutorial Deutsch 30 Min

5. Starte Splunk (Laufender Background Service mit Web-Frontend auf Windows)

Splunk Home Steffen Lippke Tutorial Steffen Lippke Splunk Tutorial Deutsch 30 Min
Splunk Home Steffen Lippke Tutorial Steffen Lippke Splunk Tutorial Deutsch 30 Min

6. Gehe in den Browser auf http://localhost:8000/en-US/app/launcher/home

7. Erstelle einen Account


Fertig

#2 Import der Aktien: Daten in Splunk

  1. Downloade Dir eine CSV-Datei von der Wertpapier / Aktie X mit den historischen Aktienkursen
07 Add data Steffen Lippke Splunk Tutorial Deutsch 30 Min
07 Add data Steffen Lippke Splunk Tutorial Deutsch 30 Min

3. Wechsle auf http://localhost:8000, um auf den Splunk Server zuzugreifen

4. Loge Dich in Dein Splunk ein

5. Klicke auf Get Data in > Import

10 Splunk upload Steffen Lippke Splunk Tutorial Deutsch 30 Min
10 Splunk upload Steffen Lippke Splunk Tutorial Deutsch 30 Min10 Splunk upload Steffen Lippke Splunk Tutorial Deutsch 30 Min

9. Wähle die statischen Dateien / CSV von in Deinen Downloads aus

10. Next

11. Im nächsten Tab Set Source Type gebe ein > Timezone: Greenwich > Timestamp-Format: %Y-%m-%d > Timestamp-Fields: Datum

12. Save As (link) –> Umden Speicher-Dialog zu öffnen.

11 New Index
11 New Index

#3 Index vorbereiten und suchen

  1. Name: Msci_Datum_CSV
  2. Save
  3. Next
  4. Erstelle mit New Index mit Index Name = msciindex, dann Save
  5. Review
  6. Submit
  7. Start Searching
  8. Speichern
  9. Gebe in der Splunk-Such-Leiste nach
    index="msciindex" | timechart span=10d avg(Erster)
  10. Wähle den Zeitraum All Time aus
  11. Klicke auf das Lupen-Icon, um die Suche zu starten
  12. Jetzt sollten die Inhalte der CSV-Datei auf Deinem Bildschirm in Zeilenformat erscheinen

Die Aktienkurse sind erfolgreich in Splunk indexiert und jetzt bereit für die Analyse und Transformation zu den Ergebnissen.

#4 Transformation und Analyse mit Splunk Grafiken

  1. Gebe in die Suchleiste
    index="msciindex" | timechart span=10d avg(Erster)
    ein.
  2. Klicke auf die Tab-Statistik. Hier sollt eine Tabelle mit dem Datum und den Schlussbeständen aufgelistet sein.
  3. Klicke auf den Tab Visualisierung. Hier kannst Du die gefilterten Datensätze mit Balken-, Linien oder Kreisdiagramm darstellen.
12 Suche
12 Suche

4. Das fertige Diagramm kannst Du auf einem Dashboard speichern, indem Du oben rechts aus Save As > Dashboard auswählst.

5. Speichere es als MSCI World

6. Klicke auf View Dashboards

14 Dashbaord
14 Dashbaord

7. Fertig: Jetzt mal freuen !!!

Ich hoffe, Dir hat das Tutorail zu Splunk gefallen.

Bitte, kommentiere das Tutorial, wenn Du…

  • eine Frage hast
  • Splunk nicht installieren konntest
  • Problem bei der Darstellung des Graphens sind
  • Kritik äußern möchtest
  • andere Ideen usw.
Credits: Icons und SVG-Grafiken im Titelbild von Microsoft PowerPoint 2019, freiverfügbar nach EULA

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.