Nachmachen verboten: Eigene Datenbank programmieren – Grundlagen

Du willst eine eigene Datenbank programmieren?

Dann bist Du hier richtig!

Das ist ein Tutorial für die ersten Schritte für Deine eigene Datenbank.

Starten wir!

Warum eine eigene Datenbank programmieren?

Auf dem Markt gibt es genügend Datenbanken, warum sollte man auf die Schnapsidee kommen, eine eigene Datenbank zu erstellen? Hier gibt es 6 Portionen Motivation:

Unique Selling Point – Coole Sache

Nicht jeder kann von sich sagen, dass eine eigene Datenbank programmiert hat. Auf dem Markt gibt es genug „freie“ Datenbanken, die Entwickler immer gerne nutzen. Aber warum keine eigene Datenbank erstellen. Erst jetzt lernt man Datenbanken zu schätzen, weil die Systeme extrem kompliziert und feinteilig sind.

Keine bessere – Alles nach eigenen Wünschen

Keine Datenbank auf dem Markt kann es einem recht machen – nur die eigene Datenbank entspricht Deinen Wünschen. Klar kannst Du einen Fork von einer bekannten Datenbank erstellen. Wenn Du beginnst Dich in die andere Datenbank hineinzudenken und diese zu kompilieren, kannst Du auch Deine eigene Datenbank schreiben.

Dein Reich, Dein Mist – Estereggs

Du kannst allen Schabernack mit Deiner Datenbank betreiben. Du erstellst Abfragen, die automatische Witze zurückgeben oder alles rückwärts darstellen. Andere Datenbanken sind echt lame.

Eigene Abfragesprache erfinden oder Bekannte tunen

Abfragesprachen wie SQL sind mit Limitationen verbunden. Erstelle Deine eigene oder verbessere SQL, die Deinem Niveau würdig ist. NoSQL-Datenbanken zeigen Dir, dass Abfragesprachen in vielen Formen möglich sind.

Superleicht – Bloat weg und Schneller

DBMS sind mächtige Systeme mit tausende Zeilen an Code, dort ist ein Haufen Mist an Features drin, die Du nicht brauchst – Warum nicht eine Datenbank entwickeln, die auf diesen Ballast verzichtet? Rasende schnelle Abfragen, Performance und RAM-Sparsamkeit sind das Ergebnis!

Werde ein Meister – Lernen und tieferes Verständnis

Ein eigenes DBMS gibt Dir ein tiefes Verständnis, wie Datenbanken funktionieren. Du lernst viel über das Verarbeiten von (Programmier)Sprachen (Tokenisierung, Parsing), sowie das artgerechte Halten von Daten. Ein DBMS ist kein Anfänger-Projekt, sondern ein Marathon für einen sehr fitten Programmierer, der Jahre lang (im Team) an diesem Programm werkelt.

Was ist eine Datenbank genau (DBMS)?

Eine Datenbank ist kein einzelnes Programm, es besteht aus verschiedenen Komponenten, die ich untern noch im Detail erkläre. Ein Datenbank-Management-System (DBMS) speichert, ändert, löscht und fügt Daten hinzu. Dafür verwenden wir eine strukturierte Abfragesprache, mit der wir Tabellen angelegen können, Datensätzen hinzufügen und ändern.

DBMS liefern die Grundlagen für einen Großteil von Anwendungen, die wir jeden Tag nutzen: WordPress-Blogs, SAP, Online-Shops und Webbrowser und viele weitere.

Bekannte DBMS sind MariaDB, Oracle MySQL oder Postgres. Prinzipiell sollten diese alle den SQL-Standard einhalten, aber jede Datenbank hat ihre Spezialitäten.

• Schnittstellen: Datenbanken müssen ansprechbar sein. Dafür brauchen wir eine Schnittstelle z.B. ein REST-Interface oder ein offener Port, der die Abfragen entgegennehmen kann und Antworten zurücksendet.
• Berechtigungsverwaltung: Nicht jeder soll auf alle Daten zugreifen. Deshalb sind die Berechtigungen pro Tabelle, Zeile oder Zelle geregelt. Wir möchten vermeiden, dass nicht jeder die Daten manipulieren kann, andere sollen nur die Inhalte lesen dürfen.
• Abfrageprüfung und -übersetzung: Der komplexeste Teil ist das Verarbeiten der Anfragen. Datenbankabfragen können einfache Aufforderungen sein wie: Geben mir alle Daten aus Tabelle A oder komplexe Rechenoperation über mehrere Tabellen verteilt. Der Parser muss die Eingabe validieren: Ist die Abfrage syntaktisch korrekt? Sind die gewünschten Spalten vorhanden? Wie muss die Software welche Daten wie zusammenfassen, sortieren oder ändern? Der Parser übersetzt die Abfrage in die eigentlichen Aufgaben für eine Datenbank.
• Abfrage Optimierer: Nicht jede Abfrage ist optimal geschrieben. Eine Sortierung der Liste vor eine Reduktion (Liste verkürzen) führt dazu, dass die Anfrage länger dauert. Entweder warnt die Datenbank bei diesem Umstand oder optimiert die Operation direkt.
• Lasten-Verteiler: Große Datenbanken sind unter dem dauerhaften Beschuss tausender Nutzer. Damit die Datenbank gut arbeiten kann, müssen Abfragen an die Daten geplant und verteilt werden.
• Transaktionsprüfer: Ist der Befehl vollständig ausgeführt (Schreibbefehl) und in allen Tabellen korrekt abgespeichert, ohne dass eine andere zur gleichen Zeit geschrieben hat.
• Zwischenspeicherverwaltung: Einige Lese-Abfragen kommen immer wieder vor, diese kann die Datenbank zwischenspeichern, sodass die Last verringert wird. Der Nachteil dieser Methode ist, dass der Nutzer nicht die aktuellen Daten von dem echten Datensatz erhält.
• Wiederherstellungsverwaltung: Wenn der Server Strom verliert, sollten die Daten gesichert sein! Wie kann ich sicherstellen, dass keine Daten verloren gehen?
• Die rohen Daten: Das sind die Daten, die auf der Festplatte liegen und die eigentlichen Daten aus den Tabellen beinhalten.

Womit anfangen?

Jetzt hast Du die Komponenten kennengelernt. Nur womit soll ich jetzt anfangen?

Mache Dir Gedanken, wie Du Daten speicherst: binär, UTF-8, in welchen Datentyp, im Hauptspeicher – auf der Festplatte

Der erste Schritt ist das Lesen, Speichern, Ändern und Löschen von Daten durch einfache Funktionen:

• Wie kann ich sicherstellen, dass die Daten im richtigen Format gespeichert sind? Eignet sich CSV, Key-Value Paare, Hash-Maps oder Bäume für die Daten
• Wie sortiere ich die Daten in Ordner? Wie kann ich ein System in das Chaos an Daten bekommen? Wie benenne ich die Dateien?
• Wie kann ich einen performanten Zugriff gewährleisten? Wie kann ich mit Bibliotheken meiner Programmiersprache effizient auf die Datei zugreifen? Was passiert, wenn die Datenbank größer ist als der Hauptspeicher?

Der zweite große Meilenstein, ist es die Grundzüge eines Parsers zu entwerfen:

• Wie soll Deine Abfragesprache aussehen? Wie sieht eine Syntax aus? Was ist erlaubt? Wie flexibel ist die Sprache?
• Welche Kommandos kommen immer wieder vor? SELECT, WHERE, FROM, JOIN, UPDATE, DELETE – oder willst Du noch andere coole Kommandos haben?
• Was sollen die Kommandos machen? Sollen die Kommandos eine weitere Funktion erfüllen?
• Wie erkenne ich die Kommandos aus dem Script?
• Wie gehe ich mit Parametern um? Wie speichere ich Werte ab?
• Wie verarbeite ich eine Eingabe, damit diese effizient abgearbeitet wird? Im seltensten Fall findet die Prozessierung von oben nach unten statt.

Nach dieser Fragenliste sollte, Dir der Kopf qualmen und Du keine Lust mehr auf Dein eigenes Datenbank-Management-System haben. Der Berg an offene Fragen ist unendlich hoch. Jeden Berg besteigst Du, indem Du einem Schritt nach dem anderen machst.

Kann ich die DB fertigstellen?

Es gibt sehr einfache Datenbanken wie Key-Value Datenbanken, die Du in 1 Tag oder weniger programmieren kannst. Es ist eine Frage des Anspruchs!

Andere Datenbanken haben auch Limitation und nicht alle Features. Große Datenbanken wurden von Tausendschaften an Entwicklern zusammen getüftelt. Vergleiche Dich nicht!

Selbst wenn Du nur etwas an Deine Datenbank arbeitest und auf halbem Weg stecken bleibst, hast Du viel über Datenbanken und das Programmieren gelernt. Es ist eine gute Gymnastik Übung für den Geist.

Welche Programmiersprache?

Prinzipiell egal. Fange einfach in Golang an! Warum hast Du noch nicht begonnen=