Der Rohdatenspeicher verwaltet eine zentrale Datenbasis für Transaktionen und Analysen.
Alle von der Datenerfassungsschicht gesammelten Daten landen hier als Rohdaten und werden gleichzeitig in zwei Datenbanken gespeichert: einer für Transaktionskonsistenz optimierten SQL-Datenbank und einer für analytische Skalierung optimierten MPP-Datenbank. Die beiden Datenbanken werden durch Änderungsdatenerfassung direkt synchronisiert, sodass dieselben Rohdatensätze sowohl für operative Lesevorgänge als auch für umfangreiche analytische Abfragen zur Verfügung stehen, ohne dass zwei separate Kopien manuell verwaltet werden müssen.
Die erfassten Daten landen als Rohdatensätze sowohl in einer SQL-Datenbank (Transaktionsdatenbank) als auch in einer MPP-Datenbank (Analysedatenbank), die vom CDC direkt synchronisiert werden.
Der Wert ist operativ und nicht nur technisch.
Die KI und alle darüber liegenden Systeme können auf einer einzigen Datenbasis basieren. Transaktionsbasierte Abfragen greifen auf den SQL-Speicher zu, während komplexe Aggregationen den MPP-Speicher nutzen. Beide spiegeln jedoch dieselben Rohdatensätze wider, da CDC diese synchronisiert.
Behält aufgenommene Daten als Rohdatensätze bei, bevor eine Modellierung oder Abstraktion erfolgt.
Bietet Transaktionskonsistenz aus dem SQL-Speicher und analytische Skalierung aus dem MPP-Speicher.
Verwendet CDC, um die beiden Stores direkt abzugleichen, anstatt nächtliche Kopiervorgänge durchzuführen.
Bietet jeder höheren Ebene eine einheitliche Rohstoffquelle, auf der sie aufbauen kann.
Wofür diese Ebene zuständig ist
Die erfassten Daten werden als Rohdatensätze und nicht in voraggregierten Tabellen geschrieben.
Eine SQL-Datenbank enthält die transaktionale, zeilenorientierte Ansicht für betriebliche Konsistenz.
Eine MPP-Datenbank speichert die analytische, spaltenorientierte Ansicht für umfangreiche Abfragen.
Die Änderungsdatenerfassung sorgt für die Synchronisierung der beiden Filialen durch die Übertragung der vorgenommenen Änderungen.
Was es nutzbar macht
So verbessert der Layer KI-Entscheidungen.
Ohne eine CDC-synchronisierte Rohdatenbasis erhalten Teams widersprüchliche Kopien: eine Transaktionsdatenbank und ein separates Analyse-Data-Warehouse, die nicht übereinstimmen, sowie Batch-Jobs, die dazu führen, dass die Analysedaten Stunden hinter der operativen Wahrheit zurückbleiben.
Eine operative Suche nach dem aktuellen Status eines Mitglieds kann direkt im SQL-Speicher erfolgen.
Ein umfassender Kohorten-Scan über mehrere Monate hinweg kann im MPP-Speicher ausgeführt werden, ohne den SQL-Speicher zu belasten.
Eine in einem Geschäft vorgenommene Änderung spiegelt sich im anderen Geschäft durch CDC wider, nicht durch eine nächtliche Datenerfassung.