Raw Data Store は、トランザクションと分析の両方に対して 1 つの生の基盤を保持します。
インジェスト レイヤーによって収集されたものはすべて生データとしてここに到達し、トランザクションの一貫性のために最適化された SQL ストアと分析スケールのために最適化された MPP ストアの 2 つのデータベースに一度に保存されます。この 2 つは、変更データ キャプチャを通じて直接調整されるため、手動で真実の 2 つの別々のコピーを維持しなくても、同じ生のレコードを運用読み取りや大規模な分析クエリに利用できます。
取り込まれたデータは、SQL (トランザクション) データベースと MPP (分析) データベースの両方に生のレコードとして配置され、CDC によって直接同期が維持されます。
価値は技術的なものだけではなく、運用上のものです。
AI とその上のすべてのものは、単一の生の基板に依存できます。トランザクション ルックアップは SQL ストアにアクセスし、大量の集計は MPP ストアにアクセスしますが、CDC が同期を保つため、どちらも同じ生レコードを反映します。
モデリングや抽象化が行われる前に、取り込まれたデータを生のレコードとして保存します。
SQL ストアからトランザクションの一貫性を提供し、MPP ストアから分析スケールを提供します。
CDC を使用して、夜間のコピー ジョブの代わりに 2 つのストアを直接調整します。
すべての上位レイヤーに、構築の基礎となる 1 つの一貫した生のソースを提供します。
この層が担当するもの
取り込まれたデータは、事前に集計されたテーブルではなく生のレコードとして書き込まれます。
SQL データベースは、操作の一貫性を保つためにトランザクションの行指向のビューを保持します。
MPP データベースは、大規模なクエリ用の分析的な列指向のビューを保持します。
変更データ キャプチャは、コミットされた変更を 2 つのストア間で伝播し、同期を保ちます。
何が使えるようになるのか
これが、このレイヤーが AI の意思決定を改善する方法です。
CDC と同期された未処理の基板が 1 つもなければ、チームは、一致しないトランザクション データベースと別の分析ウェアハウス、さらに分析データが運用上の真実から数時間も遅れてしまうバッチ ジョブなど、コピーを漂流させることになります。
メンバーの現在の状態の操作ルックアップは、SQL ストアに直接アクセスできます。
SQL ストアをロードせずに、数か月にわたるイベントにわたる大規模なコホート スキャンを MPP ストア上で実行できます。
一方のストアでコミットされた変更は、夜間のバッチではなく CDC を通じてもう一方のストアに反映されます。