← 数据架构
SQL + MPP,CDC 同步
原始数据存储为交易和分析保留一个原始数据基础。
所有由数据采集层收集的数据都以原始数据的形式存储在此处,同时存储在两个数据库中:一个针对事务一致性优化的 SQL 存储和一个针对分析规模优化的 MPP 存储。这两个数据库通过变更数据捕获直接保持同步,因此相同的原始记录可用于操作读取和大型分析查询,而无需手动维护两个单独的真实数据副本。
层
原始数据存储库
摄取的数据以原始记录的形式存储在 SQL(事务)数据库和 MPP(分析)数据库中,由 CDC 直接保持同步。
为何重要
价值是可操作的,而不仅仅是技术的。
人工智能及其上层的所有功能都可以依赖于单一的原始基础数据。事务性查询访问 SQL 存储,而大量聚合操作访问 MPP 存储,但由于 CDC 保持同步,两者都反映相同的原始记录。
在进行任何建模或抽象之前,将摄取的数据保留为原始记录。
提供来自 SQL 存储的事务一致性和来自 MPP 存储的分析规模。
使用 CDC 直接保持两个存储库的一致性,而不是通过夜间复制作业。
为每一层级提供一个一致的原始数据来源,以便在此基础上进行构建。
建筑合同
此层负责什么
1
摄取的数据被写入原始记录而不是预先聚合的表。
2
SQL 数据库保存事务性的、面向行的视图,以实现操作一致性。
3
MPP 数据库存储着用于大规模查询的分析性、列式视图。
4
变更数据捕获功能会在两个门店之间同步已提交的变更。
零售信号覆盖
它的实用性
用于交易读取的原始会员、订单、优惠券和积分记录相同的记录在 MPP 存储中用于分析扫描。原始行为事件与业务记录一同记录产品、价格、门店和库存状态(已导入)
代理机构人工智能的影响
这就是该层改进人工智能决策的方式。
如果没有一个与 CDC 同步的原始数据基础,团队最终会得到各自独立的副本:一个不一致的交易数据库和一个独立的分析仓库,再加上批处理作业导致分析数据与实际运营数据滞后数小时。
对成员当前状态的操作查找可以直接访问 SQL 存储。
无需加载 SQL 存储,即可在 MPP 存储上运行跨越数月事件的大型队列扫描。
通过 CDC(变更数据控制),一个商店中已提交的更改会反映到另一个商店,而不是通过夜间批处理。