数据字典中data item table与data table的区别及对应SQL Server表问询
问题1:data item table与data table的核心区别
二者是字段级元数据和表级元数据的对应关系,核心差异体现在三个维度:
- 描述对象不同:
data item table记录最小数据单元的元数据,也就是你提到的单个数据元素的名称、含义、类型、长度、值域这类属性,对应实际存储中的单个字段属性;data table(sheets)记录数据集合的元数据,描述多个数据元素组合成的整体数据集的属性,比如整个表/工作表的业务用途、归属业务线、适用场景等。举个实际例子:订单表本身的基础信息存在data table里,而订单表下属的订单ID、下单时间、用户ID这些单个字段的定义,全部存在data item table中。 - 层级关系不同:data item是data table的组成单元,1个data table会关联N个data item;反过来单个data item可以被多个data table复用,比如「用户ID」这个通用数据元素,可以同时关联用户表、订单表、操作日志表等多个data table。
- 使用场景不同:
data item table的核心作用是统一数据口径,避免不同业务线同一个含义的字段出现不同命名、不同类型、不同计算逻辑的问题;data table的核心作用是做数据集的检索索引、权限管控、数据血缘分析的基础载体。
问题2:此处的data table(sheets)是否可以对应SQL Server中的表
完全可以对应,但不是强制的唯一对应关系,你可以根据自己的数据流架构灵活调整匹配规则:
- 如果你的数据流里的sheets本身就是结构化数据,和SQL Server中的业务表、数仓表一一对应,直接映射即可。你当前设置的data table属性完全可以适配SQL Server表的元数据:比如
type可以标注是维度表、事实表、业务原始表、中间汇总表等分类,value range可以标注表的数据覆盖的业务周期、数据量级范围,待确认的user属性可以对应SQL Server的表所有者、可访问权限用户列表。 - 如果你的数据流里的sheets是上游业务人员提交的Excel类非标准化中间数据,你可以给data table加一个
映射对象类型的属性,分别对应上游sheet和下游落地的SQL Server表,二者做关联映射即可,不用强行二选一。
内容的提问来源于stack exchange,提问作者qrttttt
相关产品推荐
相关产品推荐

