如何在1010data中处理缓慢变化维度表及替代inequality join关联

刚好在1010data里处理过不少缓慢变化维度的场景，给你分享下实操的思路和方法：

一、1010data中处理缓慢变化维度表的通用步骤 #

对于带生效起止日期的属性型SCD Type 2（也就是你提到的这类），1010data的处理逻辑和传统数仓思路一致，但可以利用它的内置函数更高效地维护版本：

• 初始化维度表结构：一定要包含start_dt（生效起始日）、end_dt（生效结束日）、current_flag（当前有效标志）这几个核心字段，初始时把end_dt设为'9999-12-31'这类极大值，current_flag设为1表示当前有效。
• 增量更新维度版本：当维度属性发生变化时，分两步操作：
  1. 找到该维度键对应的旧有效记录，把它的end_dt更新为变更前的最后有效日期，current_flag设为0；
  2. 插入一条新的维度记录，start_dt设为变更生效的日期，end_dt仍用极大值，current_flag设为1。
• 用窗口函数自动生成版本：如果是批量处理维度数据，可以用窗口函数快速生成版本号和起止日期，比如：

  <sel value="rank() over (partition by dim_key order by start_dt desc) as version_num"/>
  

  这样能快速区分同一维度键下的不同历史版本。

二、关联带起止日期的SCD与事实表的替代方案 #

传统SQL里的不等值join（between关联时间范围），在1010data里有两种更高效的实现方式：

方法1：用lookup函数匹配时间范围 #

如果事实表每条记录都有业务日期（比如fact_dt），可以直接用lookup函数在维度表中精准匹配对应时段的属性，写法更简洁：

<base table="your_fact_table"/>
<sel value="lookup('your_dim_table', 'dim_key', dim_key, 'customer_segment', where='fact_dt between start_dt and end_dt') as cust_segment"/>
<sel value="lookup('your_dim_table', 'dim_key', dim_key, 'region', where='fact_dt between start_dt and end_dt') as region"/>

这个方法适合维度表数据量不大，或者只需要关联少量字段的场景，执行效率很高。

方法2：显式join配合多条件关联 #

如果需要关联大量维度字段，或者维度表数据量较大，推荐用显式join，在on子句里同时指定维度键匹配和时间范围条件：

<join table="your_dim_table" type="left">
  <on expr="your_fact_table.dim_key = your_dim_table.dim_key"/>
  <on expr="your_fact_table.fact_dt between your_dim_table.start_dt and your_dim_table.end_dt"/>
</join>

1010data的join支持多条件on子句，完全能实现和传统SQL不等值join一样的逻辑，而且优化器会自动做性能调优，比直接写不等值join更稳定。

几个实用优化技巧 #

• 给维度表的dim_key、start_dt、end_dt建立索引，能大幅加快关联速度；
• 如果事实表是按日期分区的，可以先过滤出目标日期范围的事实数据，再和对应时段的维度记录关联，减少不必要的计算；
• 只需要当前有效维度数据时，直接加where current_flag = 1筛选，不用遍历全量历史版本。

内容的提问来源于stack exchange，提问作者John Wyant