如何在Fabric中创建增量管道？删除旧数据脚本执行失败求助

原脚本的核心问题 #

1. 语法错误 #

• 字段名笔误：fact_Transactions.fk.date应该是fact_Transactions.fk_date（你的表字段是fk_date）
• 类型不兼容：fk_date是yyyymmdd格式的字符串，子查询返回的是DATE类型数据，用IN做匹配时数据库无法识别
• 拼接语法适配问题：部分数据库（如MySQL）不支持用+拼接字符串，需用对应函数（如CONCAT()）

2. 逻辑完全错误 #

这个脚本的逻辑是删除所有fk_date转换后日期存在于当前表的记录，相当于要清空整个fact_Transactions表，完全不符合你“删除旧数据、实现增量加载”的需求。

针对增量场景的正确脚本示例 #

假设你要删除指定日期之前的旧数据（比如2023年1月1日之前），根据你使用的数据库选择对应脚本：

SQL Server 版本 #

DELETE FROM fact_Transactions
WHERE CAST(LEFT(fk_date,4) + '-' + RIGHT(LEFT(fk_date,6),2) + '-' + RIGHT(fk_date,2) AS DATE) < '2023-01-01'

MySQL 版本 #

DELETE FROM fact_Transactions
WHERE STR_TO_DATE(fk_date, '%Y%m%d') < '2023-01-01'

Oracle 版本 #

DELETE FROM fact_Transactions
WHERE TO_DATE(fk_date, 'YYYYMMDD') < TO_DATE('2023-01-01', 'YYYY-MM-DD')

增量管道优化建议 #

• 优先做增量加载：对比源数据和目标表的主键/唯一标识，只加载目标表中不存在的记录，避免先删后加的低效操作
• 给事实表加load_timestamp字段：记录每条数据的加载时间，后续清理旧数据时直接用这个字段过滤，不用每次转换fk_date，提升性能
• 明确“旧数据”定义：是N天前的数据，还是某个业务截止日期之前的数据，再针对性编写过滤条件

内容的提问来源于stack exchange，提问作者José Ferreira