如何确保构建Provenance records一致以实现增量构建？解决Transform快照构建问题

提示含义解析 #

"Provenance records for the previous build are inconsistent" 指的是当前Transform的构建溯源记录与上一次构建的溯源信息不匹配。Foundry的增量构建依赖于追踪输入输出的完整溯源链——包括输入数据集的版本、Transform的代码逻辑、配置参数等核心信息，只有当这些信息的前后一致性被验证通过，系统才会判定可以复用之前的构建结果，仅处理新增或变更的数据。如果溯源记录出现不一致，Foundry会认为构建环境或依赖发生了不可靠的变更，为保证数据正确性，会自动退回到全量快照构建。

确保Provenance一致的具体措施 #

• 核对Transform代码与配置的一致性：对比两个项目中该Transform的代码逻辑（包括依赖的函数、UDF、导入模块）、构建配置（输入输出数据集路径、分区策略、触发器设置）是否完全一致。哪怕是注释、代码格式的细微变更，都可能被Foundry的溯源机制识别为变更，导致增量构建失效。
• 验证输入数据集的溯源完整性：确认当前项目中Transform依赖的所有输入数据集，其自身的构建溯源是完整且未被篡改的。如果输入数据集曾被手动修改、回溯版本或存在构建异常，会传递性地导致下游Transform的溯源记录不一致。
• 重置构建基准：如果确认代码和输入都无问题，可以手动触发一次全量快照构建，以此建立新的、一致的溯源基准。后续触发构建时，系统会基于这个基准判断增量。
• 检查项目级配置差异：两个项目的Foundry权限设置（数据集读写权限、Transform执行权限）、项目级构建配置（默认构建模式、缓存策略）可能存在差异，这些会影响溯源记录的生成和验证逻辑。
• 排查外部依赖资源：如果Transform依赖了外部资源（比如关联的数据库、外部API、共享代码库），要确认这些资源在两个项目中的访问路径、版本是否完全一致。外部资源的变更会直接导致溯源记录不匹配。

内容的提问来源于stack exchange，提问作者user5233494