如何处理Databricks Notebook中不同步的表？Bronze-Silver-Gold链路校验咨询

我当前采用Bronze-Silver数据入站流程，后续数据会被Gold层Notebook消费。核心需求是检查Gold层Notebook所使用的所有表是否已完成更新。

最初尝试使用DLT Expectations在Gold层创建校验规则，验证所用Silver表的时间戳是否过期，但发现DLT Expectations仅支持对当前表的列范围进行校验，无法实现跨表的依赖校验。

针对该问题，我梳理了几种解决思路：

• 思路1：在每个Notebook内编写检查代码
  • 缺点：需要频繁修改现有Notebook，且要反复提醒开发人员添加检查块，长期维护成本高
• 思路2：在每个Gold层Notebook执行前，先运行一个统一的测试Notebook做校验，若存在未更新表则直接抛出错误
  • 缺点：随着依赖的Silver表数量增加，测试Notebook会逐渐臃肿，后续维护难度大
• 思路3：通过代码自动识别可运行的Notebook，循环校验其依赖表的更新状态后，再执行对应Notebook
  • 优点：无需修改现有代码，数据管道具备良好的可扩展性
  • 缺点：校验逻辑的可见性差，出现问题时排查定位难度高
• 思路4：阻止不应更新的Delta表执行覆盖和更新操作，触发错误提醒
  • 缺点：仅能限制覆盖、更新类操作，追加操作仍可正常执行，无法完全管控数据的更新状态
• 思路5：理想方案：Silver层报错时Gold层不更新
  • 说明：该方案不适用于当前业务场景

内容的提问来源于stack exchange，提问作者Ismael