Databricks中DLT仅支持单个目标,跨库发布表是否需创建多管道?
Delta Live Tables(DLT)跨多数据库发布表的解决方案
是的,你需要创建两个独立的DLT管道。
DLT的管道设置确实仅支持指定单个目标数据库,这是当前产品的限制。如果要将不同的表发布到元数据存储中的两个不同数据库,最直接的方式就是为每个目标数据库单独创建DLT管道:
- 第一个管道配置目标数据库A,在其代码中定义要发布到A的表
- 第二个管道配置目标数据库B,在其代码中定义要发布到B的表
另外也有变通方案:先通过单个DLT管道将表写入默认目标数据库,再通过独立的Spark作业或SQL任务把表迁移到第二个数据库,但这种方法会增加额外的维护成本和数据延迟,远不如直接创建两个管道简洁可靠。
内容的提问来源于stack exchange,提问作者Rajib Deb
相关产品推荐
相关产品推荐

