能否用非流式Delta Live Table结合Cloud Files增量加载ADF新增文件？

算力阿峰

2026-6-16

问题解答

1. 能否创建非流式Delta Live Table处理批量 ingestion 流程？

完全可以。Delta Live Table（DLT）支持非流式（批处理）模式的表定义，无需依赖流式语法（如STREAM()），直接通过批处理逻辑即可对接每日批量导入的供应商数据。

示例SQL定义：

CREATE OR REFRESH LIVE TABLE raw_vendor_data
AS SELECT * FROM cloud_files(
  "/path/to/adf-uploaded-data",
  "csv", -- 根据实际文件格式调整，如parquet、json等
  map("header", "true", "inferSchema", "true")
);

触发DLT批处理任务时，会一次性处理指定路径下的所有符合条件的数据，适配每日批量 ingestion 的场景。

2. 能否借助Cloud Files高效仅加载每日新增文件？

可以。Cloud Files（Databricks Auto Loader在DLT中的集成版本）内置了增量加载能力，无论流式还是批处理模式，都能自动跟踪已处理文件（通过内部检查点机制），仅加载自上次任务运行以来新增的文件，避免重复处理，保证效率。

3. 核心疑问：非流式表结合Cloud Files实现增量加载是否可行？

绝对可行，这是DLT批处理场景下增量加载的标准实践方案。

实现逻辑：

定义非流式LIVE TABLE，以cloud_files()作为数据源
通过ADF调度每日触发DLT批处理任务，Cloud Files会自动识别并加载新增文件
DLT自动完成数据的增量追加或合并，确保目标Delta表仅保留新增数据

额外优化建议：

如果文件路径包含日期分区（如/data/year=2024/month=05/day=20/），可添加路径过滤缩小扫描范围：

CREATE OR REFRESH LIVE TABLE raw_vendor_data
AS SELECT * FROM cloud_files(
  "/path/to/adf-uploaded-data/year=2024/month=*/day=*",
  "csv",
  map("header", "true", "inferSchema", "true")
)
WHERE _metadata.file_path LIKE CONCAT('%/', date_format(current_date(), 'yyyy/MM/dd'), '/%');