Azure Data Factory：能否用Lookup/获取元数据活动查询Delta表并改用ADLS数据集？

可以，但存在一定限制，具体说明如下：

核心原理 #

Delta表本质是带事务日志的Parquet文件集合，在ADLS Gen2中以目录形式存储，根目录下包含多个Parquet数据文件和_delta_log事务日志文件夹。ADLS数据集可以直接访问这些底层Parquet文件，但无法解析Delta的事务日志逻辑。

实现步骤 #

• 创建ADLS Gen2数据集，指向Delta表的根目录（或指定分区目录）
• 在Lookup活动中配置该数据集，将文件格式设置为Parquet，即可读取Delta表的底层Parquet数据

关键限制 #

• 无事务特性支持：无法利用Delta的版本回滚、时间旅行、ACID一致性保证，直接读取Parquet文件可能获取到未提交的中间数据（若有写入操作正在进行）
• 数据量限制：Lookup活动最多返回5000行数据，仅适用于小数据集的查询场景
• 无SQL查询能力：只能读取原始Parquet文件内容，无法直接执行SQL过滤、聚合等操作，需额外处理数据

更优替代方案（如需完整Delta支持） #

如果需要完整的Delta表功能（如版本控制、SQL查询）且不想依赖Databricks，可以使用Azure Synapse Analytics无服务器SQL池：

• 在Synapse中创建指向ADLS Gen2 Delta表的外部表
• 通过Lookup活动连接Synapse数据集，执行SQL查询获取所需数据，既无需Databricks，又能解析Delta事务日志保证数据一致性

内容的提问来源于stack exchange，提问作者Kingsley Okoro