如何在PowerBI中显示ADLS存储的Delta表完整最新版本？

问题根源 #

PowerBI直接通过ADLS 2连接读取Delta目录时，无法识别Delta Lake的事务日志（_delta_log下的json、crc文件）。Delta Lake的更新/删除操作不会物理删除旧Parquet文件，而是通过事务日志标记这些文件失效。PowerBI会合并所有Parquet文件，导致包含已删除/过时的数据，无法展示最新版本。

解决方案 #

1. 使用Databricks SQL作为中间层（推荐方案） #

• 在Databricks Notebook中将ADLS上的Delta目录注册为元数据表：

  adls_path = "abfss://container@storageaccount.dfs.core.windows.net/path/to/your/delta"
  spark.sql(f"CREATE TABLE IF NOT EXISTS my_delta_table USING DELTA LOCATION '{adls_path}'")
  

• 在PowerBI中使用Databricks SQL连接器，直接连接到Databricks并查询该表。
• 优势：自动适配Delta的事务特性，实时获取最新数据，无需手动处理文件或维护脚本，性能稳定。

2. 生成单一Parquet文件（适合小数据量场景） #

如果数据量较小，可强制将Delta表保存为单个Parquet文件，避免PowerBI处理多文件的问题：

# 保存为单分区Delta表
new_df.repartition(1).write.format("delta").mode("overwrite").save(adls_path)

# 若不需要Delta特性，也可直接存为单一Parquet文件
new_df.repartition(1).write.format("parquet").mode("overwrite").save(adls_path)

• 注意：repartition(1)会将所有数据集中到一个分区，大表场景会严重影响写入和读取性能，仅适用于小数据量。

3. PowerBI中解析Delta事务日志（直接读ADLS） #

手动编写M脚本解析Delta的事务日志，筛选出当前有效的Parquet文件：

let
    DeltaPath = "abfss://container@storageaccount.dfs.core.windows.net/path/to/delta",
    // 获取最新的事务日志文件
    LogFolder = DeltaPath & "/_delta_log",
    LogFiles = Folder.Files(LogFolder),
    SortedLogs = Table.Sort(LogFiles,{{"Name", Order.Descending}}),
    LatestLogContent = SortedLogs{0}[Content],
    // 解析日志中的添加/删除记录
    LogJson = Json.Document(LatestLogContent),
    AddedFiles = List.Transform(LogJson[add], each [path]),
    RemovedFiles = List.Transform(LogJson[remove] ?? {}, each [path]),
    // 计算有效文件列表
    ValidFiles = List.Difference(AddedFiles, RemovedFiles),
    // 加载有效Parquet文件
    LoadValidFiles = Table.Combine(List.Transform(ValidFiles, each Parquet.Files(DeltaPath & "/" & _)))
in
    LoadValidFiles

• 注意：该方法需要维护M脚本，Delta日志格式变更时需同步调整，性能不如Databricks SQL方案。

4. 定期清理Delta旧文件 #

在Databricks中执行OPTIMIZE和VACUUM，物理删除标记为失效的旧Parquet文件，让PowerBI合并文件时只读取有效数据：

-- 合并小文件并优化表结构
OPTIMIZE delta.`abfss://container@storageaccount.dfs.core.windows.net/path/to/delta`

-- 物理删除超过0小时的旧文件（需提前允许短保留时间）
VACUUM delta.`abfss://container@storageaccount.dfs.core.windows.net/path/to/delta` RETAIN 0 HOURS

• 注意：VACUUM会删除历史数据，无法再使用Delta的时间旅行特性；默认集群配置不允许保留0小时，需提前在Databricks集群设置中修改spark.databricks.delta.retentionDurationCheck.enabled为false。

内容的提问来源于stack exchange，提问作者Thoughtful_Giraffe