Azure Synapse无服务器池无法正常读取外部Delta表求助

核心原因 #

Delta Lake通过事务日志管理版本和文件，Synapse无服务器的OPENROWSET对Delta的事务日志解析存在局限性：

• Append/Upsert会生成多个小文件及版本标记，Synapse可能未正确读取最新事务日志，导致部分数据未加载
• Upsert标记旧文件为删除，但Synapse可能未识别这些删除标记，出现重复记录

具体解决方案 #

1. 强制读取Delta最新版本 #

在OPENROWSET中指定DELTA_VERSION参数，直接读取最新版本的Delta数据：

SELECT * FROM OPENROWSET(
    BULK '<your-delta-table-path>',
    DATA_SOURCE = '<your-adls-container>',
    FORMAT = 'DELTA',
    -- 动态获取最新版本号
    DELTA_VERSION = (SELECT MAX(version) FROM OPENROWSET(BULK '<your-delta-table-path>', DATA_SOURCE='<your-adls-container>', FORMAT='DELTA') WITH (version BIGINT) AS v)
) AS r

也可以在Databricks更新后记录最新版本号，将视图固定为该版本，避免动态查询的开销。

2. 生成Symlink Manifest供Synapse读取 #

Delta的Symlink Manifest会生成合并后的Parquet文件索引，让非Delta引擎能正确读取完整数据：

• 在Databricks每次Append/Upsert后执行：

  spark.sql("GENERATE symlink_format_manifest FOR TABLE delta.`<your-delta-table-path>`")
  

• 修改Synapse视图，读取Manifest路径而非原始Delta路径：

  SELECT * FROM OPENROWSET(
      BULK '<your-delta-table-path>/_symlink_format_manifest/',
      DATA_SOURCE = '<your-adls-container>',
      FORMAT = 'PARQUET'
  ) AS r
  

  此方法彻底绕过Delta事务日志的解析问题，Synapse直接读取合并后的Parquet文件。

3. 清理Delta旧版本文件（VACUUM） #

Upsert会生成标记为删除的旧文件，Synapse可能仍读取这些文件导致重复。执行VACUUM清理旧文件：

-- 保留1小时的旧版本，根据业务调整，避免误删需要的历史数据
spark.sql("VACUUM delta.`<your-delta-table-path>` RETAIN 1 HOURS")

注意：执行前确认没有其他进程需要读取旧版本数据，避免数据丢失。

4. 禁用Synapse查询缓存 #

Synapse无服务器的查询缓存可能导致读取旧数据，在查询视图时添加NO_CACHE选项：

SELECT * FROM your_delta_view OPTION (NO_CACHE)

也可以直接在视图定义中加入该选项。

5. 验证Databricks事务完整性 #

确认Append/Upsert操作是原子提交：

• 在Databricks执行以下命令查看事务历史：

  spark.sql("DESCRIBE HISTORY delta.`<your-delta-table-path>`").show()
  

  检查最新Commit的operation和status，确保是成功完成的APPEND或MERGE操作，无部分提交情况。

内容的提问来源于stack exchange，提问作者grass dry