如何通过Synapse Serverless Pool获取Delta表最新提交版本？

直接读取Delta表的事务日志文件是最理想的方案，完全规避你之前遇到的问题：

• 读取Delta事务日志获取最新版本
  Delta Lake的所有提交元数据都存在表存储路径下的_delta_log目录中，日志文件按递增数字命名（比如00000000000000000000.json、00000000000000000001.json），最新的文件就对应最新的提交版本。

  在Synapse无服务器池中，用OPENROWSET直接查询这些日志文件就能提取最新版本号，不需要修改原表，也不会产生额外提交：

  SELECT TOP 1
      JSON_VALUE(file_content, '$.commitInfo.version') AS latest_version
  FROM
      OPENROWSET(
          BULK 'https://<存储账户名>.dfs.core.windows.net/<容器名>/<Delta表路径>/_delta_log/*.json',
          FORMAT = 'CSV',
          FIELDTERMINATOR = '0x0b',
          FIELDQUOTE = '0x0b'
      ) WITH (file_content NVARCHAR(MAX), filename VARCHAR(255)) AS log_files
  WHERE
      JSON_VALUE(file_content, '$.commitInfo') IS NOT NULL -- 只保留包含提交信息的日志行
  ORDER BY
      CAST(REPLACE(REPLACE(filename, '_delta_log/', ''), '.json', '') AS BIGINT) DESC;
  

• 封装成视图方便复用
  如果下游任务需要频繁查询，把上面的逻辑封装成无服务器视图，调用起来更方便：

  CREATE VIEW vw_delta_latest_version
  AS
  SELECT TOP 1
      JSON_VALUE(file_content, '$.commitInfo.version') AS latest_version,
      JSON_VALUE(file_content, '$.commitInfo.timestamp') AS commit_timestamp
  FROM
      OPENROWSET(
          BULK 'https://<存储账户名>.dfs.core.windows.net/<容器名>/<Delta表路径>/_delta_log/*.json',
          FORMAT = 'CSV',
          FIELDTERMINATOR = '0x0b',
          FIELDQUOTE = '0x0b'
      ) WITH (file_content NVARCHAR(MAX), filename VARCHAR(255)) AS log_files
  WHERE
      JSON_VALUE(file_content, '$.commitInfo') IS NOT NULL
  ORDER BY
      CAST(REPLACE(REPLACE(filename, '_delta_log/', ''), '.json', '') AS BIGINT) DESC;
  

这个方案的核心优势：

• 完全无侵入，不会修改原Delta表或产生额外提交记录
• 只读取元数据文件，性能远优于扫描全表
• 依赖Delta Lake原生事务日志，版本号绝对准确可靠

内容的提问来源于stack exchange，提问作者Will W