如何查询两个Apache Iceberg快照间的差异及受影响行列信息？

当然可以查询两个Iceberg快照之间的差异，下面是几种实用的实现方式：

1. 用Iceberg命令行工具做元数据级对比 #

Iceberg自带的命令行工具能快速输出两个快照的文件级差异，比如新增/删除的数据文件、分区变化等：

iceberg snapshot diff --table <表路径> --from-snapshot <快照ID1> --to-snapshot <快照ID2>

执行后会列出两个快照间的文件增减、大小变化等核心元数据差异。

2. 通过SQL获取行级数据差异 #

借助Iceberg的时间旅行特性，结合SQL的EXCEPT/MINUS（依引擎而定，比如Spark、Trino），可以直接对比两个快照的行数据：

-- 查看快照2相对快照1新增的行
SELECT * FROM table_name VERSION AS OF <快照ID2>
EXCEPT
SELECT * FROM table_name VERSION AS OF <快照ID1>;

-- 查看快照1相对快照2删除的行
SELECT * FROM table_name VERSION AS OF <快照ID1>
EXCEPT
SELECT * FROM table_name VERSION AS OF <快照ID2>;

如果只关注特定列的变化，直接在查询中指定列名即可；若表开启了行级更新，还能精准定位更新的行数据。

3. 用Iceberg API做定制化差异分析 #

如果需要更细粒度的控制，可通过Java/Scala API直接操作快照对象：

• 获取两个快照的Snapshot实例
• 对比addedDataFiles()和deletedDataFiles()得到文件级变动
• 若需行级差异，可读取对应数据文件，结合主键或行ID做对比

示例Java代码片段：

Table table = Catalogs.loadTable(..., "table_name");
Snapshot snapshot1 = table.snapshot(<快照ID1>);
Snapshot snapshot2 = table.snapshot(<快照ID2>);

// 获取快照2相对快照1新增的文件
Set<DataFile> addedFiles = new HashSet<>(snapshot2.addedDataFiles());
addedFiles.removeAll(snapshot1.addedDataFiles());

// 获取快照1相对快照2删除的文件
Set<DataFile> deletedFiles = new HashSet<>(snapshot1.addedDataFiles());
deletedFiles.removeAll(snapshot2.addedDataFiles());

4. 查询快照操作历史快速定位影响范围 #

通过SQL查询表的历史记录，能直接看到最后一个快照的操作类型（如INSERT/UPDATE/DELETE）及核心统计信息：

SELECT snapshot_id, parent_id, operation, timestamp, summary 
FROM table_name.history 
ORDER BY timestamp DESC LIMIT 2;

summary字段会包含操作涉及的行数、分区范围等关键信息，快速帮你了解快照的影响面。

内容的提问来源于stack exchange，提问作者ukrwine10