在Athena/Presto中如何统计Iceberg表对查询结果的数据贡献

一、最直接的SQL层面解决方案 #

不管用Athena还是Presto，最精准的方式是在子查询中添加来源标识列，直接统计各表对最终结果的贡献：

1. 带标识列的UNION查询（保留重复行用UNION ALL） #

SELECT 'table_a' AS source_table, * FROM table_a WHERE XXX
UNION ALL
SELECT 'table_b' AS source_table, * FROM table_b WHERE YYY

2. 统计各表行数 #

基于上面的结果，分组统计即可：

SELECT source_table, COUNT(*) AS row_count
FROM (
    SELECT 'table_a' AS source_table, * FROM table_a WHERE XXX
    UNION ALL
    SELECT 'table_b' AS source_table, * FROM table_b WHERE YYY
) AS combined_data
GROUP BY source_table;

注意：如果原查询用的是UNION（自动去重），上述统计的是去重前各表的输出行数。若需要统计去重后实际留在结果中的各表行数，需要额外处理（比如通过窗口函数标记重复行），但这种场景下SQL层面的统计依然是最可靠的。

二、Athena替代方案 #

你尝试的get-query-runtime-statistics接口确实无法直接提供各表的结果贡献行数，但可以通过以下方式获取近似数据：

• 查看Athena控制台的查询执行计划：在查询详情页的「Execution Plan」中，找到对应TableScan节点，查看Rows Read（扫描行数）和Rows Output（过滤后输出行数）。不过这是单表过滤后的行数，若原查询用UNION去重，无法直接对应最终结果中的行数。

三、Presto的元数据查询方案 #

Presto可以通过系统表查询执行统计，步骤如下：

1. 执行目标UNION查询后，记录查询ID（可从Presto Web UI或CLI的输出中获取）。
2. 查询system.runtime.query_plan_nodes表，筛选TableScan类型的节点：

SELECT 
    table_name,
    rows_input AS 扫描行数,
    rows_output AS 过滤后输出行数
FROM system.runtime.query_plan_nodes
WHERE query_id = 'your_query_id_here'
  AND plan_node_type = 'TableScan';

• rows_output就是对应表经过WHERE条件过滤后输出的行数，如果原查询用UNION ALL，这个数值就是该表在最终结果中的行数；如果用UNION，则是去重前的行数，无法直接得到去重后的贡献行数。
• 也可以直接在Presto Web UI的查询详情中查看执行计划，每个TableScan节点会显示对应的行数统计，更直观。

内容的提问来源于stack exchange，提问作者hehe123456