如何优化AWS Athena Iceberg表的读写及查询性能？

我有两个结构完全相同的表：一个是爬虫处理生成的CSV表，另一个是通过以下SQL创建的Iceberg表：

CREATE TABLE dan_grafana.iced (
  meter string,
  readtime timestamp,
  kwh_total double)
PARTITIONED BY (`meter`, year(`readtime`))
LOCATION 's3://dev-aws/iceberg/iced'
TBLPROPERTIES (
  'table_type'='iceberg',
  'format'='parquet',
  'optimize_rewrite_delete_file_threshold'='10',
  'write_target_data_file_size_bytes'='134217728'
);

创建完成后仅将CSV数据导入该Iceberg表，目前读取该Iceberg表的耗时是CSV表的两倍，扫描字节数是后者的5倍，二者存储成本相同。需要优化该Iceberg表的读取性能。

具体优化措施 #

1. 调整分区策略 #

当前按meter + year(readtime)分区，若meter基数极大（如上万种不同值），会引发分区爆炸，生成大量小文件，严重拖慢读取效率：

• 优先按时间维度分层，改用year(readtime) + month(readtime)作为分区键；若meter基数过高，去掉其作为分区键，改用数据分桶实现同类数据聚合：

  -- 修改分区规则
  ALTER TABLE dan_grafana.iced 
  SET PARTITION FIELD year(readtime), month(readtime);
  -- 添加分桶，将相同meter的数据集中存储
  ALTER TABLE dan_grafana.iced 
  CLUSTERED BY (meter) INTO 64 BUCKETS;
  

• 分桶既避免分区爆炸，又能在按meter查询时快速定位数据块。

2. 执行表压缩优化（Compaction） #

数据导入后大概率生成大量小文件，Iceberg的Compaction操作会将小文件合并为你设置的128MB目标大小，减少文件数量与扫描开销：

• 全量优化表：

  CALL system.optimize_table('dan_grafana.iced');
  

• 针对特定分区优化（如仅优化2024年数据）：

  CALL system.optimize_table('dan_grafana.iced', partition => 'year(readtime)=2024');
  

3. 生成全表统计信息 #

Iceberg依赖统计信息生成最优查询计划，导入后未生成统计信息会导致引擎无法精准定位数据，扩大扫描范围：

• 手动生成全量统计信息：

  ANALYZE TABLE dan_grafana.iced COMPUTE STATISTICS FOR ALL COLUMNS;
  

• 根据使用的查询引擎（如Spark/Trino）开启自动统计收集，确保后续数据变更时统计信息自动更新。

4. 优化Parquet压缩配置 #

虽然指定了Parquet格式，但需确认导入时是否启用高效压缩算法，未压缩的Parquet文件体积会远超CSV：

• 检查当前压缩配置：

  SHOW TBLPROPERTIES dan_grafana.iced LIKE 'write.compression.codec';
  

• 若未配置，修改为ZSTD（压缩比与性能平衡最优）：

  ALTER TABLE dan_grafana.iced SET TBLPROPERTIES ('write.compression.codec'='zstd');
  

• 重新导入或执行Compaction后，新文件会使用ZSTD压缩，大幅减少存储体积与扫描字节数。

5. 查询层面优化 #

• 确保查询过滤条件命中分区键或分桶键（如指定year(readtime)和meter），触发Iceberg的分区修剪，避免全表扫描。
• 避免使用SELECT *，只查询所需列，利用Parquet的列存储特性减少扫描字节数。

内容的提问来源于stack exchange，提问作者Dan M