在持续摄入数据时定期运行Iceberg rewrite_data_files是否安全？

• 完全可以在向同一张表持续摄入数据的同时，定期（比如每小时）运行rewrite_data_files存储过程
• Iceberg的版本化元数据和ACID特性支撑这种并发操作：rewrite_data_files是对现有小文件进行合并重写，生成新数据文件后更新表的元数据版本，这个过程不会阻塞新的数据写入——新摄入的数据会写入独立的新文件，最终通过元数据的版本迭代自然合并到表的视图中
• 实际落地时的注意点：
  • 不要过于频繁触发rewrite，否则会产生过多元数据版本，增加元数据的维护开销
  • 可以根据表的数据增量规模调整执行频率，每小时一次的频率在大多数场景下是合理的
  • 主流计算引擎（如Spark、Flink）对Iceberg的这类并发操作都有成熟支持，无需额外特殊配置即可保证数据一致性

内容的提问来源于stack exchange，提问作者oceansize