是否有命令可原地将现有Parquet数据转换为Iceberg表？

Iceberg同样支持零拷贝将现有Parquet数据集转换为Iceberg表，无需移动或修改原始Parquet文件，仅添加自身的元数据文件（存放在表路径下的metadata目录），操作逻辑和Delta Lake的CONVERT TO DELTA一致。

具体操作方式（以Spark为例） #

1. 类Delta Lake的SQL转换命令（Spark 3.2+支持）

可以直接用类似语法完成零拷贝转换：

-- 将路径'<path-to-table>'下按整数列'part'和'part2'分区的Parquet表转换为Iceberg表
ALTER TABLE parquet.`<path-to-table>` CONVERT TO iceberg
PARTITIONED BY (part int, part2 int);

2. 创建Iceberg表并关联现有数据

若需要自定义表名或更灵活的配置，可通过创建表的方式关联现有Parquet路径，同样实现零拷贝：

CREATE TABLE my_iceberg_table
USING iceberg
PARTITIONED BY (part int, part2 int)
LOCATION '<path-to-table>'
AS SELECT * FROM parquet.`<path-to-table>` LIMIT 0;

这里LIMIT 0仅同步数据Schema而不扫描原始文件，保证操作高效无数据拷贝。

3. 编程式API转换（适用于复杂场景）

如果需要通过代码批量处理，可使用Iceberg的Spark API：

import org.apache.iceberg.spark.IcebergSpark

// 转换指定路径的Parquet数据为Iceberg表，指定分区规则
IcebergSpark.convert(spark, "parquet.`<path-to-table>`", "my_iceberg_table", 
  Map("partition-spec" -> "part int, part2 int"))

核心特性 #

• 转换过程仅生成Iceberg元数据文件（快照、清单等），原始Parquet文件完全保留，属于纯元数据操作，无任何数据拷贝或修改。
• 转换后的Iceberg表支持所有Iceberg特性，比如时间旅行、Schema演化、增量查询等。

内容的提问来源于stack exchange，提问作者YFl