Apache Iceberg列重命名后非Iceberg生成Parquet数据返回Null咨询

你的期望完全合理——Iceberg的设计目标就是支持无数据重写的schema演化，包括列重命名。问题的核心在于非Iceberg生成的Parquet文件缺少Iceberg核心的字段ID（Field ID）元数据，导致重命名后无法映射原始列数据。

为什么Iceberg生成的文件能正常工作？ #

Iceberg的列映射不依赖物理文件的列名，而是靠字段ID来关联：

• 当Iceberg写入Parquet文件时，会在文件的元数据中嵌入每个列对应的唯一字段ID
• 执行列重命名时，Iceberg只更新表schema中该字段ID对应的名称，不会修改物理文件
• 查询时，Iceberg通过字段ID找到物理文件中对应的列，所以不管列名怎么变，数据都能正确映射

非Iceberg生成的Parquet文件为什么失效？ #

标准Parquet库写入的文件没有Iceberg的字段ID元数据：

• 用appendFile()添加这类文件时，Iceberg只能通过列名完成初始映射
• 重命名后，表schema中的列名变为new_name，但物理文件里还是old_name，此时没有字段ID来关联两者，查询时无法匹配到原始列，因此返回null

解决方法 #

1. 导入时显式绑定字段ID（推荐） #

在创建表或追加文件时，给每个字段指定固定的字段ID，让Iceberg能通过ID追踪列：

// 创建带字段ID的Schema
Schema schema = new Schema(
    Types.NestedField.required(1, "old_name", Types.StringType.get())
);

// 后续执行重命名，字段ID保持不变，仅更新名称
icebergTable.updateSchema()
    .renameColumn("old_name", "new_name")
    .commit();

这样即使物理文件列名是old_name，Iceberg也能通过ID=1找到对应数据，映射到new_name列。

2. 重写文件为Iceberg格式 #

用Iceberg的rewriteDataFiles() API将现有非Iceberg生成的Parquet文件重写为带Iceberg元数据的文件：

// 筛选出没有字段ID的文件并重写
icebergTable.newRewrite()
    .rewriteFiles(Files.filter(icebergTable.files(), file -> !file.hasFieldIds()))
    .commit();

重写后文件会嵌入字段ID，后续schema演化操作就能正常工作。

3. 查询时手动映射（临时方案） #

如果暂时不想修改文件，可以在查询时手动做列名映射，比如Spark SQL：

SELECT old_name AS new_name FROM your_iceberg_table

但这只是临时 workaround，无法从根本上解决schema演化的问题。

内容的提问来源于stack exchange，提问作者pedorro