使用GraalVM Native Image写入Parquet文件遇异常求解决方案

从异常栈信息可以定位到核心问题：org.apache.parquet.column.values.bitpacking.Packer类在静态初始化阶段，通过反射获取LemireBitPackingBE类的factory静态字段，但GraalVM Native Image的AOT编译过程中，这个字段因未被标记为反射可达而被优化移除，导致运行时抛出NoSuchFieldException。你之前的反射配置仅覆盖了类的构造方法、方法和内部类，未明确指定保留该静态字段。

修正后的反射配置 #

将以下配置替换你原有的reflect-config.json，重点补充了LemireBitPackingBE和LemireBitPackingLE的factory静态字段反射权限：

[
  {
    "name" : "org.apache.parquet.avro.SpecificDataSupplier",
    "allPublicConstructors" : true
  },
  {
    "name" : "org.apache.parquet.column.values.plain.BooleanPlainValuesWriter",
    "allPublicConstructors" : true,
    "allDeclaredMethods" : true,
    "allDeclaredClasses" : true
  },
  {
    "name" : "org.apache.parquet.column.values.bitpacking.LemireBitPackingBE",
    "allPublicConstructors" : true,
    "allDeclaredMethods" : true,
    "allDeclaredClasses" : true,
    "fields": [
      {"name": "factory", "allowUnsafeAccess": true}
    ]
  },
  {
    "name" : "org.apache.parquet.column.values.bitpacking.LemireBitPackingLE",
    "allPublicConstructors" : true,
    "allDeclaredMethods" : true,
    "allDeclaredClasses" : true,
    "fields": [
      {"name": "factory", "allowUnsafeAccess": true}
    ]
  },
  {
    "name" : "org.apache.parquet.column.values.bitpacking.Packer",
    "allPublicConstructors" : true,
    "allDeclaredMethods" : true,
    "allDeclaredClasses" : true
  }
]

注：同时添加LemireBitPackingLE的配置是因为Parquet会根据字节序选择不同的位打包实现，避免后续出现类似问题。

额外优化建议 #

手动配置反射容易遗漏，推荐使用GraalVM的native-image-agent自动收集所有必要配置：

1. 在标准JVM环境下运行你的代码，添加代理参数生成配置：

java -agentlib:native-image-agent=config-output-dir=./graal-configs 你的主类全限定名

2. 将生成的reflect-config.json、resource-config.json等文件合并到项目的GraalVM配置目录中，覆盖手动配置的遗漏项。

内容的提问来源于stack exchange，提问作者B3n