Go语言写入Parquet文件时如何处理NaN值

首先纠正一个常见误区：Parquet的FLOAT/DOUBLE原始类型本身遵循IEEE 754浮点数标准，原生支持NaN、正负无穷这类特殊值，不存在“NaN不属于Parquet支持类型”的问题，写入失败本质是库的默认校验规则拦截导致的，不需要找特殊的适配Schema，用以下两种方案就能解决：

方案1：直接写入原生NaN（推荐，性能最好） #

直接用标准浮点数类型定义对应字段，调整库的校验配置即可，不需要做值转换：

• Schema定义：存储NaN的字段直接声明为DOUBLE（对应Go的float64）或FLOAT（对应Go的float32）类型，设置为optional（可选）即可，不需要附加任何逻辑类型。JSON Schema示例：

{
  "Tag": "name=root, repettype=required",
  "Fields": [
    {"Tag": "name=sensor_value, type=DOUBLE, repettype=optional"}
  ]
}

如果是用Go结构体标签定义Schema，对应字段写法参考：

type DataRow struct {
    SensorValue *float64 `parquet:"name=sensor_value, type=DOUBLE"`
}

用指针类型是为了同时兼容普通空值和NaN场景。

• 写入器配置：初始化Parquet写入器时，添加跳过NaN校验的选项，关闭库默认的特殊值拦截逻辑：

pw, err := parquet.NewParquetWriter(
    nil, // 你的输出io.Writer
    schemaJson,
    1,
    parquet.WithSkipCheckNaN(), // 核心配置：允许写入NaN/Inf等IEEE754特殊值
)

配置完成后，Go中通过math.NaN()生成的浮点NaN值可以直接写入，读取时会被正确解析为Go对应的NaN值，和普通浮点数的读写性能完全一致。

方案2：业务层转换NaN（兼容下游不支持NaN的场景） #

如果你的下游Parquet读取组件不支持浮点NaN，或者必须开启严格值校验，可以在写入前做一层轻量转换，不需要修改Schema结构：

• 哨兵值映射：和下游约定一个业务上不可能出现的浮点值作为NaN的替代（比如监控、传感器场景常用-9999作为无效值标记），写入前把所有NaN替换成该哨兵值，读取时再反向还原即可
• 标记位拆分：额外新增一个布尔类型字段（比如is_value_nan），当原字段为NaN时，把原浮点字段置为null，标记位设为true，读取时根据标记位还原NaN语义，这种方案兼容性最强，所有Parquet生态组件都能正常识别

避坑提醒 #

• 不要把NaN转成字符串存储，会大幅增加存储体积，丢失浮点数语义，下游计算时还要额外做类型转换，维护成本极高
• 不要给存储NaN的字段加Decimal这类逻辑类型，这类类型自带数值合法性校验，会直接把NaN判定为非法值触发写入报错
• 不要把对应字段设为required（必填），否则即使关了NaN校验，也可能触发非空约束相关的写入异常

内容的提问来源于stack exchange，提问作者A Beginner