PyArrow Table转Parquet时如何保留字符串字段的Null值而非空字符串

问题核心 #

PyArrow默认会保留字符串字段的Null值，出现Null被转为空字符串的情况，大概率是数据预处理环节将Null替换成了空字符串，或者构建Table时未正确识别Null值。以下是具体修复步骤：

1. 确认Table中是否存在真实Null值 #

先检查目标字符串字段的Null数量，确认是否已被转为空字符串：

import pyarrow as pa

# 假设你的表为table，目标字段名为str_column
null_count = table.column("str_column").null_count
print(f"当前字段Null数量: {null_count}")

2. 将空字符串转回Null值 #

如果字段中存在空字符串而非Null，使用PyArrow的compute工具将空字符串替换为Null：

import pyarrow.compute as pc

# 生成替换后的字段
fixed_column = pc.if_else(
    pc.equal(table["str_column"], ""),
    pa.scalar(None, type=pa.string()),
    table["str_column"]
)

# 更新原表
fixed_table = table.set_column(
    table.schema.get_field_index("str_column"),
    "str_column",
    fixed_column
)

3. 写入Parquet文件 #

使用默认参数写入即可，PyArrow会正确存储Null值：

pa.parquet.write_table(fixed_table, "target_file.parquet")

4. 验证结果 #

读取生成的Parquet文件，确认Null值已保留：

read_back_table = pa.parquet.read_table("target_file.parquet")
print(f"写入后字段Null数量: {read_back_table.column('str_column').null_count}")

内容的提问来源于stack exchange，提问作者amber_coder