PyArrow中schema设置nullable=False未阻止表列NULL值的问题咨询

PyArrow 17.0.0 中，pyarrow.table() 在传入 Python 列表数据并指定 Schema 时，默认不会主动校验字段的 nullable=False 约束是否被违反。它会尝试将包含 None 的列表转换为对应类型的数组，即使字段设置为不可为空，也不会立即抛出错误，而是生成带有 NULL 值的数组（这看似与 Schema 矛盾，本质是默认未启用严格校验逻辑）。

有两种方式可以触发 nullable 约束的校验：

方法1：显式创建数组并指定约束 #

先为每个字段单独创建 pyarrow.Array，并在创建时明确指定 nullable 参数，当数组包含 NULL 值但 nullable=False 时会直接报错：

import pyarrow as pa

# 创建unique_id数组，强制不可为空
unique_id_arr = pa.array([1, None, 3], type=pa.uint64(), nullable=False)
age_arr = pa.array([10, None, 30], type=pa.uint8())
colours_arr = pa.array([None, ['red', 'blue'], ['green']], type=pa.list_(pa.string()))

schema = pa.schema([
    pa.field(name='unique_id', type=pa.uint64(), nullable=False),
    pa.field(name='age', type=pa.uint8(), nullable=True),
    pa.field(name='favourite_colours', type=pa.list_(pa.string()), nullable=True)
])

table = pa.table([unique_id_arr, age_arr, colours_arr], schema=schema)

运行后会抛出预期错误：ArrowInvalid: Array cannot contain nulls if nullable=False。

方法2：构建表时启用校验参数 #

在 pyarrow.table() 中添加 validate=True 参数，开启数据与 Schema 的一致性校验：

import pyarrow as pa

schema = pa.schema(fields=[
    pa.field(name='unique_id', type=pa.uint64(), nullable=False),
    pa.field(name='age', type=pa.uint8(), nullable=True),
    pa.field(name='favourite_colours', type=pa.list_(pa.string()), nullable=True)
])
data = [
    [1, None, 3],
    [10, None, 30],
    [None, ['red', 'blue'], ['green']]
]

table = pa.table(data=data, schema=schema, validate=True)

此时会抛出错误：ArrowInvalid: Column 0 named unique_id has non-nullable type uint64 but contains null values，触发预期的校验逻辑。

• validate=True 会带来额外的校验开销，处理大数据量时需要权衡性能影响。
• 你的 PyArrow 17.0.0 版本已支持 validate 参数，低版本可能无此功能。

内容的提问来源于stack exchange，提问作者MarcoS