使用Pandas写入含全None值序列的ORC文件报错及解决需求

问题场景 #

当你把DataFrame中原本为整数类型的列全部设为None后，调用to_orc()会抛出ArrowNotImplementedError: Unknown or unsupported Arrow type: null异常；直接用.astype(int)也会报错，因为None无法转为int类型。同时需要解决方案支持空DataFrame和嵌套类型。

用户提供的测试脚本：

data = {'a': [1, 2]}
df = pd.DataFrame(data=data) 
print(df)
df.to_orc('a.orc')  # 执行正常
df['a'] = None 
print(df) 
df.to_orc('a.orc')  # 执行失败

报错输出：

a
0  1
1  2
      a
0  None
1  None
Traceback (most recent call last):
  File ... line 9, in <module>
  ...
  File "pyarrow/_orc.pyx", line 443, in pyarrow._orc.ORCWriter.write
  File "pyarrow/error.pxi", line 121, in pyarrow.lib.check_status
pyarrow.lib.ArrowNotImplementedError: Unknown or unsupported Arrow type: null

解决方案 #

1. 用可空整数类型处理全空列（推荐） #

把None替换为pd.NA，并将列转为pandas的可空整数类型（Int64，首字母大写），PyArrow能正确识别该类型，同时兼容全空值场景：

import pandas as pd

data = {'a': [1, 2]}
df = pd.DataFrame(data=data) 
df['a'] = pd.NA  # 用pd.NA替代None
df['a'] = df['a'].astype('Int64')  # 转为可空整数类型
df.to_orc('a.orc')  # 执行成功

2. 显式指定Arrow Schema写入 #

如果需要严格控制数据类型，可先将DataFrame转为PyArrow Table并指定Schema，再写入ORC：

import pandas as pd
import pyarrow as pa
import pyarrow.orc as orc

data = {'a': [1, 2]}
df = pd.DataFrame(data=data) 
df['a'] = None

# 定义Schema，指定列a为支持空值的int64类型
schema = pa.schema([('a', pa.int64())])
# 转为Arrow Table并应用Schema
table = pa.Table.from_pandas(df, schema=schema)
# 写入ORC文件
orc.write_table(table, 'a.orc')

3. 处理空DataFrame场景 #

空DataFrame同样可以通过指定类型来保证写入正常：

import pandas as pd
import pyarrow as pa
import pyarrow.orc as orc

# 方法1：直接指定可空类型创建空DataFrame
df_empty = pd.DataFrame(columns=['a'], dtype='Int64')
df_empty.to_orc('empty.orc')

# 方法2：用Arrow Schema约束类型
schema = pa.schema([('a', pa.int64())])
table_empty = pa.Table.from_pandas(df_empty, schema=schema)
orc.write_table(table_empty, 'empty.orc')

4. 支持嵌套类型场景 #

对于嵌套类型（如列表、结构体），通过指定Arrow Schema可确保空值场景下类型正确：

import pandas as pd
import pyarrow as pa
import pyarrow.orc as orc

# 嵌套类型示例：列b为整数列表
data = {'a': [1, 2], 'b': [[1,2], [3,4]]}
df = pd.DataFrame(data=data)
# 将所有值设为可空空值
df['a'] = pd.NA
df['b'] = pd.NA

# 定义包含嵌套类型的Schema
schema = pa.schema([
    ('a', pa.int64()),
    ('b', pa.list_(pa.int64()))
])
table = pa.Table.from_pandas(df, schema=schema)
orc.write_table(table, 'nested.orc')

关键说明 #

• None会让pandas列转为object类型，PyArrow无法识别该类型对应的Arrow类型；而pd.NA配合可空类型（Int64/Float64等）能被PyArrow解析为原生支持空值的类型。
• 显式指定Arrow Schema是最灵活的方式，适合复杂类型或严格类型控制的场景。

内容的提问来源于stack exchange，提问作者Blaf