Python类型可转换为pyarrow数据类型的判定规则及自定义类适配问题

一、可转换为PyArrow Struct的Python类型 #

除了普通字典，还有这些类型可以被自动转换为PyArrow Struct：

• collections.namedtuple：带固定字段名的命名元组，字段名和值会直接映射为Struct的对应字段
• dataclasses.dataclass装饰的类实例：标准库dataclass定义的类，实例的字段会对应Struct的字段
• 第三方attrs库装饰的类实例：和dataclass类似，类实例的属性会被解析为Struct的字段
• 实现了__arrow_struct__方法的自定义类：只要类里定义这个方法，返回字典或其他可转换为Struct的对象，PyArrow就会识别并完成转换

二、Python类型能否转换为PyArrow类型的决定因素 #

核心是PyArrow内置的类型映射约定+可扩展的协议机制，具体来说：

1. 内置映射规则：PyArrow预先定义了一批Python标准类型（比如dict、list、int）到Arrow类型的对应关系，这是底层的约定
2. 特殊方法协议：自定义类型如果实现了特定的协议方法（比如__arrow_struct__对应Struct，__arrow_array__对应数组），PyArrow会通过这些方法完成转换
3. 扩展类型注册：可以用pyarrow.register_extension_type注册自定义类型的转换逻辑，这也是基于约定的扩展方式

既不是单纯的文档规范，也不需要必须子类化PyArrow类，而是约定优先，同时支持通过协议或注册扩展转换能力。

三、自定义类继承PyArrow类能否被识别？ #

直接继承PyArrow的类（比如pyarrow.StructType）没用，PyArrow的转换逻辑不看是否继承自它的类，而是看对象是否符合内置映射规则或者实现了对应协议。

如果想让自定义类能转成Struct，正确的做法是给类实现**__arrow_struct__方法**，返回一个可被转换为Struct的对象（比如字典），或者用pyarrow.register_extension_type来注册你的转换逻辑。

内容的提问来源于stack exchange，提问作者bzm3r