PyArrow无法转换object类型字段的原因咨询

• Object类型是“混合类型容器”：Pandas的object类型只是用来存放任意Python对象的通用容器，它不强制列内所有元素类型一致。你的列里同时存在字符串（'0000-00-00'）、None和datetime.date对象，属于典型的混合类型object列。

• PyArrow的类型推断要求统一类型：PyArrow在从Pandas转换时，会尝试为每一列推断出一个单一的Arrow原生类型，而非像Pandas那样允许混合类型。当它扫描你的列时，会发现元素既有字符串（对应Arrow的string类型）又有日期对象（对应Arrow的date类型），这两种类型无法兼容。当PyArrow尝试按字符串类型转换时，遇到datetime.date对象就会抛出类型不匹配的错误——因为它期望的是字节/字符串，而非日期对象。

• null值不影响核心冲突：列中的None（PyArrow会识别为null）本身不是问题，但它无法解决元素类型混杂导致的类型推断失败问题，PyArrow依然需要一个统一的基础类型来容纳所有非null元素。

内容的提问来源于stack exchange，提问作者Nirshad Nijam