使用dtype为object的numpy数组设置pandas DataFrame列报错原因探究

问题复现代码 #

import numpy as np
import pandas as pd

print(f"numpy version: {np.__version__}")
print(f"pandas version: {pd.__version__}")

data = pd.DataFrame({
    "c1": [1, 2, 3, 4, 5],
})

print("-" * 10)

t1 = np.array([["A"], ["B"], ["C"], ["D"], ["E"]])
data["c1"] = t1 # 正常运行

print("-" * 10)

t2 = np.array([["A"], ["B"], ["C"], ["D"], ["E"]], dtype=object)
data["c1"] = t2 # 抛出错误

print("-" * 10)

报错信息 #

numpy version: 1.26.4
pandas version: 2.2.2
----------
----------
Traceback (most recent call last):
  File "...\test.py", line 19, in <module>
    data["c1"] = t2 # This throws an error
    ~~~~^^^^^^
  File "...\pandas\core\frame.py", line 4311, in __setitem__
    self._set_item(key, value)
  File "...\pandas\core\frame.py", line 4524, in _set_item
    value, refs = self._sanitize_column(value)
                  ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "...\pandas\core\frame.py", line 5267, in _sanitize_column
    arr = sanitize_array(value, self.index, copy=True, allow_2d=True)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "...\pandas\core\construction.py", line 606, in sanitize_array
    subarr = maybe_infer_to_datetimelike(data)
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "...\pandas\core\dtypes\cast.py", line 1182, in maybe_infer_to_datetimelike
    raise ValueError(value.ndim)  # pragma: no cover
    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
ValueError: 2

核心成因分析 #

1. 维度处理逻辑差异

   • 对于默认dtype（如字符串类型<U1>）的二维numpy数组，Pandas在sanitize_array处理时，会通过allow_2d=True参数自动将二维数组扁平化（从(5,1)转为(5,)的一维数组），因此可以正常匹配DataFrame单列的维度要求。
   • 对于dtype=object的二维numpy数组，Pandas的类型推断函数maybe_infer_to_datetimelike会尝试检查数据是否为时间相关类型，但该函数不支持处理二维结构，直接抛出维度错误ValueError: 2。

2. object类型数组的特殊处理
   Pandas对object类型数组的处理更为保守——由于object数组可能包含任意嵌套对象，Pandas无法确定是否需要自动扁平化，因此会保留原二维结构进入类型推断流程，最终触发错误。

解决方案 #

可以通过以下方式解决该问题：

• 扁平化数组：将二维object数组转为一维后赋值

  data["c1"] = t2.flatten()  # 或使用 t2.ravel()
  

• 压缩多余维度：用squeeze()去掉数组中长度为1的维度

  data["c1"] = t2.squeeze()
  

• 直接创建一维数组：从根源避免生成二维数组

  t2 = np.array(["A", "B", "C", "D", "E"], dtype=object)
  data["c1"] = t2
  

内容的提问来源于stack exchange，提问作者Tony Ding