从Pandas创建Dask DataFrame时，如何为列表列指定正确dtype？

当使用dd.from_pandas()将包含列表的Pandas DataFrame转为Dask DataFrame时，原本存储列表的object dtype列会被错误识别为string[pyarrow]，且显式调用astype(object)无法修正该问题，导致无法像Pandas中那样正常访问列表元素。

复现代码 #

import dask.dataframe as dd
import pandas as pd

# 创建包含列表列的Pandas DataFrame
df = pd.DataFrame(
    {
        "lists": [["a", "b"], ["c", "b", "a"], ["b"]],
        "a": [1, 1, 0],
        "b": [1, 0, 1],
        "c": [0, 1, 0],
    }
)

print("Pandas原DataFrame的dtype：")
print(df.dtypes)
# 输出：
# lists    object
# a         int64
# b         int64
# c         int64
# dtype: object

# 转换为Dask DataFrame后dtype异常
dask_df = dd.from_pandas(df, npartitions=2)
print("\n转换后的Dask DataFrame dtype：")
print(dask_df.dtypes)
# 输出：
# lists    string[pyarrow]
# a                  int64
# b                  int64
# c                  int64

# 尝试显式转换dtype无效
dask_df["lists"] = dask_df["lists"].astype(object)
print("\n显式转换后的dtype：")
print(dask_df.dtypes)
# 输出仍为：
# lists    string[pyarrow]
# a                  int64
# b                  int64
# c                  int64

解决方案 #

方法1：转换时通过meta参数手动指定列类型

在from_pandas中传入meta参数，明确指定列表列的dtype为object，强制Dask使用正确的类型：

import dask.dataframe as dd
import pandas as pd

df = pd.DataFrame(
    {
        "lists": [["a", "b"], ["c", "b", "a"], ["b"]],
        "a": [1, 1, 0],
        "b": [1, 0, 1],
        "c": [0, 1, 0],
    }
)

# 定义元数据，指定lists列为object类型
meta = {
    "lists": object,
    "a": int,
    "b": int,
    "c": int
}

dask_df = dd.from_pandas(df, npartitions=2, meta=meta)
print(dask_df.dtypes)
# 输出：
# lists    object
# a         int64
# b         int64
# c         int64
# dtype: object

方法2：全局禁用Dask的pyarrow字符串自动转换

通过Dask配置关闭字符串自动转换功能，让Dask保留原有的object dtype：

import dask
import dask.dataframe as dd
import pandas as pd

# 关闭自动转换为pyarrow string类型
dask.config.set({"dataframe.convert-string": False})

df = pd.DataFrame(
    {
        "lists": [["a", "b"], ["c", "b", "a"], ["b"]],
        "a": [1, 1, 0],
        "b": [1, 0, 1],
        "c": [0, 1, 0],
    }
)

dask_df = dd.from_pandas(df, npartitions=2)
print(dask_df.dtypes)
# 输出：
# lists    object
# a         int64
# b         int64
# c         int64
# dtype: object

原因说明 #

Dask默认会自动检测object列中的内容，若列中元素看起来像字符串（比如列表元素是字符串，但列本身是列表对象），会自动将其转换为string[pyarrow]类型。但当列实际存储的是列表等非字符串对象时，这种自动识别会出错。通过上述两种方法，可以强制Dask保留原列的object dtype，从而正常操作列表元素。

内容的提问来源于stack exchange，提问作者spettekaka