含长Numpy数组的Pandas转Dask后数组被截断为字符串的问题

Dask在处理包含numpy数组的object类型列时，默认序列化/反序列化流程会将numpy数组转换为其字符串表示（也就是你看到的截断格式），而非保留原数组对象。这不是from_pandas()本身的操作错误，而是嵌套对象类型在Dask的分区序列化过程中丢失了原类型信息。

1. 显式指定Meta信息 #

在创建Dask DataFrame时，明确传入原Pandas DataFrame的dtype信息，让Dask知晓列的类型：

import dask.dataframe as dd

# 提取原DataFrame的dtype作为meta
meta = df.dtypes.to_dict()
ddf = dd.from_pandas(df, npartitions=4, meta=meta)

2. 修复已转换为字符串的列 #

如果已经出现字符串化的情况，可以用map_partitions将字符串转回numpy数组：

import numpy as np

def restore_numpy_arrays(col):
    def str_to_arr(s):
        # 处理截断的字符串格式，去掉首尾括号和省略号，拆分后转int16数组
        s_clean = s.replace('[', '').replace(']', '').replace('...', '')
        return np.array(list(map(int, s_clean.split())), dtype=np.int16)
    # 只对字符串类型的元素转换，保留原本的数组
    return col.apply(lambda x: str_to_arr(x) if isinstance(x, str) else x)

ddf['Samples'] = ddf['Samples'].map_partitions(restore_numpy_arrays, meta=('Samples', 'object'))

3. 用Pickle格式保存/加载 #

如果需要持久化Dask DataFrame，避免parquet等格式不支持嵌套对象的问题，使用pickle格式可以完整保留numpy数组对象：

# 保存
ddf.to_pickle('dask_samples_data.pkl')

# 加载
ddf_loaded = dd.read_pickle('dask_samples_data.pkl')

# compute后恢复原Pandas DataFrame，Samples列仍为numpy数组
df_restored = ddf_loaded.compute()

内容的提问来源于stack exchange，提问作者outragebeyond