如何高效拼接Pandas DataFrame不同列的numpy数组且无需迭代

不需要写逐行循环就能实现，以下两种方法都是基于numpy向量化实现，性能远高于apply逐行迭代或者手写for循环。

前置测试数据构造 #

先构造和你场景一致的测试DataFrame，每列存储一维numpy数组：

import pandas as pd
import numpy as np

df = pd.DataFrame({
    'a': [np.array([1,2,3]), np.array([4,5,6])],
    'b': [np.array([7,8,9]), np.array([10,11,12])],
    'c': [np.array([13,14,15]), np.array([16,17,18])]
})

方法1：通用hstack实现（兼容性最好，性能最高） #

核心逻辑是先把每一列的数组合并为二维数组，再横向拼接所有列，全程只有C层的numpy运算，仅在列维度做极轻量的遍历（列数远小于行数时开销可忽略，不属于行级迭代）。

# 拼接后得到形状为(总行数, 单个数组长度*列数)的二维numpy数组
result = np.hstack([np.vstack(df[col]) for col in df.columns])

测试数据执行后输出：

array([[ 1,  2,  3,  7,  8,  9, 13, 14, 15],
       [ 4,  5,  6, 10, 11, 12, 16, 17, 18]])

如果需要把拼接结果存回原DataFrame，直接执行：

df['merged_arr'] = list(result)

方法2：column_stack简洁实现（仅适用于一维子数组场景） #

如果每列存储的都是一维numpy数组，可以用更简洁的写法，性能和方法1基本一致：

result = np.column_stack([df[col].to_numpy() for col in df.columns])

避坑提示 #

不要用df.apply(lambda x: np.hstack(x), axis=1)实现：这个方法本质是Python层逐行迭代，当数据量达到十万行以上时，性能会比上面两种向量化方法慢几十到上百倍。
如果你的子数组是多维结构，只需要把上面的hstack/column_stack替换为np.concatenate并指定对应拼接轴即可。

内容的提问来源于stack exchange，提问作者Marco DC