如何将Pandas多列值按行合并为存储NumPy数组的单列
问题原因
你之前的写法报错是因为 np.array(DF.iloc[:,0:1023].values.tolist()) 会生成形状为(样本行数, 1023)的二维NumPy数组,Pandas 给单列赋值时要求传入长度和行数一致的一维结构,二维数组会被识别为要同时给1023列赋值,因此触发维度不匹配的报错。
正确实现方案
方案1:apply 实现(写法简单,适合中小数据量)
# 若要取全部1024列嵌入,将切片改为.iloc[:, :1024]即可 DF['embedding'] = DF.iloc[:, 0:1024].apply(lambda row: np.array(row.values), axis=1)
方案2:列表推导式实现(性能更高,适合超大规模数据集)
apply 循环的开销较高,十万行以上的数据集推荐用这种写法,速度提升非常明显:
DF['embedding'] = [np.array(row) for row in DF.iloc[:, 0:1024].values]
结果验证
执行后可以通过以下代码确认新列的元素类型符合要求:
print(type(DF['embedding'].iloc[0])) # 预期输出:<class 'numpy.ndarray'>
注意事项
如果数据集中存在缺失值,建议先通过 DF.dropna() 或者填充逻辑处理完空值再执行合并,避免生成带nan的无效嵌入数组。
内容的提问来源于stack exchange,提问作者Punith
相关产品推荐
相关产品推荐

