如何基于列名列表将data.frame多列纵向拼接生成新data.frame
实现指定列组纵向堆叠为新数据集
你的需求本质是将原数据集中的列按每两列为一组拆分,每个组的两列对应新数据集的第0、1列,最终将所有分组的内容纵向拼接。手动逐行append的写法不仅效率极低,还极易因为列对齐偏差、索引重复、数据类型不匹配触发各类报错。
推荐实现方案
方法1:分组后concat拼接(高可读性,易调整逻辑)
这是最适配你当前列规则的写法,后续如果调整组内列数、调整列分组顺序都可以快速修改:
import pandas as pd # 复刻你的原始数据 df = pd.DataFrame( [ [1, 11, 21, 31], [2, 12, 22, 32], [3, 13, 23, 33], [4, 14, 24, 34] ], columns=['A1', 'A2', 'B1', 'B2'] ) columns_list = ['A1', 'A2', 'B1', 'B2'] # 按每2个列一组拆分列名列表 col_groups = [columns_list[i:i+2] for i in range(0, len(columns_list), 2)] # 逐组取出数据,统一列名后纵向拼接,自动重置索引 new_df = pd.concat( [df[group].set_axis([0, 1], axis=1) for group in col_groups], ignore_index=True )
方法2:numpy维度重塑(高性能,适合大数据集)
当数据量较大时,逐组取列的pandas操作会有额外开销,直接对原始数值块做维度重塑可以获得更高的运行效率,输出结果和方法1完全一致:
import pandas as pd import numpy as np # 取出columns_list对应的全部数值 raw_values = df[columns_list].values # 按照每2列一组的规则重塑维度 reshaped_values = raw_values.reshape(-1, 2) # 生成目标DataFrame new_df = pd.DataFrame(reshaped_values, columns=[0, 1])
输出验证
运行上述任意方法,得到的new_df结构和预期完全一致:
0 1 0 1 11 1 2 12 2 3 13 3 4 14 4 21 31 5 22 32 6 23 33 7 24 34
之前append操作报错的常见原因:
- 没有对齐列顺序和列命名,拼接时出现值错位、空值
- 保留了原df的重复行索引,后续操作出现索引冲突报错
- 逐行追加的写法没有统一数据类型,触发类型匹配错误
内容的提问来源于stack exchange,提问作者Manjula Srihari
相关产品推荐
相关产品推荐

