pandas中拼接连续DataFrame行用于对比的简洁实现方法
相邻行拼接的pandas原生最优实现
你可以完全通过pandas内置的向量化拼接能力实现需求,相比手写逐行循环的写法,代码更简洁、大尺寸数据下运行效率显著更高,且最终生成的两级列索引结构和目标完全匹配。
核心实现代码
res = pd.concat( [ # a列组:取原表除最后1行的所有行 xyt.iloc[:-1, :], # b列组:取原表除第1行的所有行,重置行索引和a组对齐 xyt.iloc[1:, :].reset_index(drop=True) ], axis=1, keys=['a', 'b'] # 自动为两组列生成一级索引a、b,嵌套原有列名形成两级列结构 )
方案对比优势
- 性能更优:全程基于pandas底层C实现的切片、拼接逻辑,没有Python层的逐行循环开销;当数据行数达到10万级时,相比手写
np.append+列表推导的写法,运行速度可提升数倍到一个数量级 - 写法更简洁:无需手动调用
MultiIndex.from_product构建多级列结构,通过concat的keys参数即可自动生成符合要求的两级列索引 - 结果严格对齐:通过重置后序块的行索引,保证拼接时严格按行序匹配相邻行,不会出现外连接导致的缺失值,最终输出结构和示例要求完全一致
关键注意事项
必须对后取的
xyt.iloc[1:, :]块执行reset_index(drop=True):两个切片的原始行索引存在天然错位(前块索引为[0,1],后块原始索引为[1,2]),如果不重置索引,直接横向拼接会触发外连接,最终得到3行数据且首尾行存在大量NaN,完全不符合预期。
后续扩展便捷性
基于该结构做相邻行对比分析时,可以直接通过多级索引快速访问,无需手动匹配列位置,例如计算相邻行各列的差值:
# 直接计算a组减b组的相邻行差值 diff_res = res['a'] - res['b']
内容的提问来源于stack exchange,提问作者Frank Wilson
相关产品推荐
相关产品推荐

