You need to enable JavaScript to run this app. pandas中拼接连续DataFrame行用于对比的简洁实现方法
优惠活动
大模型
产品
解决方案
定价
更多

pandas中拼接连续DataFrame行用于对比的简洁实现方法

相邻行拼接的pandas原生最优实现

你可以完全通过pandas内置的向量化拼接能力实现需求,相比手写逐行循环的写法,代码更简洁、大尺寸数据下运行效率显著更高,且最终生成的两级列索引结构和目标完全匹配。

核心实现代码

res = pd.concat(
    [
        # a列组:取原表除最后1行的所有行
        xyt.iloc[:-1, :],
        # b列组:取原表除第1行的所有行,重置行索引和a组对齐
        xyt.iloc[1:, :].reset_index(drop=True)
    ],
    axis=1,
    keys=['a', 'b']  # 自动为两组列生成一级索引a、b,嵌套原有列名形成两级列结构
)

方案对比优势

  • 性能更优:全程基于pandas底层C实现的切片、拼接逻辑,没有Python层的逐行循环开销;当数据行数达到10万级时,相比手写np.append+列表推导的写法,运行速度可提升数倍到一个数量级
  • 写法更简洁:无需手动调用MultiIndex.from_product构建多级列结构,通过concat的keys参数即可自动生成符合要求的两级列索引
  • 结果严格对齐:通过重置后序块的行索引,保证拼接时严格按行序匹配相邻行,不会出现外连接导致的缺失值,最终输出结构和示例要求完全一致

关键注意事项

必须对后取的xyt.iloc[1:, :]块执行reset_index(drop=True):两个切片的原始行索引存在天然错位(前块索引为[0,1],后块原始索引为[1,2]),如果不重置索引,直接横向拼接会触发外连接,最终得到3行数据且首尾行存在大量NaN,完全不符合预期。

后续扩展便捷性

基于该结构做相邻行对比分析时,可以直接通过多级索引快速访问,无需手动匹配列位置,例如计算相邻行各列的差值:

# 直接计算a组减b组的相邻行差值
diff_res = res['a'] - res['b']

内容的提问来源于stack exchange,提问作者Frank Wilson

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.22 08:06:08