Pandas中简化相邻行差值相乘后列求和操作的方法咨询

首先，我注意到你当前代码里的for循环其实是完全多余的！因为Pandas的向量化操作本来就支持整列的批量计算，根本不需要用iterrows()去逐行遍历——你在循环里重复赋值的F_mul和D_mul，其实只需要执行一次就能完成整列的计算。

我们可以把代码简化很多，同时保证结果和你原来的完全一致，下面是优化后的版本：

import pandas as pd

df = pd.DataFrame({'C': ["Spark","PySpark","Python","pandas","Java"],
                    'F' : [2,4,3,5,4],
                    'D':[3,4,6,5,5]})

df1 = pd.DataFrame({'C': ["Spark","PySpark","Python","pandas","Java"],
                    'F': [1,2,1,2,1],
                    'D':[1,2,2,2,1]})

# 合并两个DataFrame，用suffixes指定列后缀更规范
df_merged = pd.merge(df, df1, on="C", suffixes=('_x', '_y'))

# 计算差值列（如果需要保留差值用于后续分析，这一步可以保留）
df_merged['F_diff'] = df_merged['F_x'] - df_merged['F_y']
df_merged['D_diff'] = df_merged['D_x'] - df_merged['D_y']

# 直接整列计算相邻行差值的乘积，无需循环
df_merged['F_mul'] = df_merged['F_diff'] * df_merged['F_diff'].shift()
df_merged['D_mul'] = df_merged['D_diff'] * df_merged['D_diff'].shift()

# 最后求和得到目标列
df_merged['F+D'] = df_merged['F_mul'] + df_merged['D_mul']

为什么这样更简洁高效？ #

• 去掉了无意义的循环：Pandas的向量化操作（比如*、shift()）天生支持整列批量处理，不需要逐行遍历，代码更简洁，数据量大时运行效率也会高很多。
• 逻辑更清晰：每一步操作都对应明确的目标，没有冗余的重复赋值。

如果你想进一步压缩代码，甚至可以省略中间的差值列，直接在计算乘积时内嵌差值逻辑：

df_merged = pd.merge(df, df1, on="C", suffixes=('_x', '_y'))

# 直接计算乘积，省略中间差值列
df_merged['F_mul'] = (df_merged['F_x'] - df_merged['F_y']) * (df_merged['F_x'] - df_merged['F_y']).shift()
df_merged['D_mul'] = (df_merged['D_x'] - df_merged['D_y']) * (df_merged['D_x'] - df_merged['D_y']).shift()
df_merged['F+D'] = df_merged['F_mul'] + df_merged['D_mul']

这种写法更紧凑，但如果需要保留差值列用于后续分析，还是保留中间列会更直观。

验证结果 #

运行优化后的代码，你会得到和原代码完全一致的输出：

C  F_x  D_x  F_y  D_y  F_diff  D_diff  F_mul  D_mul   F+D
0    Spark    2    3    1    1       1       2    NaN    NaN   NaN
1  PySpark    4    4    2    2       2       2    2.0    4.0   6.0
2   Python    3    6    1    2       2       4    4.0    8.0  12.0
3   pandas    5    5    2    2       3       3    6.0   12.0  18.0
4     Java    4    5    1    1       3       4    9.0   12.0  21.0

额外小提示 #

• 合并DataFrame时，使用suffixes参数可以更规范地指定列后缀，避免手动处理列名的麻烦。
• Pandas里的mul()方法和*运算符功能完全等价，选哪种写法全看个人习惯。
• 除非是非常特殊的逐行定制逻辑，否则尽量避免用iterrows()遍历行——向量化操作才是Pandas的核心优势。

备注：内容来源于stack exchange，提问作者RKIDEV