Pandas中无需反复透视计算分组两两配对差值的高效方法

你原方案两次透视转换+逐列循环计算的逻辑在数据量较大时会产生不必要的内存和计算开销，以下两种实现都不需要做宽长表的反复转换，性能优于原有实现：

方案1：Numpy向量化广播计算（性能最优） #

核心思路是先将数据按obs和variable排序对齐，直接通过numpy广播一次性算出所有配对差值，全程无循环、无透视转换，大样本下性能提升最明显：

import itertools
import numpy as np
import pandas as pd

# 先按观测ID、分组名排序，保证值顺序对齐
df_aligned = df.set_index(["obs", "variable"]).sort_index()
groups = df["variable"].unique()
pairs = list(itertools.permutations(groups, 2))

# 提取对齐后的数值数组，形状为(观测数量, 分组数量)
val_arr = df_aligned["value"].to_numpy().reshape(-1, len(groups))
# 广播计算所有两两配对差值，过滤同组自身相减的无效值
diff_matrix = val_arr[:, :, None] - val_arr[:, None, :]
valid_mask = ~np.eye(len(groups), dtype=bool)
all_diffs = diff_matrix[:, valid_mask].ravel()

# 直接构造结果DataFrame
res = pd.DataFrame({
    "obs": np.repeat(df["obs"].unique(), len(pairs)),
    "variable": np.tile([f"{a} MINUS {b}" for a, b in pairs], len(df["obs"].unique())),
    "value": all_diffs
})

方案2：同观测自连接（代码可读性最高） #

如果不想处理数组维度逻辑，可以直接对原表按obs字段做自连接，一步过滤配对、计算差值，逻辑直观易维护，适合中小规模数据集：

# 同观测ID下的所有分组两两匹配
merged_df = df.merge(df, on="obs", suffixes=("_left", "_right"))
# 过滤同组配对，直接生成差值列
res = merged_df[merged_df["variable_left"] != merged_df["variable_right"]].assign(
    variable = lambda x: x["variable_left"] + " MINUS " + x["variable_right"],
    value = lambda x: x["value_left"] - x["value_right"]
)[["obs", "variable", "value"]].reset_index(drop=True)

两种方案输出结果和你原有代码的结果完全一致，可直接通过值校验替换原有逻辑。

内容的提问来源于stack exchange，提问作者fffrost