如何在PySpark中批量计算每两列间的差值？

针对成对列的差值计算（匹配你的示例场景） #

如果你的需求是按列顺序两两分组（如col1&col2、col3&col4），计算每组后列减前列的差值，可以通过以下步骤实现：

1. 获取DataFrame的列名列表
2. 批量生成差值计算表达式
3. 一次性执行查询生成结果

示例代码：

# 获取所有列名
cols = df.columns

# 生成差值表达式，按两两分组命名为delta1、delta2...
delta_exprs = [
    f"{col2} - {col1} as delta{i+1}" 
    for i, (col1, col2) in enumerate(zip(cols[::2], cols[1::2]))
]

# 执行查询得到仅含差值列的DataFrame
delta_df = df.selectExpr(*delta_exprs)

示例验证 #

输入你的样例DataFrame后，上述代码会生成表达式：
["col2 - col1 as delta1", "col4 - col3 as delta2"]
最终得到的delta_df就是你期望的输出结果。

针对所有两两列组合的差值计算 #

如果需要计算任意两列之间的差值（如col1-col2、col1-col3、col2-col3等所有组合），可以借助itertools.combinations实现：

from itertools import combinations

cols = df.columns

# 生成所有两两列的差值表达式，命名格式为delta_colA_colB
delta_exprs = [
    f"{col_b} - {col_a} as delta_{col_a}_{col_b}" 
    for col_a, col_b in combinations(cols, 2)
]

delta_df = df.selectExpr(*delta_exprs)

方案优势 #

使用selectExpr批量生成表达式，比多次调用withColumn更高效——因为它会生成单一的执行计划，避免多次DataFrame转换带来的性能损耗，尤其适合100+列的大规模场景。

内容的提问来源于stack exchange，提问作者ravsam