如何批量对两个PySpark DataFrame的所有列执行减法运算？

核心前提 #

确保两个DataFrame的列名完全一致（数量、名称均匹配），否则需先对齐列名（比如筛选相同列）。

方法1：循环遍历列名更新 #

先获取所有列名，再通过循环逐个更新每列的计算结果：

# 获取所有列名
cols = df1.columns

# 初始化结果DataFrame
result_df = df1

# 循环执行每列的减法运算
for col_name in cols:
    result_df = result_df.withColumn(col_name, df1[col_name] - df2[col_name])

方法2：列表推导式+select（更简洁高效） #

利用PySpark的select方法配合列表推导式，一次性生成所有列的减法表达式，代码更简洁且性能更优：

from pyspark.sql.functions import col

# 直接生成所有列的减法表达式并构建结果DataFrame
result_df = df1.select([(col(c) - df2[c]).alias(c) for c in df1.columns])

注意事项 #

• 如果存在不支持减法运算的列（如字符串类型），需先过滤掉这类列，比如只保留数值型列：

  numeric_cols = [c for c, dtype in df1.dtypes if dtype in ('int', 'bigint', 'float', 'double')]
  result_df = df1.select([(col(c) - df2[c]).alias(c) for c in numeric_cols])
  

• 若两个DataFrame的列名不完全一致，可先取交集列：

  common_cols = list(set(df1.columns) & set(df2.columns))
  result_df = df1.select([(col(c) - df2[c]).alias(c) for c in common_cols])
  

内容的提问来源于stack exchange，提问作者Kay