Spark Scala如何动态关联两DataFrame并对未知数量同名列做除法

核心逻辑是通过动态提取公共列、自动生成运算表达式的方式，完全避免硬编码列名，适配任意数量的待计算列，具体步骤如下：

• 先明确两个DataFrame的关联键（即用于join的维度列，比如id、日期这类非计算列）
• 自动筛选出两个DataFrame中除关联键外的同名列，这些列就是需要做除法运算的目标列，不需要提前预知列的数量
• join前给两个DataFrame的重复列加不同别名，避免列名冲突
• 遍历所有目标列动态生成除法表达式，最终拼接成查询语句得到结果

import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.functions._

// 替换为实际的两个输入DataFrame
val leftDf: DataFrame = ??? // 存储被除数的DataFrame
val rightDf: DataFrame = ??? // 存储除数的DataFrame
// 替换为实际用于关联的维度列名，支持多个关联键
val joinColumns = Seq("id", "stat_date")

// 动态提取所有需要做除法的公共列：排除关联键后，两个DF同时存在的列
val calcColumns = leftDf.columns
  .filterNot(joinColumns.contains)
  .filter(colName => rightDf.columns.contains(colName))

// 给两个DF的计算列加别名，防止join后列名重复
val leftAliased = leftDf.select(
  joinColumns.map(col) ++ calcColumns.map(c => col(c).as(s"${c}_left")): _*
)
val rightAliased = rightDf.select(
  joinColumns.map(col) ++ calcColumns.map(c => col(c).as(s"${c}_right")): _*
)

// 执行关联，可根据业务需求替换join类型：inner/left/right/full
val joinedData = leftAliased.join(rightAliased, joinColumns, "inner")

// 动态生成除法运算逻辑，输出最终结果
val result = joinedData.select(
  joinColumns.map(col) ++ 
  calcColumns.map(c => 
    // 可选：添加除0保护，不需要可以直接去掉when判断，只保留col(s"${c}_left") / col(s"${c}_right")
    when(col(s"${c}_right") === 0, lit(null))
      .otherwise(col(s"${c}_left") / col(s"${c}_right"))
      .as(c)
  ): _*
)

• 无论待计算的col1、col2这类列有几十个还是上百个，代码都能自动识别处理，不需要手动修改列名列表
• 如果需要保留两个DF中非公共的其他字段，只需要在最后select步骤中把对应字段加入查询列表即可
• 除法结果的列名和原列名保持一致，不需要额外重命名

内容的提问来源于stack exchange，提问作者user2845290