Spark Scala 传入字符串列表达式执行select时报Cannot resolve column name错误

• Spark DataFrame.select() 方法存在多个重载：直接传入 Column 对象时（也就是你第一种写法，Scala编译阶段就会将currentUnmatchedDF("列名").as(别名)解析为合法的列操作对象），Spark会正常执行列选取、别名指定逻辑；如果传入字符串类型参数，Spark会默认将其视为完整列名字面量，自动包裹反引号后在DF的列列表中匹配，不会对字符串内部的表达式做解析执行，因此会触发找不到列的报错。
• 你使用双DF全外连接需要限定列来源的场景和报错无关，问题完全出在传参类型和方法重载匹配逻辑上。

方案1：动态生成Column对象（推荐，性能最优，类型安全） #

如果是批量生成选取规则，直接将需要选取的列名存为列表，遍历生成Column对象后传入select即可，示例代码如下：

// 配置需要选取的列列表
val targetCols = Seq("sessiondetail_sessionid", "col1", "col2", "...")
// 批量生成带限定、带别名的Column对象
val selectColumns = targetCols.map(colName => currentUnmatchedDF(colName).as(colName))
// 用:_*将Seq展开为select方法接收的可变参数
historyJoinedDF.select(selectColumns:_*).show()

方案2：用expr()函数解析字符串表达式 #

如果必须用字符串存储选取规则，需要先将字符串通过expr()函数转为Spark可识别的SQL表达式，注意这里的字符串要遵循Spark SQL语法，而非Scala DSL语法，需要在join阶段先给DF指定别名，示例如下：

// join时给两个DF指定SQL可识别的别名
val historyJoinedDF = currentUnmatchedDF.alias("curr")
  .join(historyDF.alias("hist"), Seq("关联键列名"), "full_outer")

// 编写符合Spark SQL语法的表达式字符串
val testExpr = "curr.sessiondetail_sessionid AS sessiondetail_sessionid"
// 传入expr解析后的对象
historyJoinedDF.select(expr(testExpr)).show()

// 批量使用字符串表达式的写法
val exprList = Seq("curr.col1 AS col1", "hist.col2 AS col2")
historyJoinedDF.select(exprList.map(expr):_*).show()

内容的提问来源于stack exchange，提问作者Paladin