调用Scala函数时出现Illegal start of simple expression错误求助

错误原因分析 #

你遇到的Illegal start of simple expression错误主要来自三个问题：

1. Scala集合语法错误：你用了Python风格的["ID"]创建序列，Scala中必须用Seq("ID")（或List("ID")）来生成Seq[String]类型。
2. 函数调用方式错误：
   • 方式一中的df.melt是把melt当成DataFrame的内置方法，但你定义的是普通函数，不是DataFrame的扩展方法，所以无法这样调用。
   • 方式二中混合了错误的参数传递语法，Scala的命名参数需要用参数名 = 值的格式，且不能在命名参数中间插入位置参数。
3. 参数逻辑问题：toMelt序列需要排除preserves中的列（比如ID），否则会把保留列也进行宽转窄处理，导致数据异常。

修正后的调用方式 #

方式一：直接调用普通melt函数

先修正集合语法和参数传递，同时过滤掉保留列：

import org.apache.spark.sql.DataFrame

// 定义melt函数（注意保持在main方法外部或可访问的作用域）
def melt(preserves: Seq[String], toMelt: Seq[String], column: String = "variable", row: String = "value", df: DataFrame) : DataFrame = {
    val _vars_and_vals = array((for (c <- toMelt) yield { struct(lit(c).alias(column), col(c).alias(row)) }): _*)
    val _tmp = df.withColumn("_vars_and_vals", explode(_vars_and_vals))
    val cols = preserves.map(col _) ++ { for (x <- List(column, row)) yield { col("_vars_and_vals")(x).alias(x) }}
    _tmp.select(cols: _*)
}

// 正确调用
val selectColumns = questionDF.columns.toSeq.filter(_ != "ID") // 排除要保留的ID列
val df = melt(preserves = Seq("ID"), toMelt = selectColumns, df = questionDF)

方式二：转为DataFrame扩展方法（更优雅的链式调用）

如果想使用df.melt这种Spark风格的链式调用，可以把melt函数封装成隐式扩展类：

import org.apache.spark.sql.{DataFrame, Column}
import org.apache.spark.sql.functions.{array, struct, lit, col, explode}

// 定义隐式扩展类，让DataFrame拥有melt方法
implicit class DataFrameMeltOps(df: DataFrame) {
  def melt(preserves: Seq[String], toMelt: Seq[String], column: String = "variable", row: String = "value"): DataFrame = {
    val _vars_and_vals = array((for (c <- toMelt) yield {
      struct(lit(c).alias(column), col(c).alias(row))
    }): _*)
    val _tmp = df.withColumn("_vars_and_vals", explode(_vars_and_vals))
    val cols = preserves.map(col) ++ List(column, row).map(x => col("_vars_and_vals")(x).alias(x))
    _tmp.select(cols: _*)
  }
}

// 调用方式（更符合Spark API习惯）
val selectColumns = questionDF.columns.toSeq.filter(_ != "ID")
val df = questionDF.melt(Seq("ID"), selectColumns)

额外注意事项 #

• 确保melt函数或隐式类的定义在调用代码的作用域内（比如同一个包、导入了对应的类/函数）。
• 如果需要自定义column和row的名称，可以在调用时指定命名参数，比如：

val df = questionDF.melt(Seq("ID"), selectColumns, column = "question_type", row = "answer_value")

内容的提问来源于stack exchange，提问作者P201_eng