如何为Spark DataFrame中所有字段值添加引号？

问题描述 #

现有一段创建Spark DataFrame的Scala代码，调用show()方法后输出的字段值无双引号，需求是让所有字段值显示时带上双引号。

原输入代码 #

val someDF = Seq(
  ("user1", "math","algebra-1","90"),
  ("user1", "physics","gravity","70")
).toDF("user_id", "course_id","lesson_name","score")

实际输出 #

+-------+---------+-----------+-----+
|user_id|course_id|lesson_name|score|
+-------+---------+-----------+-----+
|  user1|     math|  algebra-1|   90|
|  user1|  physics|    gravity|   70|
+-------+---------+-----------+-----+

期望输出 #

someDF.show()

+-------+---------+-----------+-----+
|user_id|course_id|lesson_name|score|
+-------+---------+-----------+-----+
|"user1"|  "math" |"algebra-1"| "90"|
|"user1"|"physics"| "gravity" | "70"|
+-------+---------+-----------+-----+

解决方案 #

通过遍历DataFrame的所有列，对每个字段值拼接前后双引号，再调用show()即可实现需求，具体步骤如下：

1. 导入所需的Spark SQL函数和类型：

import org.apache.spark.sql.functions.{concat, lit}
import org.apache.spark.sql.types.StringType

2. 处理原DataFrame，为所有字段值添加双引号：

// 遍历所有列，自动为每个字段值包裹双引号
val quotedDF = someDF.columns.foldLeft(someDF) { (df, colName) =>
  df.withColumn(colName, concat(lit("\""), col(colName).cast(StringType), lit("\"")))
}

3. 调用show()查看结果：

quotedDF.show()

说明 #

• 用foldLeft遍历所有列，无需手动逐个修改字段，适配列数较多的场景。
• cast(StringType)确保数值型等非字符串类型的字段也能被转成字符串后添加双引号。
• concat(lit("\""), col, lit("\""))实现了在字段值前后拼接双引号的核心逻辑。

内容的提问来源于stack exchange，提问作者rajasekar k