Scala：如何用for推导式创建单行多列DataFrame并插入列名行

问题描述 #

需要把DataFrame的列名作为第一行插入（无法直接以无表头方式导入），尝试用for推导式创建1行30列的DataFrame并与原DataFrame合并，但得到的是1行1列、值为30个字符串组成列表的DataFrame。

尝试代码 #

val headerDF = Seq((for (col <- data.columns) yield col)).toDF
display(headerDF)

实际结果 #

预期结果 #

解决方案 #

原代码的问题是把列名数组包装成了单个元组元素，导致生成的DataFrame只有1列。正确做法是将列名数组转为可变参数传入Seq，同时指定新DataFrame的列名与原表一致：

// 创建包含列名的单行DataFrame，列名与原表匹配
val headerDF = Seq(data.columns: _*).toDF(data.columns: _*)
// 合并表头行与原DataFrame
val finalDF = headerDF.union(data)
display(finalDF)

代码说明 #

• data.columns: _*：将数组转换为可变参数，让Seq把每个列名作为独立元素，而非单个数组元素
• toDF(data.columns: _*)：为新DataFrame指定列名，确保和原DataFrame的列数、列名完全一致，避免合并时出错
• union：将表头行DataFrame与原DataFrame合并，实现列名作为首行插入的效果

内容的提问来源于stack exchange，提问作者Jiaming Pei