Scala版Spark行列排列及文本文件转DataFrame（跳过首尾行）问题

嘿，我来帮你搞定这个问题！你已经成功跳过了文本文件的首尾行，现在的核心就是把剩下的分号分隔的单行数据拆成对应Schema的多列，最终生成符合预期的DataFrame。下面一步步来：

1. 先确认你的Schema定义 #

首先得确保你已经有了正确的StructType Schema，比如假设你的列是column1(字符串)、column2(整数)、column3(浮点数)，定义如下：

import org.apache.spark.sql.types._

val schema = StructType(Array(
  StructField("column1", StringType, nullable = true),
  StructField("column2", IntegerType, nullable = true),
  StructField("column3", DoubleType, nullable = true)
))

2. 完善你的过滤逻辑（修正索引判断） #

你原来的过滤代码需要调整一下索引的判断逻辑：因为zipWithIndex的索引是从0开始的，首行索引是0，末行索引是total-1，所以要过滤掉这两个索引的行：

var textFile = sc.textFile("*.txt")
val header = textFile.first()
val total = textFile.count()
// 过滤掉首行（索引0）和末行（索引total-1）
var rows = textFile.zipWithIndex().filter(x => x._2 != 0 && x._2 != total - 1)

3. 提取行内容并拆分转成Row #

接下来把过滤后的RDD里的文本内容提取出来，按分号分割，再转成Row对象（注意处理空值和类型转换）：

import org.apache.spark.sql.Row

// 提取每行的文本内容，去掉索引
val filteredLines = rows.map(_._1)

// 按分号拆分，转成Row，这里要对应Schema的类型做转换
val rowRDD = filteredLines.map(line => {
  // 用split(";", -1)确保保留空值（比如末尾分号对应的空列）
  val parts = line.split(";", -1)
  // 根据Schema的类型逐个转换，空值处理成null
  Row(
    parts(0),
    if (parts(1).isEmpty) null else parts(1).toInt,
    if (parts(2).isEmpty) null else parts(2).toDouble
  )
})

4. 生成最终的DataFrame #

最后用SparkSession把rowRDD和schema结合起来，生成符合要求的DataFrame：

val df = spark.createDataFrame(rowRDD, schema)

// 验证一下结果
df.show()

关键注意点 #

• 拆分空值处理：一定要用split(";", -1)，而不是默认的split(";")，后者会忽略末尾的空字符串，导致列数不匹配Schema报错。
• 类型转换容错：如果文本里可能存在空值或者非数字的情况，建议加上try-catch或者用Option来处理，避免转换失败导致任务崩溃，比如：

def safeToInt(s: String): Option[Int] = try { Some(s.toInt) } catch { case _: Exception => None }
// 然后在Row里用safeToInt(parts(1)).orNull

内容的提问来源于stack exchange，提问作者Malo