如何处理索引值？基于文本文件数据实现各城市最高薪资查询

我来帮你修正代码，搞定按城市查询最高薪资的需求～先看看你现有代码里的几个问题，再给你完整的实现方案：

现有代码的问题 #

• 多余的flatMap(al=>al.split("\n"))：sc.textFile()已经自动把文件按行读取为RDD的每一行元素了，再拆分换行符会把每行字符串拆成单个字符的数组，完全不符合预期。
• 错误的sortBy(_._5)：此时RDD的元素是原始字符串，没有_._5这种属性，必须先解析数据提取字段才能访问对应值。
• 缺少分组聚合逻辑：直接排序原始数据只能拿到全局薪资最高的几条记录，而不是每个城市的最高薪资。

正确的实现步骤 #

1. 读取并解析数据 #

首先读取文件，把每行数据拆分成字段，提取出city和salary（注意索引从0开始，city是第3个字段，索引为2；salary是第5个字段，索引为4），同时把薪资转成数值类型方便计算：

val scq = sc.textFile("path.txt")

// 解析每行数据，生成(city, salary)键值对RDD
val citySalaryPairs = scq.map(line => {
  // 用\\s+匹配多个空格，避免字段间多个空格导致拆分错误
  val fields = line.split("\\s+")
  val city = fields(2)
  // 把薪资转成Double类型（如果是整数用toInt也可以）
  val salary = fields(4).toDouble
  (city, salary)
})

2. 按城市计算最高薪资 #

用reduceByKey高效聚合每个城市的最高薪资（也可以用groupByKey后取最大值，但reduceByKey性能更好）：

val cityMaxSalary = citySalaryPairs.reduceByKey((currentMax, newSalary) => math.max(currentMax, newSalary))

3. 排序并输出结果 #

如果需要按薪资从高到低排序，取前5个结果输出：

// 按薪资降序排序，取前5个并打印
cityMaxSalary.sortBy(_._2, ascending = false).collect.take(5).foreach(println)

完整整合代码 #

val scq = sc.textFile("path.txt")

val cityMaxSalary = scq.map(line => {
  val fields = line.split("\\s+")
  (fields(2), fields(4).toDouble)
}).reduceByKey((a, b) => math.max(a, b))

// 输出结果
cityMaxSalary.sortBy(_._2, ascending = false).collect.take(5).foreach(println)

额外优化（可选） #

如果担心数据格式错误（比如薪资不是数字），可以加个异常处理：

val citySalaryPairs = scq.flatMap(line => {
  try {
    val fields = line.split("\\s+")
    Some((fields(2), fields(4).toDouble))
  } catch {
    case e: Exception => 
      println(s"Invalid line: $line")
      None
  }
})

内容的提问来源于stack exchange，提问作者Ravi Anand