将类茎叶图格式的用户好友数据导入Scala并转为元组（MapReduce场景）

首先，我会帮你梳理正确的处理逻辑，并提供适用于MapReduce场景的Scala代码实现，同时指出可能导致你原有代码失效的常见问题。

核心处理逻辑 #

我们需要完成以下步骤：

• 读取每一行数据，按制表符(\t)分割成用户ID和好友列表字符串两部分
• 将好友列表字符串按分隔符（通常是英文逗号,或中文逗号，）拆分为单个好友ID
• 遍历每个好友ID，生成对应的(userid, friend)元组
• 处理边缘情况：跳过无效行（无制表符的行）、过滤空的好友ID、去除字符串前后空格

1. 本地测试用Scala代码（快速验证逻辑） #

如果你想先在本地验证处理逻辑是否正确，可以使用这段代码：

import scala.io.Source
import java.io.PrintWriter

object FriendPairGenerator {
  def main(args: Array[String]): Unit = {
    // 输入参数：第一个是输入文件路径，第二个是输出文件路径
    if (args.length != 2) {
      println("请指定输入和输出文件路径！")
      sys.exit(1)
    }
    val inputPath = args(0)
    val outputPath = args(1)

    // 读取文件并处理每一行
    val pairs = Source.fromFile(inputPath).getLines().flatMap { line =>
      val trimmedLine = line.trim
      // 按制表符分割为两部分，避免好友列表中意外出现制表符的情况
      val parts = trimmedLine.split("\t", 2)
      if (parts.length == 2) {
        val userId = parts(0).trim
        // 按逗号分割好友列表，同时兼容中英文逗号
        val friends = parts(1).split("[,，]").map(_.trim).filter(_.nonEmpty)
        // 生成每个(userid, friend)元组
        friends.map(friend => (userId, friend))
      } else {
        // 跳过无效行（没有制表符的行）
        Iterator.empty
      }
    }

    // 将结果写入输出文件
    val writer = new PrintWriter(outputPath)
    pairs.foreach { case (u, f) => writer.println(s"$u\t$f") }
    writer.close()
    println("处理完成！")
  }
}

2. MapReduce场景下的Mapper实现 #

如果是用于Hadoop MapReduce任务，以下是Scala版本的Mapper代码：

import org.apache.hadoop.io.{LongWritable, Text}
import org.apache.hadoop.mapreduce.Mapper

class FriendPairMapper extends Mapper[LongWritable, Text, Text, Text] {
  override def map(
    key: LongWritable,
    value: Text,
    context: Mapper[LongWritable, Text, Text, Text]#Context
  ): Unit = {
    val line = value.toString.trim
    // 按制表符分割为用户ID和好友列表
    val parts = line.split("\t", 2)
    
    if (parts.length == 2) {
      val userId = parts(0).trim
      val friendsStr = parts(1).trim
      
      // 拆分好友列表，过滤空值
      val friends = friendsStr.split("[,，]").map(_.trim).filter(_.nonEmpty)
      
      // 输出每个(userid, friend)键值对
      friends.foreach { friend =>
        context.write(new Text(userId), new Text(friend))
      }
    }
    // 自动跳过无效行
  }
}

常见问题排查 #

如果你的原有代码无法运行，可能是以下原因：

• 分割逻辑错误：没有限制分割次数（比如split("\t")会把好友列表中的制表符也分割开），应该用split("\t", 2)确保只分成两部分
• 未处理空格：用户ID或好友ID前后有空格，导致生成的元组包含无效字符，需要用trim()去除
• 未过滤空值：好友列表中可能存在空字符串（比如连续逗号），需要用filter(_.nonEmpty)过滤
• 分隔符不匹配：如果你的好友列表用的是其他分隔符（比如空格、分号），需要调整split()中的参数

内容的提问来源于stack exchange，提问作者egl1314