Spark：如何为textFile方法设置UTF-8编码读取特殊字符文件

我懂你遇到的这个糟心问题——用sc.textFile读取带ä、ü、ö这类特殊字符的文件时，乱码确实让人头大！核心原因是Spark的textFile默认依赖Hadoop的TextInputFormat，而它默认采用的编码是ISO-8859-1，不是UTF-8，所以这些特殊字符被错误解析了。

结合你已经设置的记录分隔符需求，下面给你几种可行的解决方案：

方法1：全局配置Hadoop编码（最直接） #

在读取文件前，直接修改Spark的Hadoop配置，指定文件编码为UTF-8，这样textFile就能正确解析特殊字符了：

// 先设置记录分隔符和编码
sc.hadoopConfiguration.set("textinputformat.record.delimiter", "\r\n\r\n")
sc.hadoopConfiguration.set("textinputformat.encoding", "UTF-8")

// 再读取文件
val rdd = sc.textFile("/file/path/sample_file.txt")

这种方法不需要改动读取逻辑，适合全局统一编码的场景。

方法2：手动指定编码读取（更灵活） #

如果全局配置不适用，你可以用hadoopFile手动处理编码，同时保留记录分隔符：

import org.apache.hadoop.io.{LongWritable, Text}
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat

// 设置记录分隔符
sc.hadoopConfiguration.set("textinputformat.record.delimiter", "\r\n\r\n")

// 读取并转换编码
val rdd = sc.hadoopFile(
  "/file/path/sample_file.txt",
  classOf[TextInputFormat],
  classOf[LongWritable],
  classOf[Text],
  1 // 分区数，可根据文件大小调整
).map { case (_, text) =>
  // 将Text对象按UTF-8编码转换为字符串
  new String(text.getBytes, 0, text.getLength, "UTF-8")
}

这种方法能精准控制单文件的编码，适合特殊编码的零散文件场景。

方法3：用wholeTextFiles读取（适合小文件） #

如果你的文件是体积较小的文件，可以用wholeTextFiles读取整个文件内容，再转换编码：

// 读取文件（默认用ISO-8859-1编码），再转成UTF-8
val rdd = sc.wholeTextFiles("/file/path/sample_file.txt")
  .mapValues(content => {
    new String(content.getBytes("ISO-8859-1"), "UTF-8")
  })
// 按需按\r\n\r\n分割记录
val recordsRdd = rdd.flatMap { case (_, content) => content.split("\r\n\r\n") }

这个方法适合文件数量少、单文件体积不大的情况，分割记录的步骤可根据需求添加。

最后提醒下：一定要确认你的源文件确实是UTF-8编码——如果源文件是其他编码（比如ISO-8859-15），记得把配置里的编码改成对应的格式哦！

内容的提问来源于stack exchange，提问作者jOasis