Spark RDD的map算子为何按行处理文本文件而非按单词？

问题1：为何map算子会按行拆分文本，将'x'作为一行返回，而非按空格返回单个元素？ #

这不是map算子的锅，核心是sc.textFile()的读取逻辑：

• sc.textFile()读取文件时，默认会按换行符把文件分割成若干行，返回的RDD中每个元素对应文件里的一行文本。
• map算子只是对这个RDD里的每一个元素（也就是每行内容）执行传入的lambda函数，所以变量x自然代表一行内容，而非按空格拆分后的单个元素。如果要获取按空格拆分的单个元素，需要在map里先执行x.split()，或者用flatMap直接将拆分后的元素展开。

问题2：map算子是否始终以换行符作为分割依据？能否指定其他分隔规则？ #

map算子根本不负责文件的分割逻辑，它只对已有的RDD元素做转换操作：

• 换行符分割是sc.textFile()这类文件读取API的默认行为，和map完全无关。
• 如果需要自定义分隔规则，有几种实现方式：
  • 放弃textFile，改用wholeTextFiles读取整个文件的完整内容，再手动用指定分隔符（比如分号、竖线）拆分内容。
  • 自定义Hadoop InputFormat类，指定自己的记录分隔符，再通过Spark的newAPIHadoopFile方法读取文件。
  • 先用textFile按行读取，再在map/flatMap算子中用自定义分隔符拆分每行内容，实现更细粒度的分割。

内容的提问来源于stack exchange，提问作者otk