Spark2.2读取HDFS大量小文件中少量行的最快方法

这种场景我太熟悉了——上千个小文件堆在HDFS目录里，哪怕只是想快速看几行数据，Spark都要拉起几千个任务，等得让人抓狂。下面给你几个最快的解决办法，按效率从高到低排序：

1. 直接用HDFS命令快速查看（最快，无需启动Spark） #

如果只是想确认数据格式或内容，完全不用启动Spark集群，直接用HDFS的cat命令结合head就能搞定：

hdfs dfs -cat /your/hdfs/dir/* | head -20

这个命令会从目录下的文件里读取前20行内容，几乎瞬间就能出结果，完全绕开了Spark的任务调度开销。

2. 仅读取目录下的单个/少量文件 #

Spark会为每个小文件创建一个任务，那我们就只让它读几个文件就行。可以先获取目录下的文件列表，挑几个读取：

Scala示例： #

// 获取HDFS文件系统实例
val fs = org.apache.hadoop.fs.FileSystem.get(spark.sparkContext.hadoopConfiguration)
// 列出目标目录下的所有文件（过滤掉目录）
val filePaths = fs.listStatus(new org.apache.hadoop.fs.Path("/your/hdfs/dir"))
  .filter(!_.isDirectory)
  .take(3) // 只取前3个文件
  .map(_.getPath.toString)

// 读取选中的文件并取前10行
val sampleDF = spark.read.parquet(filePaths: _*) // 根据你的文件格式替换，比如csv、json
sampleDF.head(10)

这样Spark只会创建3个任务，执行速度会快很多。如果是Python，逻辑类似，用pyspark的Hadoop API或者os.popen调用HDFS命令获取文件列表即可。

3. 调整Spark参数减少分区数（适合后续批量处理） #

如果之后还要基于这些数据做处理，只是想先快速预览，可以调整Spark的文件合并参数，让它把多个小文件合并成更少的分区：

// 在SparkSession初始化时设置
val spark = SparkSession.builder()
  .appName("SmallFilePreview")
  .config("spark.sql.files.maxPartitionBytes", "134217728") // 128MB，可根据需求适当调大
  .config("spark.sql.files.openCostInBytes", "1073741824") // 1GB，调大后Spark会优先合并小文件
  .getOrCreate()

// 然后再读取数据并取前几行
val df = spark.read.parquet("/your/hdfs/dir")
df.limit(10).show()

这个参数调整后，Spark会把多个小文件合并到一个分区里，任务数会大幅减少，预览速度也会提升。不过这个方法还是会扫描所有文件的元数据，比前两种慢一点，但适合后续还要处理全量数据的场景。

为什么默认的head()/limit()这么慢？ #

因为Spark的head(n)或limit(n)虽然逻辑上只需要n行，但它需要先确认数据的分区分布。当目录下有上千个小文件时，Spark会为每个文件创建一个分区，此时它需要启动任务去每个分区尝试读取数据，直到凑够n行——如果前面的分区数据为空，它就会一直往后扫，导致触发大量任务。所以直接限制读取的文件数量才是最直接的优化方式。

内容的提问来源于stack exchange，提问作者AI Joes