Spark CSV数据源读取时默认分区数的确定机制是什么？

在Spark 2.2.0中，CSV数据源的默认分区数计算其实是基于Hadoop的文本文件分割机制，再结合Spark自身的核心配置参数共同决定的，下面给你拆解具体逻辑：

核心依赖与关键参数 #

CSV数据源默认使用Hadoop的TextInputFormat读取文件，所以分区数的计算本质上和Hadoop分割大文本文件的逻辑一致，关键看这几个参数：

• spark.sql.files.maxPartitionBytes：Spark默认的单个分区最大字节数，默认值是128MB（即134217728字节）。
• spark.sql.files.openCostInBytes：用来衡量打开一个文件的“成本”，默认是4MB。这个参数会让Spark在处理小文件时，避免生成过多分区（比如一堆小文件会被合并成一个分区，直到总大小接近maxPartitionBytes）。
• Hadoop的dfs.blocksize：HDFS的块大小，默认也是128MB，但如果集群修改过这个配置，也会间接影响分区数（不过Spark优先使用自身的maxPartitionBytes）。

单个文件的分区计算逻辑 #

对于单个大文件，Spark的计算逻辑大致是：

1. 首先尝试按照maxPartitionBytes的大小分割文件。
2. 但因为TextInputFormat是按行分割的，绝对不会把一行数据拆分到两个分区里，所以如果文件中存在超长行，或者换行分布不均匀，实际分区数会和理论值（文件大小 / maxPartitionBytes）略有差异。
3. 比如你提到的28GB文件，28*1024MB / 128MB = 224，实际生成226个分区，就是因为文件的行边界导致部分分区的实际大小略小于128MB，最终多了几个分区。

为什么同文件在不同系统分区数不同？ #

你遇到的350MB文件在两个系统生成77和88个分区的情况，大概率是因为两个集群的配置参数不同：

• 可能其中一个系统修改了spark.sql.files.maxPartitionBytes的值，比如如果一个集群设置为_{4.5MB（350/77≈4.5），另一个设置为}4MB（350/88≈4），就会出现这种差异。
• 也有可能是Hadoop的dfs.blocksize配置不同，或者两个系统的Spark 2.2.0默认参数被集群管理员修改过。
• 另外，文件的存储格式（比如是否在HDFS上，或者本地文件系统）也可能有影响，但同文件的话这个因素可以排除。

验证方法 #

如果你想确认具体原因，可以在两个系统中分别执行以下命令查看核心配置：

spark.conf.get("spark.sql.files.maxPartitionBytes")
spark.conf.get("spark.sql.files.openCostInBytes")

对比两个系统的参数值，就能找到分区数差异的根源。

内容的提问来源于stack exchange，提问作者L. Chu