Spark可拆分压缩数据的分区大小以压缩前还是后为准？

你的推测是正确的——当处理可拆分的压缩文件且文件大小超过设定的128MB分区大小时，Spark分区包含的是最多128MB的压缩数据，而非解压后的数据。

Spark在划分DataFrame分区时，是基于输入文件的原始压缩字节大小来计算的，核心依据是spark.sql.files.maxPartitionBytes（默认128MB）配置项。对于可拆分的压缩格式（如Snappy、支持拆分的LZO等），Spark可以识别压缩文件内的合法分割点，将文件拆分为多个片段，每个片段对应的原始压缩数据量不会超过设定的分区大小阈值。

如果按照解压后的数据量来划分分区，Spark需要预先解压整个文件才能统计数据量，这会带来极高的IO与内存开销，完全违背了分区划分时追求高效、低开销的设计原则。

需要注意的是，分区最终数量还会受输入文件总大小与文件数量、文件格式可拆分性、spark.default.parallelism、spark.sql.files.openCostInBytes等因素共同影响，但针对单一大体积可拆分压缩文件的拆分场景，核心判断标准始终是原始压缩数据的字节大小。

内容的提问来源于stack exchange，提问作者kee