PySpark读取大文件后生成单一大Parquet文件而非多分区文件的原因问询

这个问题的核心原因几乎可以确定是你开启了multiline='true'参数，再加上处理的是单个25GB超大文件，两者结合导致Spark只能用单个分区处理数据，最终输出单个大Parquet文件。

我来拆解下背后的逻辑：

• 正常情况下，Spark处理普通可拆分文本文件（比如无跨行内容的CSV）时，会按文件块大小（默认对应HDFS块或S3分片大小）将文件拆成多个部分，分配给不同任务并行读取。此时DataFrame会有多个分区，写入Parquet时自然生成多个拆分后的文件。
• 但当你设置multiline='true'时，意味着允许字段值包含换行符（比如某个字段内容跨多行）。这时候Spark的CSV Reader无法安全拆分文件——随便按字节拆分很可能会把一行中间的内容切开，导致解析错误。所以对于单个超大文件，Spark只能启动一个任务从头到尾读取整个文件，保证每一行的完整性。这就导致你的DataFrame只有1个分区，后续写入Parquet时自然只会生成一个大文件。

另外，你开启的inferSchema='true'可能会加剧这个问题：为了推断Schema，Spark需要先扫描整个文件，而在multiline模式下，这个扫描也只能单任务执行，进一步固化了单分区的状态。

可行的解决办法 #

1. 如果数据没有跨行字段：直接去掉multiline='true'参数。这样Spark就能正常拆分文件并行读取，自动生成多个分区，写入时自然会产出多个合理大小的Parquet文件，这是最省心的方案。
2. 必须保留multiline支持：在读取文件后手动重新分区，根据你的集群资源调整分区数（比如按每1-2GB一个分区估算）：

# 读取文件后重新分区，示例设置20个分区，可根据实际情况调整
inputFile = inputFile.repartition(20)
# 再执行写入操作
inputFile.write.parquet(pathOut, mode="overwrite")

这里用repartition而不是coalesce，因为coalesce适合合并分区，而repartition是全量洗牌，能从单分区扩成多分区，满足拆分文件的需求。

内容的提问来源于stack exchange，提问作者rotsner