PySpark中Parquet文件生成多份分片文件的原因是什么？是否与并行处理直接相关？

没错，这个现象完全和并行处理直接相关，本质是Spark分布式计算的特性导致的，我来给你拆解清楚：

• Spark是分布式计算框架，你的DataFrame会被拆分成多个分区（partitions），这些分区分散在集群的不同节点（或者本地模式下的不同线程）上。每个分区对应一个独立的处理任务（task），并行执行数据处理和写入操作。
• 当你执行df.write.parquet("/tmp/output/my_parquet.parquet")时，每个任务会单独写出自己负责的分区数据，最终就生成了和分区数对应的Parquet文件（文件名一般是part-00000-xxxx.snappy.parquet这类格式）。
• 你还会看到一些额外的辅助文件，比如_SUCCESS（标记写入成功）、.part-xxxx.crc（校验数据完整性），这些都是Spark写入时自动生成的元数据文件，不影响数据读取。

另外补充几个关键点：

• Parquet的压缩/编码优化是针对单个文件内部的存储效率，和生成的文件数量没有关系——文件数量只由DataFrame的分区数决定。
• 如果确实需要生成单份Parquet文件，可以先对DataFrame做repartition(1)或者coalesce(1)操作，再执行写入。但要注意：这么做会把所有数据集中到一个节点的单个任务里，大数据量下可能会导致性能急剧下降甚至内存溢出，除非你的数据量很小，否则不推荐这么做。
• 不用担心多文件的读取问题：后续用Spark读取这个目录时，会自动识别所有part-*开头的Parquet文件，把它们当成一个完整的DataFrame来处理，不需要你手动合并文件。

内容的提问来源于stack exchange，提问作者The Singularity