使用Spark DataFrameWriter.partitionBy后，每个分区文件是否包含全部列？

完全可以依赖这个特性——每个Parquet分区文件都会包含完整的列集，不管你用mapPartitions做计算，还是用其他DataFrame转换操作，只要最终生成的DataFrame Schema是统一的，写入后的Parquet文件就不会出现列缺失的情况，原因如下：

• Spark DataFrame是强Schema约束的：不管中间用mapPartitions对分区数据做什么处理，只要处理后输出的每条记录都严格匹配DataFrame的定义Schema，最终写入时就会保证所有列都被包含。如果mapPartitions输出的记录不符合Schema，Spark会直接抛出异常，不会生成非法的DataFrame。

• Parquet文件本身的特性：Parquet是列存储格式，但每个Parquet文件都自带完整的Schema元信息。哪怕某个文件里某列的所有值都是null，该列的元数据依然会被保留，不会从文件中消失。

• 分区存储的逻辑：DataFrameWriter.partitionBy只是按指定列将数据划分到不同的目录（分区目录），每个目录下的Parquet文件依然遵循原DataFrame的Schema，和是否用mapPartitions无关。小数据集测试的结果是符合预期的，大数据场景下也不会有变化。

需要注意的唯一情况是：如果在mapPartitions处理时不小心修改了输出的Schema（比如输出的记录列数不一致、数据类型不匹配），Spark会在写入前就报错，不会生成残缺列的Parquet文件。

内容的提问来源于stack exchange，提问作者3yakuya