如何在PySpark中为DataFrame定义分区并指定Parquet读取后的分区数

嘿，这个需求太常见了！当你用PySpark读取Parquet文件得到DataFrame后，有几种实用的方式来指定它的分区数量，我给你详细捋一捋：

1. 使用 repartition() 强制重分区 #

这个方法可以直接设置你想要的分区数，不管DataFrame原本的分区情况如何。它会触发数据洗牌（shuffle），重新分配数据到指定数量的分区中，适合你明确需要某个特定分区数的场景（比如后续操作需要固定的并行度）。

示例代码：

# 读取Parquet后直接指定10个分区
df = sqlContext.read.format('parquet').load('/path/to/file').repartition(10)

⚠️ 注意：数据洗牌会带来一定的性能开销，如果你的DataFrame数据量很大，要权衡是否真的需要强制重分区。

2. 使用 coalesce() 合并分区 #

如果你只是想减少分区数（不能用来增加分区），coalesce() 是更优的选择。它不会触发全量洗牌，而是尽量将小分区合并到已有分区中，性能比repartition()好很多。

示例代码：

# 把现有分区合并到5个（假设原分区数大于5）
df = sqlContext.read.format('parquet').load('/path/to/file').coalesce(5)

额外小技巧：全局配置（谨慎使用） #

如果你希望所有Spark SQL的shuffle操作都使用固定分区数，可以设置全局配置spark.sql.shuffle.partitions，默认值是200。但这个配置是全局生效的，会影响所有涉及shuffle的操作，不如直接对单个DataFrame使用上述方法灵活：

# 在创建SparkSession时设置（或者运行时动态调整）
spark = SparkSession.builder \
    .appName("MyApp") \
    .config("spark.sql.shuffle.partitions", "10") \
    .getOrCreate()

内容的提问来源于stack exchange，提问作者Ani Menon