Spark读取repartition持久化的Parquet文件是否推断分区及Join优化

1. Spark是否会从Parquet文件中推断repartition的分区信息？ #

不会。repartition(100, 'id')只是在内存中将数据按id哈希分配到指定分区，但Parquet格式本身不会存储这种哈希分区规则的元数据。Spark读取Parquet时，仅能识别文件系统层面的目录分区（比如按字段分目录的partitionBy），完全感知不到你之前做的内存级repartition操作留下的分区逻辑。

2. 能否让Spark识别该分区规则？ #

可以，但不能依赖Parquet自动识别，需要手动通过分桶表来持久化分区规则：
使用bucketBy替代repartition，并通过saveAsTable将数据保存为Spark分桶表。分桶表会把相同id的数据哈希到固定数量的桶中，且Spark会将分桶的元信息存储到元数据仓库（如Hive Metastore）。后续读取该表时，Spark会自动识别分桶规则，join时无需再做shuffle。

示例代码：

# 将数据集保存为分桶表
dataset1.write.bucketBy(100, 'id').saveAsTable('your_db.table1')
dataset2.write.bucketBy(100, 'id').saveAsTable('your_db.table2')

# 读取分桶表后直接join，无额外shuffle
df1 = spark.table('your_db.table1')
df2 = spark.table('your_db.table2')
joined_df = df1.join(df2, on='id')

3. 让相同id处于同一分区的更优方案 #

• 分桶表（首选）：这是最持久化的解决方案，分桶规则会被Spark记录，后续所有针对该表的join、聚合操作都能直接利用分区规则，彻底避免shuffle。分桶数建议根据集群核心数或数据量调整，一般设置为集群总核心数的1-2倍。
• 读取后手动统一分区器：如果已经用repartition存了Parquet，不想重新生成分桶表，可以读取后手动为两个数据集设置相同的哈希分区器：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder.getOrCreate()
  df1 = spark.read.parquet('path/to/dataset1')
  df2 = spark.read.parquet('path/to/dataset2')
  
  # 创建统一的哈希分区器
  partitioner = spark.sparkContext.HashPartitioner(100)
  
  # 转换为RDD重新分区后转回DataFrame
  df1_part = df1.rdd.partitionBy(partitioner).toDF()
  df2_part = df2.rdd.partitionBy(partitioner).toDF()
  
  # 此时join无shuffle
  joined_df = df1_part.join(df2_part, on='id')
  

  这种方法需要在读取后额外执行一次分区操作，适用于临时优化场景。
• 广播Join（适用于大小表场景）：如果其中一个数据集远小于另一个（比如几十MB级别），可以将小表广播到所有节点，大表无需shuffle直接与广播表join：

  from pyspark.sql.functions import broadcast
  
  joined_df = df1.join(broadcast(df2), on='id')
  

  但你的数据集都是百万级，仅当其中一个数据量显著更小时适用。

内容的提问来源于stack exchange，提问作者Abhishek Bansal