PySpark 2.4.7版本外部表Parquet格式Snappy压缩不生效如何解决？

现有操作正确性说明 #

• 你当前配置的Snappy压缩参数是有效的：全局配置spark.sql.parquet.compression.codec会对所有Parquet写操作生效，写数据时单独指定option("compression","snappy")会覆盖全局配置，二者同时设置不会冲突。
• 潜在错误点：如果你要创建的是外部表，当前写法缺少必要的外部路径配置，直接调用saveAsTable会默认创建Spark托管表，数据存储在Spark的warehouse目录下。符合外部表要求的写法需要指定存储路径，指定路径后删除表时不会删除对应路径下的原始数据，符合外部表的使用逻辑：

# 外部表写操作示例（首次建表/覆盖）
df.write.mode("overwrite")\
  .format("parquet")\
  .option("compression","snappy")\
  .option("path", "/你的/外部存储/路径")\ # 必须指定路径参数
  .saveAsTable("库名.表名")

# 追加操作写法一致，path指定的目录和建表时相同即可
df.write.mode("append")\
  .format("parquet")\
  .option("compression","snappy")\
  .option("path", "/你的/外部存储/路径")\
  .saveAsTable("库名.表名")

建议补充的参数配置 #

压缩&存储优化参数 #

• 调整Parquet块大小提高压缩比：可以根据你的单文件大小预期配置spark.sql.parquet.block.size，默认值为134217728（128MB），大表场景可以调整为256MB~512MB，减少文件数同时提高压缩效率。
• 显式开启Parquet向量化读取（后续读表性能优化）：配置spark.sql.parquet.vectorized.reader.enabled=true，Spark2.4.7默认已经开启，显式配置可以避免环境参数覆盖导致的性能下降。

循环追加场景适配参数 #

• 小文件治理：循环追加很容易产生大量小文件，可通过以下方式优化：
  • 写数据前先对df做重分区控制每次生成的文件数：df.repartition(期望的文件数).write.xxx，文件数可按单文件128MB左右的标准计算。
  • 配置自动合并小文件：新增配置spark.sql.parquet.mergeSmallFiles=true，写操作后Spark会自动合并生成的小文件。
• Schema兼容性配置：如果追加的数据Schema可能有微调（比如新增字段），需要开启Schema合并：全局配置spark.sql.parquet.mergeSchema=true，或者单次写操作时指定.option("mergeSchema", "true")，避免Schema不一致导致的写失败或数据丢失。

分区表场景额外参数 #

如果你使用分区表存储，需要补充以下配置：

.config("spark.sql.sources.partitionOverwriteMode", "dynamic") # 动态分区覆盖，仅覆盖本次写入涉及的分区
.config("hive.exec.dynamic.partition", "true")
.config("hive.exec.dynamic.partition.mode", "nonstrict")

写操作时还需要指定分区字段：.partitionBy("分区字段名")

内容的提问来源于stack exchange，提问作者codecraker