现有Gzip方案不兼容，如何将Spark DataFrame存为Zip归档？

当然可以！不过有几个关键细节需要结合你的场景注意：

直接替换压缩Codec实现单个文件Zip压缩 #

如果你只是需要把输出的CSV文件用Zip格式压缩（和你当前用Gzip的方式一致：每个输出文件单独压缩为Zip），只需要把代码里的GzipCodec替换为Hadoop自带的org.apache.hadoop.io.compress.ZipCodec即可。

修改后的代码如下：

val dfWriter = sourceDf.repartition(1) 
 .write 
 .format("com.databricks.spark.csv") 
if (archived) dfWriter.option("codec", "org.apache.hadoop.io.compress.ZipCodec")
// 记得补充保存路径等后续操作，比如：
// dfWriter.save("/your/output/path")

重要注意事项 #

• Zip不是可分割压缩格式：和Gzip不同，Zip压缩的文件无法被Spark并行读取，后续读取这个Zip文件时只能用单任务处理，如果你的数据量很大，会严重影响读取性能。如果消费者没有特别要求，这点需要提前评估。
• 依赖确认：org.apache.hadoop.io.compress.ZipCodec是Hadoop原生提供的类，Databricks环境、标准Spark集群一般都默认包含这个依赖，但本地开发环境可能需要确认Hadoop相关依赖是否齐全。
• 单个Zip包VS多文件单独Zip：上述方式是给每个输出CSV文件单独做Zip压缩，如果你的数据消费者需要的是一个Zip包包含所有输出文件（而不是每个文件单独压缩），Spark本身没有直接支持这个功能，你需要在DataFrame保存完成后，通过额外步骤实现——比如用Scala的Zip工具类、或者调用系统的zip命令来打包所有输出文件。

内容的提问来源于stack exchange，提问作者Jack