使用SparkDataset写入S3时报错：找不到BindingParquetOutputCommitter类

这个错误是因为org.apache.spark.internal.io.cloud.BindingParquetOutputCommitter类属于spark-hadoop-cloud模块，该模块默认未包含在标准Spark发行版中，或依赖版本不匹配导致无法加载。以下是具体解决方法：

• 添加对应依赖
  根据你的构建工具添加依赖，确保版本与Spark版本、Scala版本完全匹配：

  • Maven（pom.xml）：

  <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-hadoop-cloud_2.12</artifactId>
      <version>你的Spark版本号</version>
      <scope>provided</scope>
  </dependency>
  

  • SBT（build.sbt）：

  libraryDependencies += "org.apache.spark" % "spark-hadoop-cloud_2.12" % "你的Spark版本号" % Provided
  

• 验证Spark配置
  确保作业中正确设置了Parquet输出提交器，同时配置好S3访问参数：

  // 设置输出提交器
  spark.conf.set("spark.sql.parquet.output.committer.class", "org.apache.spark.internal.io.cloud.BindingParquetOutputCommitter")
  // 配置S3访问密钥（示例）
  spark.conf.set("fs.s3a.access.key", "你的AccessKey")
  spark.conf.set("fs.s3a.secret.key", "你的SecretKey")
  

• 集群环境依赖部署
  如果在YARN等集群运行，需确保spark-hadoop-cloud的jar包能被所有节点加载：

  • 提交作业时用--jars参数指定jar包路径
  • 将jar包放入Spark安装目录的jars文件夹，重启集群
  • 在YARN全局classpath配置中添加该依赖

内容的提问来源于stack exchange，提问作者brianle1811