EMR中Spark Shell+Hudi写入S3报错：S3AFileSystem未找到及协议不支持

问题背景 #

按照AWS官方文档执行Spark Shell启动命令后，将DataFrame写入Hudi数据集到S3路径时出现两类报错：

• 使用s3a://协议时，抛出错误：java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.s3a.S3AFileSystem not found
• 使用s3://协议时，抛出错误：org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "s3"

使用的Spark Shell启动命令：

spark-shell --jars /usr/lib/hudi/hudi-spark-bundle.jar \
--conf "spark.serializer=org.apache.spark.serializer.KryoSerializer" \
--conf "spark.sql.catalog.spark_catalog=org.apache.spark.sql.hudi.catalog.HoodieCatalog"  \
--conf "spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension"

写入Hudi数据集的Scala代码示例：

(inputDF.write
    .format("hudi")
    .options(hudiOptions)
    .option(DataSourceWriteOptions.OPERATION_OPT_KEY,"insert")
    .mode(SaveMode.Overwrite)
    .save("s3a://oh-project-sunnyvalelabs-observed/marketing/"))

解决方案 #

1. 补充Hadoop S3相关依赖包 #

EMR环境中，Hadoop与S3交互的核心jar包默认存在于集群中，启动Spark Shell时需要将这些jar包加入依赖：

spark-shell --jars /usr/lib/hudi/hudi-spark-bundle.jar,/usr/lib/hadoop/hadoop-aws.jar,/usr/lib/hadoop/lib/aws-java-sdk-bundle.jar \
--conf "spark.serializer=org.apache.spark.serializer.KryoSerializer" \
--conf "spark.sql.catalog.spark_catalog=org.apache.spark.sql.hudi.catalog.HoodieCatalog"  \
--conf "spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension"

添加hadoop-aws.jar和aws-java-sdk-bundle.jar后，Spark就能找到S3A文件系统的实现类。

2. 显式配置S3文件系统实现 #

在Spark Shell启动参数中添加Hadoop文件系统的配置，指定使用S3A实现：

spark-shell --jars /usr/lib/hudi/hudi-spark-bundle.jar \
--conf "spark.serializer=org.apache.spark.serializer.KryoSerializer" \
--conf "spark.sql.catalog.spark_catalog=org.apache.spark.sql.hudi.catalog.HoodieCatalog"  \
--conf "spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension" \
--conf "spark.hadoop.fs.s3.impl=org.apache.hadoop.fs.s3a.S3AFileSystem" \
--conf "spark.hadoop.fs.s3a.impl=org.apache.hadoop.fs.s3a.S3AFileSystem"

写入时统一使用s3a://协议路径，EMR环境中s3a是官方推荐的S3访问协议。

3. 验证版本兼容性 #

确认Hudi版本与当前EMR集群的Hadoop、Spark版本兼容，EMR官方提供的Hudi集成包已经做了版本适配，尽量使用EMR预装的Hudi包，避免手动引入不兼容的版本导致类加载异常。

内容的提问来源于stack exchange，提问作者Albert T. Wong