Spark 3.1.2项目引入hadoop-cloud_2.12依赖报not found该如何解决?
报错原因
Spark 3.1.2版本并未单独发布org.apache.spark:hadoop-cloud_2.12:3.1.2这个依赖包,该独立模块是Spark 3.3及后续版本才拆分后发布到Maven中央仓库的,低版本中相关能力直接依托Hadoop的S3访问组件实现。官方文档中标注的provided作用域仅适用于Spark集群环境,集群会预装对应云存储访问依赖,本地运行环境无预置依赖自然会加载失败。
解决方案:替换为hadoop-aws包实现S3访问
你可以通过hadoop-aws包解决该问题,操作步骤如下:
1. 调整SBT依赖配置
首先移除原依赖中org.apache.spark %% "hadoop-cloud" % Version.spark这一行,新增对应版本的hadoop-aws和配套的AWS SDK依赖:
注意:
hadoop-aws的版本必须和你Spark内置绑定的Hadoop版本完全一致,Spark 3.1.2默认预编译绑定的是Hadoop 3.2.x版本,示例配置如下:
// Version.spark is 3.1.2 val spark = Seq( "org.apache.spark" %% "spark-core" % Version.spark, "org.apache.spark" %% "spark-sql" % Version.spark ) // 新增Hadoop S3访问依赖,本地运行不设置provided作用域 val hadoopS3 = Seq( "org.apache.hadoop" % "hadoop-aws" % "3.2.0", "com.amazonaws" % "aws-java-sdk-bundle" % "1.11.375" )
如果你的Spark是自行编译绑定了其他版本的Hadoop,请对应调整
hadoop-aws和aws-java-sdk-bundle的版本,两者版本匹配规则可查询Hadoop官方的版本对应说明。
2. 新增Spark S3访问配置
在代码中初始化SparkSession时添加S3A文件系统实现配置,也可以放在spark-defaults.conf中全局生效:
val spark = SparkSession.builder() .appName("S3AccessDemo") .master("local[*]") // 配置S3A文件系统实现 .config("spark.hadoop.fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem") // 配置AWS访问密钥,生产环境请勿硬编码,可通过环境变量、IAM角色等方式获取 .config("spark.hadoop.fs.s3a.access.key", "你的AWS访问密钥ID") .config("spark.hadoop.fs.s3a.secret.key", "你的AWS访问密钥Secret") .getOrCreate()
3. 访问S3资源
后续直接使用s3a协议前缀访问S3存储的资源即可,示例:
val df = spark.read.parquet("s3a://你的桶名/文件路径")
内容的提问来源于stack exchange,提问作者Raf
相关产品推荐
相关产品推荐

