You need to enable JavaScript to run this app. Spark 3.1.2项目引入hadoop-cloud_2.12依赖报not found该如何解决?
优惠活动
大模型
产品
解决方案
定价
更多

Spark 3.1.2项目引入hadoop-cloud_2.12依赖报not found该如何解决?

报错原因

Spark 3.1.2版本并未单独发布org.apache.spark:hadoop-cloud_2.12:3.1.2这个依赖包,该独立模块是Spark 3.3及后续版本才拆分后发布到Maven中央仓库的,低版本中相关能力直接依托Hadoop的S3访问组件实现。官方文档中标注的provided作用域仅适用于Spark集群环境,集群会预装对应云存储访问依赖,本地运行环境无预置依赖自然会加载失败。

解决方案:替换为hadoop-aws包实现S3访问

你可以通过hadoop-aws包解决该问题,操作步骤如下:

1. 调整SBT依赖配置

首先移除原依赖中org.apache.spark %% "hadoop-cloud" % Version.spark这一行,新增对应版本的hadoop-aws和配套的AWS SDK依赖:

注意:hadoop-aws的版本必须和你Spark内置绑定的Hadoop版本完全一致,Spark 3.1.2默认预编译绑定的是Hadoop 3.2.x版本,示例配置如下:

// Version.spark is 3.1.2
val spark   = Seq(
  "org.apache.spark" %% "spark-core"   % Version.spark,
  "org.apache.spark" %% "spark-sql"    % Version.spark
)

// 新增Hadoop S3访问依赖,本地运行不设置provided作用域
val hadoopS3 = Seq(
  "org.apache.hadoop" % "hadoop-aws" % "3.2.0",
  "com.amazonaws" % "aws-java-sdk-bundle" % "1.11.375"
)

如果你的Spark是自行编译绑定了其他版本的Hadoop,请对应调整hadoop-aws和aws-java-sdk-bundle的版本,两者版本匹配规则可查询Hadoop官方的版本对应说明。

2. 新增Spark S3访问配置

在代码中初始化SparkSession时添加S3A文件系统实现配置,也可以放在spark-defaults.conf中全局生效:

val spark = SparkSession.builder()
  .appName("S3AccessDemo")
  .master("local[*]")
  // 配置S3A文件系统实现
  .config("spark.hadoop.fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
  // 配置AWS访问密钥,生产环境请勿硬编码,可通过环境变量、IAM角色等方式获取
  .config("spark.hadoop.fs.s3a.access.key", "你的AWS访问密钥ID")
  .config("spark.hadoop.fs.s3a.secret.key", "你的AWS访问密钥Secret")
  .getOrCreate()

3. 访问S3资源

后续直接使用s3a协议前缀访问S3存储的资源即可,示例:

val df = spark.read.parquet("s3a://你的桶名/文件路径")

内容的提问来源于stack exchange,提问作者Raf

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.18 13:45:10