Spark连接MinIO S3报错：已创建的minikube桶不存在

先抓你配置里的一个明显手误——你写的fs.s3a.path.style.access多了个错误的反引号，这会导致路径样式访问的配置完全不生效，而MinIO需要开启这个配置才能正确识别桶名，这大概率是核心问题。下面分步骤帮你排查修复：

1. 修正配置语法错误 #

把错误的配置行：

sc.hadoopConfiguration.set("fs.s3`a`.path.style.access", "true")

改成：

sc.hadoopConfiguration.set("fs.s3a.path.style.access", "true")

这个多余的反引号会让Hadoop无法识别该配置项，导致请求默认用虚拟主机模式访问，和MinIO的路径模式不匹配，自然找不到桶。

2. 调整依赖版本兼容性 #

你的Spark版本是2.4.0，搭配的hadoop-aws:2.7.3版本偏旧，对S3兼容存储的支持有限。建议升级到和Spark 2.4.x更适配的版本，同时保持aws-java-sdk版本和它兼容，调整后的依赖如下：

"org.apache.spark" %% "spark-core" % "2.4.0", 
"org.apache.spark" %% "spark-sql" % "2.4.0", 
"com.amazonaws" % "aws-java-sdk" % "1.11.800", 
"org.apache.hadoop" % "hadoop-aws" % "2.8.5"

旧版hadoop-aws对MinIO的S3 API细节支持不完善，升级后能解决不少兼容性问题。

3. 确认桶与文件的实际状态 #

虽然你说桶已创建，还是再做一次验证：

• 用MinIO控制台或者mc命令（比如mc ls minio/minikube）确认minikube桶确实存在，且桶名完全一致（MinIO桶名大小写敏感）
• 确认data.json确实在桶的根目录下，没有子路径拼写错误

4. 验证网络连通性 #

确保运行Spark的机器能正常访问http://localhost:9000，可以用curl http://localhost:9000/minikube/data.json测试，如果能返回文件内容，说明网络层面没有问题。

修正后的完整代码 #

val spark = SparkSession.builder()
  .appName("AliceProcessingTwentyDotTwo") 
  .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
  .master("local[1]") 
  .getOrCreate() 

val sc = spark.sparkContext 
sc.hadoopConfiguration.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem") 
sc.hadoopConfiguration.set("fs.s3a.endpoint", "http://localhost:9000") 
sc.hadoopConfiguration.set("fs.s3a.access.key", "minioadmin") 
sc.hadoopConfiguration.set("fs.s3a.secret.key", "minioadmin") 
sc.hadoopConfiguration.set("fs.s3a.path.style.access", "true") 
sc.hadoopConfiguration.set("fs.s3a.connection.ssl.enabled","false") 

// 测试读取文件
sc.textFile("s3a://minikube/data.json").collect().foreach(println)

按上面的步骤调整后，应该就能正常读取MinIO里的文件了。

内容的提问来源于stack exchange，提问作者Sumit G