使用Databricks Connect读取S3文件时遇权限拒绝错误求助

核心原因 #

Databricks Connect是本地客户端提交任务到远端Databricks集群执行，你本地代码里设置的SparkConf参数（S3密钥、hadoop-aws包版本）不会同步到集群上——实际读取S3的是Databricks集群节点，不是你的本地Docker环境，这就是为什么本地Docker能跑、Databricks Connect不行的本质原因。

具体解决步骤 #

1. 移除本地代码里的无效配置 #

本地代码里的以下配置完全不需要，直接删掉：

• conf.set('spark.jars.packages', 'org.apache.hadoop:hadoop-aws:3.3.0')：Databricks集群默认自带适配版本的hadoop-aws库，手动指定版本会导致冲突
• conf.set('spark.hadoop.fs.s3a.access.key', ...) 和 conf.set('spark.hadoop.fs.s3a.secret.key', ...)：本地设置的密钥不会传到集群，而且硬编码密钥也不安全

简化后的代码如下：

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

df = spark.read.format("csv").option("header", True).load('s3a://container/path/to/file.csv')

df.show()

2. 给Databricks集群配置S3访问权限 #

推荐用IAM实例角色（安全且无需手动管理密钥），步骤如下：

• 给你的Databricks集群绑定一个具有S3读写权限的IAM实例角色，确保角色包含以下权限（根据需求调整）：
  • s3:GetObject
  • s3:ListBucket
  • s3:PutObject（如果需要写入）
• 创建集群时，在Instance Profile选项中选择这个角色即可

如果必须使用密钥（不推荐），则在集群的Spark配置里添加参数（而不是本地代码）：
在集群创建页面的Advanced Options > Spark > Spark config中添加：

spark.hadoop.fs.s3a.access.key <你的Access Key>
spark.hadoop.fs.s3a.secret.key <你的Secret Access Key>

3. 额外排查项 #

• 检查S3桶的访问策略，确保允许集群的实例角色（或密钥对应的IAM用户）执行HEAD、GET、LIST操作
• 确认Databricks集群所在的VPC是否能访问S3，若使用VPC端点，要确保端点配置正确
• 核对S3路径拼写，桶名、文件路径不能有错误

内容的提问来源于stack exchange，提问作者Minura Punchihewa