如何在Databricks中不使用boto3将Python文件写入S3且不暴露密钥？

核心思路 #

利用Databricks内置的Spark配置和秘密管理功能存储AWS凭证，直接使用PySpark或Databricks文件系统工具（dbutils.fs）写入S3，全程无需硬编码密钥或依赖boto3。

步骤1：安全配置AWS凭证（二选一） #

集群级持久化配置（推荐） #

通过集群配置全局注入凭证，整个集群的Notebook都能直接使用，无需在代码中处理密钥：

1. 进入Databricks集群详情页，点击「高级选项」→「Spark」
2. 在「Spark配置」文本框中添加两行配置（替换为你的密钥）：

   spark.hadoop.fs.s3a.access.key YOUR_AWS_ACCESS_KEY
   spark.hadoop.fs.s3a.secret.key YOUR_AWS_SECRET_KEY
   

3. 重启集群使配置生效

Notebook级临时配置（灵活场景） #

如果不想修改集群配置，用Databricks秘密范围存储密钥，在Notebook中安全引用：

1. 先创建秘密范围（通过Databricks UI或CLI），将AWS access key和secret key分别存入，例如范围名aws-s3-secrets，密钥名s3-access-key、s3-secret-key
2. 在Notebook中执行以下代码注入配置（无明文密钥）：

   spark.conf.set("spark.hadoop.fs.s3a.access.key", dbutils.secrets.get(scope="aws-s3-secrets", key="s3-access-key"))
   spark.conf.set("spark.hadoop.fs.s3a.secret.key", dbutils.secrets.get(scope="aws-s3-secrets", key="s3-secret-key"))
   

步骤2：写入S3（无需boto3） #

方案1：写入PySpark DataFrame（推荐，适合结构化数据） #

直接使用Spark的write API，路径以s3a://开头：

# 示例：将DataFrame写入S3的Parquet文件（支持csv/json/delta等格式）
df.write.format("parquet") \
  .mode("overwrite")  # 可选：append/ignore/error
  .save("s3a://your-bucket-name/path/to/target/dir/")

方案2：写入本地生成的文件（适合非结构化/小文件） #

用dbutils.fs工具复制Databricks本地存储（dbfs）的文件到S3：

# 1. 先将数据写入Databricks临时存储（/dbfs是本地文件系统映射）
with open("/dbfs/tmp/my_local_file.csv", "w") as f:
    f.write("name,age\nAlice,30\nBob,25\n")

# 2. 复制到S3
dbutils.fs.cp("dbfs:/tmp/my_local_file.csv", "s3a://your-bucket-name/target/path/my_local_file.csv")

安全注意事项 #

• 绝对不要在代码、注释或Notebook输出中暴露明文密钥
• 秘密范围需设置严格权限，仅授权必要的用户/集群访问
• 进阶方案：给Databricks集群绑定IAM角色，无需使用access key/secret key，安全性更高

内容的提问来源于stack exchange，提问作者harry