Databricks社区版是否支持Secrets？ETL项目密钥管理咨询

核心结论 #

Databricks社区版不支持Secrets功能——Secrets属于Databricks付费/企业级特性，社区版没有权限使用该服务。以下是适配社区版的安全方案，同时兼顾简历项目的展示效果：

方案1：会话级环境变量（简单易展示） #

社区版支持通过%env魔法命令设置会话级环境变量，代码中通过os.getenv()读取，避免硬编码密钥。展示时可单独用一个单元格配置变量（演示时可隐藏输入的密钥值），突出安全实践。

示例代码：

# 单独单元格配置环境变量（展示时可说明此步骤为安全配置，不硬编码）
%env AWS_ACCESS_KEY_ID=your_access_key_here
%env AWS_SECRET_ACCESS_KEY=your_secret_key_here

# 业务代码中读取变量
import os
from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("RealEstateETL").getOrCreate()

# 获取密钥
aws_access_key = os.getenv("AWS_ACCESS_KEY_ID")
aws_secret_key = os.getenv("AWS_SECRET_ACCESS_KEY")

# 写入DynamoDB
cleaned_df.write \
  .format("dynamodb") \
  .option("aws.accessKeyId", aws_access_key) \
  .option("aws.secretAccessKey", aws_secret_key) \
  .option("dynamodb.tableName", "RealEstateData") \
  .mode("overwrite") \
  .save()

方案2：加密配置文件（进阶安全展示） #

如果想体现更强的安全意识，可在本地加密AWS密钥文件，上传至Databricks DBFS，代码中解密读取。这种方式适合简历中展示安全编码能力。

步骤：

1. 本地用cryptography库加密密钥：

from cryptography.fernet import Fernet

# 生成加密密钥（保存此密钥，后续用环境变量传入）
key = Fernet.generate_key()
cipher_suite = Fernet(key)

# 加密AWS密钥
creds = b"your_access_key,your_secret_key"
encrypted_creds = cipher_suite.encrypt(creds)

# 保存加密文件，上传至DBFS（比如/dbfs/FileStore/config/encrypted_creds.txt）
with open("encrypted_creds.txt", "wb") as f:
    f.write(encrypted_creds)

2. Databricks笔记本中读取解密：

from cryptography.fernet import Fernet
import os

# 用环境变量传入加密密钥
encryption_key = os.getenv("ENCRYPTION_KEY")
cipher_suite = Fernet(encryption_key)

# 读取DBFS上的加密文件
with open("/dbfs/FileStore/config/encrypted_creds.txt", "rb") as f:
    encrypted_creds = f.read()

# 解密并拆分密钥
decrypted_creds = cipher_suite.decrypt(encrypted_creds).decode()
aws_access_key, aws_secret_key = decrypted_creds.split(",")

# 后续写入DynamoDB的代码同方案1

方案3：切换至Databricks免费试用版（专业级展示） #

如果希望完全模拟企业级安全流程，可申请Databricks免费试用版（非社区版），试用版支持完整的Secrets Manager功能，能规范存储和读取AWS令牌，更适合简历展示专业度。

示例代码：

# 通过Secrets读取密钥
aws_access_key = dbutils.secrets.get(scope="aws_credentials", key="access_key")
aws_secret_key = dbutils.secrets.get(scope="aws_credentials", key="secret_key")

# 写入DynamoDB
cleaned_df.write \
  .format("dynamodb") \
  .option("aws.accessKeyId", aws_access_key) \
  .option("aws.secretAccessKey", aws_secret_key) \
  .option("dynamodb.tableName", "RealEstateData") \
  .mode("overwrite") \
  .save()

内容的提问来源于stack exchange，提问作者lengthy_preamble