Azure Synapse Sparkr Notebook：如何从ADLS Gen2加载含凭证的.yaml文件

可以在Azure Synapse SparkR Notebook中加载.yaml文件，核心是借助R的yaml包解析文件内容，同时结合Synapse对ADLS Gen2的访问机制读取存储的凭证文件，具体步骤如下：

1. 安装并加载yaml依赖包 #

首先在SparkR Notebook中完成yaml包的安装与加载（仅首次运行需要安装）：

# 安装yaml包
install.packages("yaml")
# 加载yaml包
library(yaml)

2. 配置ADLS Gen2访问权限 #

确保你的Spark会话具备目标ADLS Gen2目录的读取权限，推荐使用以下两种安全访问方式：

• 托管标识：启用Synapse工作区的托管标识，并在ADLS Gen2的容器/目录中为其配置存储 Blob 数据读取者等RBAC权限
• 服务主体：在Synapse中配置ADLS Gen2链接服务，或通过Spark配置注入应用ID、密钥及租户ID

3. 读取ADLS Gen2中的.yaml凭证文件 #

方法一：通过SparkR文本API读取后解析 #

先将yaml文件读取为文本数据，再拼接成完整字符串进行解析：

# 定义ADLS Gen2文件路径（格式：abfss://<容器名>@<存储账户名>.dfs.core.windows.net/<文件路径>）
yaml_file_path <- "abfss://mycontainer@mystorageacc.dfs.core.windows.net/credentials/db_creds.yaml"

# 读取yaml文件为文本数据框
yaml_text_df <- spark_read_text(sc, path = yaml_file_path)

# 将数据框内容拼接为完整字符串
yaml_content <- paste(yaml_text_df$value, collapse = "\n")

# 解析yaml内容为R列表
credential_list <- yaml.load(yaml_content)

# 调用凭证示例：获取数据库用户名
print(credential_list$db_username)

方法二：直接使用yaml包的read_yaml函数 #

若已完成ADLS Gen2的访问配置（如链接服务、Spark权限配置），可直接调用read_yaml读取文件：

yaml_file_path <- "abfss://mycontainer@mystorageacc.dfs.core.windows.net/credentials/storage_creds.yaml"

# 直接读取并解析yaml文件
credential_list <- read_yaml(yaml_file_path)

# 调用凭证示例：获取存储账户密钥
print(credential_list$storage_account_key)

关键注意事项 #

• 确保.yaml文件格式无语法错误，否则会导致解析失败
• 生产环境禁止使用存储账户密钥硬编码的方式访问ADLS Gen2，优先选择托管标识或服务主体
• 若遇到权限报错，检查Synapse工作区的访问权限配置，以及ADLS Gen2的RBAC角色分配

内容的提问来源于stack exchange，提问作者CFCJB John