Databricks-Spark：解决Secret Scope导致DataFrame被脱敏的问题

我们已在Databricks账户中注册了存储登录参数的Secret Scope，代码如下：

secret_scope = "My-Secret"
params = ["user", "password"]
conn_params = {param: dbutils.secrets.get(scope=secret_scope, key=param) for param in params}

打印conn_params的结果为：

{'user': '[REDACTED]', 'password': '[REDACTED]'}

使用该conn_params可正常连接数据源（如关系型数据库等），但用其创建Spark DataFrame时，DataFrame的所有数据均被脱敏，无法使用。示例代码如下：

# 示例代码结构...
with someConn(**conn_params) as conn:
     # 执行相关操作
...

result = df
df.show() 

若直接明文定义conn_params：

conn_params = {'user': 'me', 'password': 'pw'}

则可生成未脱敏的可用DataFrame。现寻求该问题的解决办法，官方文档相关内容不足。（当前使用PySpark，Scala方案也可）

内容的提问来源于stack exchange，提问作者Wonseok Choi