在写入文件时脱敏密钥/机密 - Azure Databricks

dbutils.fs.put()本身没有内置的自动脱敏功能，没法直接在写入操作里对内容中的API Key做脱敏处理，但可以用Databricks生态里的原生工具实现自动脱敏，不用手动移除：

• 利用Databricks Secrets管理（推荐）
  不要把API Key明文写入文件，而是将其存储在Databricks Secrets中，写入文件时只留占位符，后续读取文件时通过dbutils.secrets.get()动态获取真实Key。比如写入配置文件时：

  # 写入带占位符的配置内容
  config_content = """
  api_endpoint = "https://api.example.com"
  api_key = "{{secrets/my_scope/my_api_key}}"
  """
  dbutils.fs.put("/path/to/config.conf", config_content)
  

  之后使用时再替换占位符获取真实Key，从根源上避免明文Key出现在文件中。

• 用Spark原生函数自动替换脱敏
  如果必须写入包含Key的内容但需要脱敏，用Spark的regexp_replace函数自动匹配并替换Key为脱敏字符串，比手动移除更可靠：

  from pyspark.sql.functions import regexp_replace
  
  # 假设原始内容存在content变量中，Key格式为sk_开头的字符串
  raw_content = "API Key: sk_abc123def456, endpoint: https://api.example.com"
  # 匹配并替换Key为脱敏形式
  desensitized_content = regexp_replace(raw_content, r'sk_[a-zA-Z0-9]+', 'sk_***')
  # 写入脱敏后的内容
  dbutils.fs.put("/path/to/output.txt", desensitized_content)
  

  这种方式是通过原生函数自动处理，不属于手动移除的范畴，能批量处理内容中的Key。

内容的提问来源于stack exchange，提问作者noname