如何在Druid日志中隐藏S3凭证？环境变量方式未生效

咱们先梳理下你遇到的核心问题：直接在job.properties里明文配置S3密钥会被打印到日志里，存在安全风险，而你之前尝试的环境变量引用方式因为协议不匹配没生效。下面给你几个可行的解决方案，按安全优先级从高到低排序：

方案一：用IAM角色（AWS环境首选，零密钥配置） #

如果你的Druid运行在AWS的EC2、EKS或者其他托管服务上，这是最安全省心的方式——给运行Druid的实例/ Pod绑定一个具有S3访问权限的IAM角色，不需要配置任何密钥，S3AFileSystem会自动获取临时凭证。

修改job.properties如下：

"jobProperties" : { 
  "fs.s3a.impl" : "org.apache.hadoop.fs.s3a.S3AFileSystem", 
  "fs.AbstractFileSystem.s3a.impl" : "org.apache.hadoop.fs.s3a.S3A",
  "fs.s3a.auth.type" : "instance"
}

注意：要确保IAM角色拥有目标S3桶的必要权限（比如s3:GetObject、s3:ListBucket等），这样Druid才能正常访问S3数据。

方案二：使用Hadoop凭证提供者（生产环境推荐） #

Hadoop的凭证提供者可以把密钥存储在加密的凭证文件中，避免明文暴露。步骤如下：

1. 用Hadoop命令创建加密的凭证文件（替换路径为你实际要存储的位置）：

hadoop credential create fs.s3a.access.key -provider jceks://file/opt/druid/credentials/s3-creds.jceks
hadoop credential create fs.s3a.secret.key -provider jceks://file/opt/druid/credentials/s3-creds.jceks

执行命令时会提示你输入对应的密钥，输入后密钥会加密存储在文件里。

2. 修改job.properties引用这个凭证文件：

"jobProperties" : { 
  "fs.s3a.impl" : "org.apache.hadoop.fs.s3a.S3AFileSystem", 
  "fs.AbstractFileSystem.s3a.impl" : "org.apache.hadoop.fs.s3a.S3A", 
  "hadoop.security.credential.provider.path" : "jceks://file/opt/druid/credentials/s3-creds.jceks",
  "fs.s3a.access.key" : "",
  "fs.s3a.secret.key" : ""
}

安全提示：给凭证文件设置严格的权限（比如chmod 600），只允许Druid运行用户读取，避免其他用户访问。

方案三：使用Druid环境变量引用语法（快速解决） #

Druid支持在配置中用${环境变量名}的方式引用环境变量，这样配置文件里不会明文写密钥，日志里只会打印变量名。

首先确保运行Druid的进程能获取到环境变量：

export AWS_ACCESS_KEY_ID=YOUR_ACCESS_KEY
export AWS_SECRET_ACCESS_KEY=YOUR_SECRET_KEY

（如果是长期运行，建议把这两行加到Druid的启动脚本里，或者配置到系统环境变量/容器环境变量中）

然后修改job.properties为：

"jobProperties" : { 
  "fs.s3a.impl" : "org.apache.hadoop.fs.s3a.S3AFileSystem", 
  "fs.AbstractFileSystem.s3a.impl" : "org.apache.hadoop.fs.s3a.S3A", 
  "fs.s3a.access.key" : "${AWS_ACCESS_KEY_ID}", 
  "fs.s3a.secret.key" : "${AWS_SECRET_ACCESS_KEY}" 
}

为啥之前的尝试没生效？ 因为你配置的是fs.s3和fs.s3n的变量引用，但实际用的是s3a协议，所以这些配置根本没被用到，换成s3a的配置项就可以了。

内容的提问来源于stack exchange，提问作者SRN