Fluentd配置ElasticSearch Output报[401] Unauthorized但curl访问正常

根因分析 #

最核心的触发原因为配置语法错误：你当前使用的%{user}、%{pass}是Logstash的变量引用语法，Fluentd本身不识别该格式，导致实际发送给Elasticsearch的账号密码为无效值，因此返回401未授权。而你手动执行curl时直接传入了正确的凭证，所以可以正常访问。
其他可能的辅助原因：

• 环境变量作用域问题：若你将账号密码配置在当前登录的centos用户的环境变量中，Fluentd服务通常以独立用户（如td-agent）运行，无法读取普通用户的环境变量配置
• 密码特殊字符未转义：若账号密码包含#、@、&等Fluentd配置保留字符，未加引号包裹会被解析器截断，导致传递的凭证不完整
• 插件参数格式错误：部分旧版本Fluentd elasticsearch输出插件要求凭证参数显式包裹引号，否则会识别为字符串模板而非实际值

排查步骤 #

• 先将配置中user和password字段替换为硬编码的真实凭证，重启Fluentd验证是否可以正常连接。如果恢复正常，即可确认是变量引用或环境变量读取问题
• 开启Fluentd debug日志，查看发送给ES的请求头中Authorization字段值，将该Base64值解码验证是否为正确的账号:密码格式
• 执行ps aux | grep fluentd确认Fluentd运行用户，切换到对应用户执行echo $ES_USER（对应你定义的环境变量名）验证变量是否可以正常读取

解决方案 #

1. 修正变量引用语法
   Fluentd读取环境变量的标准语法为#{ENV['变量名']}，将原配置中的%{user}、%{pass}替换为对应格式，示例：

<store>
  @type elasticsearch
  user "#{ENV['ES_USER']}"
  password "#{ENV['ES_PASS']}"
  host <domain>.eu-west-1.es.amazonaws.com
  port 443
  scheme https
  logstash_format true
  ssl_verify false
</store>

2. 配置服务可见的环境变量
   若使用systemd部署Fluentd/td-agent，在对应环境配置文件中定义变量：

• CentOS/RHEL 路径：/etc/sysconfig/td-agent
• Debian/Ubuntu 路径：/etc/default/td-agent
  在文件末尾添加：

ES_USER=你的Elasticsearch账号
ES_PASS=你的Elasticsearch密码

3. 特殊字符处理
   若密码包含特殊字符，需使用单引号包裹变量或硬编码值，避免解析错误：

password '#{ENV['ES_PASS']}'

修改完成后重启Fluentd服务即可生效。

内容的提问来源于stack exchange，提问作者João Cardoso