使用Fluent Bit向AWS OpenSearch传日志遇401错误求助

问题详情 #

我通过Helm Charts在Kubernetes中部署Fluent Bit，将日志流式传输至AWS OpenSearch，输出配置如下：

[OUTPUT]
    Name opensearch
    Match *
    Host aws-domain-name.region.es.amazonaws.com
    Port 443
    Index k8s-index
    Type my_type
    tls on
    tls.verify off
    HTTP_User redacted
    HTTP_Passwd redacted

但遇到如下错误：

[2022/09/27 11:52:19] [error] [output:opensearch:opensearch.0] HTTP status=401 URI=/_bulk

该OpenSearch用户已配置all_access权限，原本采用IAM角色部署，为简化排查改为HTTP用户名密码认证，但问题依旧。

排查方案 #

1. 验证用户名密码有效性 #

直接进入Fluent Bit Pod内部，用curl测试OpenSearch的认证是否正常：

curl -u "redacted:redacted" -X GET "https://aws-domain-name.region.es.amazonaws.com/_cat/indices?v"

如果此处也返回401，说明用户名密码存在错误，或者用户本身未启用、密码过期。

2. 检查OpenSearch域访问策略 #

即使用户拥有all_access权限，AWS OpenSearch的域访问策略可能限制了请求来源。前往AWS控制台确认域访问策略是否允许Kubernetes集群的出口IP段，测试阶段可临时放开至允许所有IP（排查完成后再收紧）。

3. 修正Fluent Bit配置问题 #

• 删除Type my_type配置项：OpenSearch 7.x及以上版本已废弃文档类型（Type），指定该参数可能导致请求异常。
• 核对Host域名：确保域名拼写完全匹配AWS控制台显示的OpenSearch域名，包括区域后缀和前缀。
• 添加TLS证书路径：部分环境下需指定CA证书，可在配置中添加一行tls.ca_file /etc/ssl/certs/ca-certificates.crt（适用于基于Debian/Ubuntu镜像的Fluent Bit Pod）。

4. 确认版本兼容性 #

确保Fluent Bit版本与AWS OpenSearch版本兼容，例如OpenSearch 2.x需搭配Fluent Bit 1.9及以上版本，旧版本的OpenSearch输出插件可能存在认证逻辑bug。

5. 查看OpenSearch审计日志 #

在AWS控制台开启OpenSearch审计日志，日志会记录401错误的具体原因（如权限不足、认证方式不匹配等），帮助快速定位问题。

内容的提问来源于stack exchange，提问作者Shaun