FluentBit向Splunk推送日志时遇TLS意外EOF错误求助

问题描述 #

在Kubernetes集群同一命名空间的不同Pod中运行FluentBit服务，尝试向Splunk推送日志时，遇到TLS意外EOF错误，导致日志无法成功发送。

报错信息 #

[error] [tls] error: unexpected EOF

FluentBit配置 #

[OUTPUT]
    Name splunk
    Match *
    Host splunk-deployment-server-service.devnm.svc
    Port 8088
    storage.total_limit_size 10M
    splunk_token Splunk e2c0fc05-d64e-49ce-9094-10617a7528c8
    tls on
    tls.verify off
    tls.debug 4

版本信息 #

• Splunk 9.1.0.1
• Fluent Bit v2.0.4

排查建议 #

• 检查Splunk HEC端口的TLS配置：Splunk HEC默认8088端口启用TLS，但需确认Splunk端是否实际在该端口提供TLS服务。可临时将FluentBit配置中的tls on改为tls off测试，若能正常发送日志，说明Splunk端8088端口未启用TLS。
• 修正splunk_token格式：配置中splunk_token包含Splunk 前缀，部分FluentBit版本的Splunk插件仅需令牌本身，尝试修改为splunk_token e2c0fc05-d64e-49ce-9094-10617a7528c8后重试。
• 验证网络连通性：在FluentBit Pod内执行curl -v https://splunk-deployment-server-service.devnm.svc:8088/services/collector，查看连接过程是否出现EOF或其他异常，确认同命名空间Service的访问是否正常。
• 查看Splunk端日志：检查Splunk安装目录下的$SPLUNK_HOME/var/log/splunk/splunkd.log，查找HEC相关的连接失败记录，比如证书问题、令牌无效、连接中断等信息。
• 升级FluentBit版本：v2.0.4属于较旧版本，后续版本可能修复了Splunk插件的TLS相关bug，建议升级到最新稳定版（如v2.2.x系列）后测试。

内容的提问来源于stack exchange，提问作者Balaji Krishnan