无法通过syslog在Fluentd处理日志并在InfluxDB可视化求助

已完成配置与环境 #

• 环境：M1芯片macOS，InfluxDB 2.4
• td-agent（Fluentd）、influxd、chronograf均正常运行，已配置syslog.conf的主机、密码、端口参数
• 完成Chronograf、rsyslog、InfluxDB、td-agent的基础配置
• 可通过命令创建InfluxDB数据库并写入测试数据：

  curl -i -X POST 'http://0.0.0.0:8888/write?db=test' --data-binary 'task,host=server01,region=europe-west1 value=1 1434055562000000000'
  

• 可在Chronograf中添加InfluxDB连接并访问「Explore」页面

核心问题 #

1. Chronograf中无syslog数据流入，无法可视化
2. 尝试使用Telegraf时出现两个报错：
   • database "telegraf" creation failed: 401 Unauthorized
   • [telegraf] Error running agent: starting input inputs.syslog: listen tcp 127.0.0.1:6514: bind: address already in use

解决方案 #

一、修复Telegraf的两个报错 #

1. 端口占用问题（6514端口被占用）

• 先排查占用6514端口的进程：

  lsof -i :6514
  

• 大概率是rsyslog或td-agent已在监听该端口，根据你的链路逻辑调整：
  • 若用Fluentd接收syslog，修改Telegraf的syslog输入端口（比如改为6515），在telegraf.conf中调整：

    [[inputs.syslog]]
      server = "tcp://127.0.0.1:6515"
      # 按需切换UDP模式：server = "udp://127.0.0.1:6515"
    

  • 若改用Telegraf接收syslog，停止占用6514端口的服务（如rsyslog）并确保链路一致

2. InfluxDB 2.4 401未授权问题

InfluxDB 2.x与1.x API差异极大，需调整Telegraf为2.x认证逻辑：

• 在telegraf.conf中配置outputs.influxdb_v2（注意是v2，而非v1）：

  [[outputs.influxdb_v2]]
    urls = ["http://localhost:8086"]
    token = "你的InfluxDB 2.4 API Token"
    organization = "你的组织名"
    bucket = "telegraf"
  

• 提前在InfluxDB 2.4中创建telegraf bucket、对应组织，并确保API Token拥有该bucket的读写权限

二、解决Fluentd处理后无syslog数据流入的问题 #

1. 验证Fluentd是否收到syslog数据

• 查看td-agent日志，检查是否有syslog条目：

  tail -f /usr/local/var/log/td-agent/td-agent.log | grep syslog
  

• 检查rsyslog配置（如/etc/rsyslog.conf或/etc/rsyslog.d/下的文件），确保日志已转发到Fluentd监听端口：

  *.* @127.0.0.1:5140;RSYSLOG_SyslogProtocol23Format
  

  该端口需与Fluentd syslog输入插件的端口一致，比如Fluentd配置：

  <source>
    @type syslog
    port 5140
    bind 0.0.0.0
    tag syslog
  </source>
  

• 手动发送测试syslog验证接收：

  logger -n 127.0.0.1 -P 5140 "test syslog message from logger"
  

  再次查看td-agent日志确认是否收到

2. 验证Fluentd是否正确写入InfluxDB 2.4

• 旧版Fluentd influxdb插件仅支持1.x，需安装适配2.x的插件：

  td-agent-gem install fluent-plugin-influxdb2
  

• 修改Fluentd输出配置为influxdb2格式：

  <match syslog.**>
    @type influxdb2
    url "http://localhost:8086"
    token "你的InfluxDB 2.4 API Token"
    org "你的组织名"
    bucket "syslog_bucket"
    time_precision "ms"
    <buffer>
      @type memory
      flush_interval 10s
    </buffer>
  </match>
  

• 重启td-agent：

  brew services restart td-agent
  

• 查看td-agent日志，排查是否有写入错误（如认证失败、bucket不存在）

3. 验证Chronograf连接配置

• 在Chronograf中添加InfluxDB 2.x类型连接，填入正确的URL、Token、Organization，选择对应的syslog_bucket
• 在「Explore」页面，确认选择了正确的bucket和measurement（Fluentd默认写入的measurement为syslog，可在配置中通过measurement参数指定）

内容的提问来源于stack exchange，提问作者SSV