如何将VRLI中的日志提取并传输至Fluentd

VRLI（vRealize Log Insight）对接Fluentd的两类传输模式具体实现配置如下：

方案一：Fluentd 主动拉取 VRLI 日志 #

这个方案基于VRLI原生REST查询API实现，适合无VRLI转发配置权限、需要批量拉取历史日志的场景。

• 前置准备
  • 在VRLI控制台创建具备日志查询权限的服务账号，记录账号密码、VRLI服务访问地址（API默认服务端口为9543）
  • 提前确认需要拉取的日志过滤规则，比如日志来源、标签、字段筛选条件
• 插件安装
  在Fluentd节点执行以下命令安装http拉取插件：
  fluent-gem install fluent-plugin-http_pull
  离线环境可提前下载对应gem包上传至节点本地安装。
• Fluentd配置参考

  <source>
    @type http_pull
    tag vrli.pull.logs
    # 替换为实际VRLI地址，可拼接查询参数过滤指定日志
    url "https://<VRLI服务IP>:9543/api/v1/events?limit=1000"
    http_method get
    # 基础认证配置
    auth basic
    username <VRLI服务账号名>
    password <VRLI服务账号密码>
    # 拉取间隔建议不低于5s，避免触发API限流
    interval 10s
    # 游标文件记录上次拉取位置，避免重复拉取
    cursor_path /opt/fluentd/pos/vrli_cursor.pos
    # 自签名证书场景可添加ssl_verify false跳过校验，生产环境建议开启
    ssl_verify false
    <parse>
      @type json
    </parse>
  </source>
  

• 校验逻辑：配置完成后重启Fluentd服务，查看Fluentd日志无接口报错，同时可在输出端看到拉取到的VRLI日志即为配置生效。注意不要将拉取间隔设置低于3s，否则容易触发VRLI的API访问频率限制导致拉取失败。

方案二：VRLI 主动推送日志至 Fluentd #

这个方案基于VRLI原生日志转发能力实现，日志实时性更高、资源开销更小，适合生产环境常态化日志传输场景。

• Fluentd侧接收配置
  优先使用Fluentd Forward协议接收，性能优于HTTP/Syslog协议，配置参考如下：

  <source>
    @type forward
    # 服务监听端口，可自定义
    port 24224
    bind 0.0.0.0
    # 连接安全校验，配置的密钥需要和VRLI侧保持一致
    <security>
      self_hostname fluentd-server
      shared_key <自定义连接校验密钥>
    </security>
  </source>
  
  # 配置接收日志的匹配路由，可根据需求输出到ES、对象存储、Kafka等下游
  <match vrli.push.**>
    @type file
    path /data/fluentd/logs/vrli/%Y%m%d/
    append true
    <buffer time>
      timekey 1h
      flush_interval 5m
    </buffer>
  </match>
  

  配置完成后重启Fluentd，放通节点防火墙对应端口的入站规则。如果使用低版本VRLI无Fluentd转发选项，可将Fluentd输入源替换为syslog类型，监听514端口（需root权限启动Fluentd）接收RFC5424格式日志即可。
• VRLI侧转发配置
  1. 登录VRLI管理控制台，进入「管理-日志转发」配置页面，选择新建转发目标
  2. 目标类型选择Fluentd，填写Fluentd节点IP、之前配置的监听端口、连接校验密钥
  3. 配置转发过滤规则：可选择全量转发，也可按日志来源、标签、字段值筛选需要转发的日志范围
  4. 根据需要开启SSL传输加密，保存配置后VRLI会自动建立长连接开始实时推送日志
• 校验逻辑：在VRLI转发状态页查看目标连接状态为「已连接」，无推送失败计数，同时Fluentd侧可正常收到推送的日志事件即为配置生效。

选型参考：如果对日志端到端延迟要求在秒级、VRLI侧有管理权限，优先选主动推送模式；如果需要自定义拉取周期、同步历史归档日志、无VRLI管理权限，选主动拉取模式即可。

内容的提问来源于stack exchange，提问作者Shurik