GCP监控日志代理google-fluentd内存持续增长如何处理及根因排查

内存持续上涨的核心原因 #

这个现象绝大多数情况不是Fluentd的原生bug，主要和默认配置的缓冲策略有关：

• 日志上传速度跟不上生产速度：当实例每秒产生的日志量超过Fluentd到GCP日志服务的上传速率，或者遇到网络波动、配额限制导致上传失败时，未发送的日志会暂存在内存缓冲队列里，默认配置没有设置严格的内存缓冲上限，就会导致内存持续上涨。
• 未开启落盘缓冲：默认的Google Fluentd配置使用内存作为缓冲存储，没有配置落盘 fallback，所有待发送日志都存在内存中，累积量高了就会占用大量内存。
• 第三方插件问题：如果配置了自定义的Fluentd输入、过滤或输出插件，部分老旧版本的第三方插件可能存在内存泄漏问题，官方默认的GCP日志输出插件出现这类问题的概率极低。

永久阻止内存上涨的配置调整 #

修改Google Fluentd的主配置文件/etc/google-fluentd/google-fluentd.conf，找到输出到GCP日志服务的<match>配置段，添加缓冲限制规则：

<match **>
  @type google_cloud
  # 新增缓冲配置段
  <buffer>
    # 单个日志块最大10MB
    chunk_limit_size 10MB
    # 总内存缓冲最大512MB，可根据实例内存调整
    total_limit_size 512MB
    # 并发上传线程数
    flush_thread_count 2
    # 每5秒强制上传一次
    flush_interval 5s
    # 上传失败最大重试间隔30秒
    retry_max_interval 30
    # 失败重试最长1小时，超过则丢弃该日志块
    retry_timeout 1h
  </buffer>
</match>

如果允许日志暂存到磁盘，也可以把缓冲类型改为文件缓冲，进一步降低内存占用，只需要把上面<buffer>段的第一行改为@type file，再额外添加path /var/log/google-fluentd/buffer指定缓冲文件存储路径即可。
配置修改完成后执行systemctl restart google-fluentd重启服务生效。

自动重置内存占用的配置 #

如果不需要调整缓冲策略，可以配置systemd服务阈值，当Google Fluentd内存占用超过阈值时自动重启：

1. 编辑服务文件/etc/systemd/system/multi-user.target.wants/google-fluentd.service，在[Service]段添加如下配置：

Restart=always
# 内存超过1GB时自动重启，可根据实例配置调整
MemoryLimit=1G

2. 执行命令加载配置并重启服务：
   systemctl daemon-reload && systemctl restart google-fluentd

问题排查验证 #

如果调整配置后内存仍然持续上涨，可以执行google-fluentd-gem list查看已安装的第三方插件，逐个禁用测试确认是否存在插件内存泄漏。如果使用的是官方最新版的Google Fluentd且没有自定义插件，基本可以排除原生bug的可能。

内容的提问来源于stack exchange，提问作者Komal