You need to enable JavaScript to run this app. 多租户AWS EKS下如何通过Fluentd配置CloudWatch按租户拆分日志流
优惠活动
大模型
产品
解决方案
定价
更多

多租户AWS EKS下如何通过Fluentd配置CloudWatch按租户拆分日志流

EKS 环境下通过 Fluentd 实现 CloudWatch 按租户拆分日志流配置方案

要实现每个租户专属的CloudWatch日志流效果,核心是替换Fluentd原有基于Pod维度的日志流生成逻辑,从日志内容中提取租户标识,动态拼接服务+租户维度的日志流名称,具体配置步骤如下:

前置校验

  • 所有多租户微服务输出结构化(优先JSON格式)日志,且日志内包含固定的租户标识字段(如tenant_id、tenant_code)
  • 现有Fluentd部署支持自定义配置修改,可调整日志解析、过滤、输出的全链路规则

如果日志为非结构化文本,需提前通过正则匹配规则提取租户字段;无法识别租户的日志将自动进入兜底日志流,不会出现日志丢失。

具体配置调整

1. 新增日志提取过滤器

在容器日志解析完成后、日志发送至CloudWatch输出插件前,插入record_transformer过滤器,从日志记录中提取微服务名称、租户标识两个核心字段,并直接拼接生成日志流名称:

<filter **>
  @type record_transformer
  enable_ruby true
  <record>
    # 从Pod K8s标签中提取微服务名称,作为日志流前缀
    service_tag ${record.dig('kubernetes', 'labels', 'app') || record.dig('kubernetes', 'container_name') || 'unknown_service'}
    # 从日志内容中提取租户ID,无匹配值时标记为unknown_tenant
    tenant_tag ${record.dig('tenant_id') || record.dig('kubernetes', 'tenant_id') || 'unknown_tenant'}
    # 拼接最终日志流名称,匹配示例要求的ServiceA_TenantA格式
    stream_name "#{service_tag}_#{tenant_tag}"
  </record>
</filter>

2. 调整CloudWatch输出规则

找到原有cloudwatch_logs输出插件的配置段,移除原有基于Pod名称的静态日志流命名规则,改为读取每条日志中提前拼好的stream_name字段,同时调整缓冲区分片规则保证日志按维度正确路由:

<match **>
  @type cloudwatch_logs
  @id cloudwatch_logs
  log_group_name /aws/eks/container-insights
  # 读取日志记录中预生成的日志流名称
  log_stream_name_key stream_name
  # 开启自动创建日志流,无需预先在CloudWatch控制台手动新建对应流
  auto_create_stream true
  <buffer>
    @type file
    path /var/log/fluentd/buffer/cloudwatch
    flush_interval 5s
    # 按服务名、租户名作为分片键,保证同维度日志被归入同一日志流
    chunk_keys service_tag,tenant_tag
    chunk_limit_size 10m
    flush_mode interval
    retry_type exponential_backoff
  </buffer>
</match>

注意:chunk_keys 是该配置里最容易遗漏的关键项,如果未将service_tag、tenant_tag设为缓冲区分片键,不同服务、不同租户的日志会被混在同一个缓冲区块中,最终全部投递到同一日志流,无法实现拆分效果。

3. 常见踩坑规避

  • 不要将高基数字段(如用户ID、请求ID)拼入日志流名称,否则会导致日志流数量爆炸,触发CloudWatch Logs的流数量配额限制
  • 配置调整后需检查原有的日志重写规则,避免之前配置的Pod级日志流规则覆盖新的动态命名逻辑
  • 针对租户数量较多的场景,可配套设置定期清理长期无流量的unknown_tenant、废弃租户对应的日志流,降低配额消耗

效果验证

配置加载生效后,发送两个不同租户的测试请求,在对应CloudWatch日志组下检查:

  • 是否自动生成形如ServiceA_TenantA、ServiceA_TenantB的专属日志流
  • 每个日志流下的日志内容是否仅对应匹配的租户,无跨租户日志混入
  • 未携带租户标识的测试日志是否正确流入对应服务名_unknown_tenant的兜底流

内容的提问来源于stack exchange,提问作者Gautam Rajotya

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.25 01:57:02