多租户AWS EKS下如何通过Fluentd配置CloudWatch按租户拆分日志流
EKS 环境下通过 Fluentd 实现 CloudWatch 按租户拆分日志流配置方案
要实现每个租户专属的CloudWatch日志流效果,核心是替换Fluentd原有基于Pod维度的日志流生成逻辑,从日志内容中提取租户标识,动态拼接服务+租户维度的日志流名称,具体配置步骤如下:
前置校验
- 所有多租户微服务输出结构化(优先JSON格式)日志,且日志内包含固定的租户标识字段(如
tenant_id、tenant_code) - 现有Fluentd部署支持自定义配置修改,可调整日志解析、过滤、输出的全链路规则
如果日志为非结构化文本,需提前通过正则匹配规则提取租户字段;无法识别租户的日志将自动进入兜底日志流,不会出现日志丢失。
具体配置调整
1. 新增日志提取过滤器
在容器日志解析完成后、日志发送至CloudWatch输出插件前,插入record_transformer过滤器,从日志记录中提取微服务名称、租户标识两个核心字段,并直接拼接生成日志流名称:
<filter **> @type record_transformer enable_ruby true <record> # 从Pod K8s标签中提取微服务名称,作为日志流前缀 service_tag ${record.dig('kubernetes', 'labels', 'app') || record.dig('kubernetes', 'container_name') || 'unknown_service'} # 从日志内容中提取租户ID,无匹配值时标记为unknown_tenant tenant_tag ${record.dig('tenant_id') || record.dig('kubernetes', 'tenant_id') || 'unknown_tenant'} # 拼接最终日志流名称,匹配示例要求的ServiceA_TenantA格式 stream_name "#{service_tag}_#{tenant_tag}" </record> </filter>
2. 调整CloudWatch输出规则
找到原有cloudwatch_logs输出插件的配置段,移除原有基于Pod名称的静态日志流命名规则,改为读取每条日志中提前拼好的stream_name字段,同时调整缓冲区分片规则保证日志按维度正确路由:
<match **> @type cloudwatch_logs @id cloudwatch_logs log_group_name /aws/eks/container-insights # 读取日志记录中预生成的日志流名称 log_stream_name_key stream_name # 开启自动创建日志流,无需预先在CloudWatch控制台手动新建对应流 auto_create_stream true <buffer> @type file path /var/log/fluentd/buffer/cloudwatch flush_interval 5s # 按服务名、租户名作为分片键,保证同维度日志被归入同一日志流 chunk_keys service_tag,tenant_tag chunk_limit_size 10m flush_mode interval retry_type exponential_backoff </buffer> </match>
注意:
chunk_keys是该配置里最容易遗漏的关键项,如果未将service_tag、tenant_tag设为缓冲区分片键,不同服务、不同租户的日志会被混在同一个缓冲区块中,最终全部投递到同一日志流,无法实现拆分效果。
3. 常见踩坑规避
- 不要将高基数字段(如用户ID、请求ID)拼入日志流名称,否则会导致日志流数量爆炸,触发CloudWatch Logs的流数量配额限制
- 配置调整后需检查原有的日志重写规则,避免之前配置的Pod级日志流规则覆盖新的动态命名逻辑
- 针对租户数量较多的场景,可配套设置定期清理长期无流量的
unknown_tenant、废弃租户对应的日志流,降低配额消耗
效果验证
配置加载生效后,发送两个不同租户的测试请求,在对应CloudWatch日志组下检查:
- 是否自动生成形如
ServiceA_TenantA、ServiceA_TenantB的专属日志流 - 每个日志流下的日志内容是否仅对应匹配的租户,无跨租户日志混入
- 未携带租户标识的测试日志是否正确流入
对应服务名_unknown_tenant的兜底流
内容的提问来源于stack exchange,提问作者Gautam Rajotya
相关产品推荐
相关产品推荐

