如何通过Fluent-Bit将日志按原文件名上传至S3 Bucket？

问题根源 #

当前所有日志合并到单个S3文件的原因：

1. INPUT段的Tag使用通配符*.logs，导致所有日志被归为同一处理分组
2. OUTPUT段开启static_file_path限制了路径动态生成，且未配置按原文件名分割临时文件的规则

核心修改：实现按原文件名独立存储 #

1. 调整INPUT配置（生成唯一文件标识） #

将Tag改为包含文件名的动态值，确保每个日志文件拥有独立的处理标签：

[INPUT]
Name              tail
Path              /mnt/Server_Logs/*.log
Read_from_Head    true
Path_Key          filename
Refresh_Interval  5
Tag               logs.%f  # %f 会替换为日志文件名，生成如 logs.access.log 这类唯一Tag

2. 修改OUTPUT配置（关联原文件名存储） #

关闭静态路径限制，配置按原文件名分割上传，并指定临时文件标识：

[OUTPUT]
Name                           s3
Match                          logs.*  # 匹配所有以logs.开头的Tag
region                         ap-south-1
use_put_object                 On
total_file_size                10M
upload_timeout                 10m
preserve_data_ordering         true
store_dir                      /tmp/fluent-bit/s3
bucket                         bitbucket
static_file_path               Off  # 关闭静态路径，允许动态生成S3对象路径
s3_key_format                  /fluent-bit-logs/$filename  # 直接用原文件名作为S3对象路径
file_key                       $filename  # 按原文件名分割本地临时文件，避免合并
rotate_on_open                 On  # 新打开的日志文件立即创建独立的临时文件

配置优化方案 #

1. 大日志文件分割归档 #

如果单日志文件体积过大，可按时间+文件名分割，避免S3对象过大：

[OUTPUT]
# 保留上述核心配置，新增以下参数
timekey                        3600  # 每小时分割一次
timekey_wait                   10m   # 等待10分钟确保所有该小时的日志都被收集
s3_key_format                  /fluent-bit-logs/%Y/%m/%d/$filename_%H  # 按日期+小时归档，如 /fluent-bit-logs/2024/05/20/access.log_14

2. 资源与性能优化 #

• 限制INPUT内存缓冲区，避免内存溢出：
  在INPUT段添加 Mem_Buf_Limit 50M
• 启用多线程上传，提升S3上传效率：
  在OUTPUT段添加 workers 2
• 跳过超长日志行，避免处理异常：
  在INPUT段添加 Skip_Long_Lines On

3. 上传可靠性保障 #

• 添加重试机制，确保上传失败时自动重试：
  在OUTPUT段添加 Retry_Limit 3 和 Retry_Wait 5s
• 启用本地缓存，上传失败时暂存到本地，避免日志丢失：
  确保store_dir配置的目录有足够磁盘空间，Fluent-Bit会自动重试上传缓存的文件

4. 调试与监控 #

• 在OUTPUT段添加 log_level info，便于排查上传过程中的问题
• 可添加[FILTER]段为日志添加额外元数据（如主机名）：

[FILTER]
Name                record_modifier
Match               logs.*
Record              hostname ${HOSTNAME}

内容的提问来源于stack exchange，提问作者Sahib