Promtail如何解析经logrotate轮转后的gzip压缩格式日志文件
Promtail读取gzip压缩轮转日志最优解决方案
最优方案:使用Promtail原生gzip解压能力
Promtail 2.7及以上版本已经原生支持读取gzip格式的压缩日志文件,无需额外第三方工具或手动操作,是场景2的首选方案,配置方法如下:
在Promtail的scrape_configs对应任务中增加decompression配置段即可:
scrape_configs: - job_name: your_log_job # 开启gzip解压配置 decompression: enabled: true format: gzip static_configs: - targets: - localhost labels: job: someother_gz_logs __path__: /你的日志路径/someother-*.log.gz
注意事项:
- 该配置会自动识别后缀为
.gz的gzip压缩文件,边解压边读取,不会修改原压缩文件 - Promtail的positions文件会自动记录压缩文件的读取偏移,不会出现重复消费或者漏读的问题
- 无需对现有logrotate轮转压缩逻辑做任何修改
备选方案(适用于无法升级Promtail版本的场景)
方案1:直接读取未压缩的活跃日志,无需重置positions文件
你之前提到的「轮转压缩前读取someother.log」方案,实际上不需要每日重置positions文件:
Promtail默认通过文件inode而非文件名识别日志文件,当日志轮转触发时,旧的someother.log被重命名为带日期的文件并压缩,新的someother.log生成,Promtail会自动检测到inode变化,继续读取新生成的活跃日志,全程不需要手动修改positions文件,也不会漏读日志。
仅需在Promtail配置的tail_config中保证开启follow: true(默认已开启)即可。
方案2:自动化解压清理脚本替代手动操作
如果必须要读取历史压缩文件,可以将你之前的手动操作封装为定时脚本,通过crontab自动执行:
- 新建日志处理脚本
log_decompress.sh:
#!/bin/bash LOG_PATH="/你的日志路径/" # 解压前一天生成的压缩日志 find ${LOG_PATH} -name "someother-$(date -d 'yesterday' +%Y-%m-%d).log.gz" -exec gzip -d {} \; # 删除7天以上的解压后日志文件 find ${LOG_PATH} -name "someother-*.log" -mtime +7 -delete
- 给脚本添加执行权限:
chmod +x log_decompress.sh - 配置crontab每日凌晨自动执行:
# 执行crontab -e新增以下规则,每天1点执行脚本 0 1 * * * /path/to/log_decompress.sh
内容的提问来源于stack exchange,提问作者mike-lam
相关产品推荐
相关产品推荐

