Loki存储迁移、数据轮转及历史日志推送问题咨询

问题1：磁盘容量上限下的数据轮转方案 #

你提到的「手动将历史数据迁移到S3，查询时再拷回本地」的方案不可行。
Loki本地存储模式下，boltdb索引记录的chunk文件路径、分片信息和本地实际存储的文件是强绑定的：手动移走老chunk文件后，本地索引仍保留对应记录，查询对应时间段日志时会直接报文件不存在错误；手动将S3文件拷回时，需要严格匹配Loki自动生成的目录层级、分片命名规则，稍有偏差就会导致数据无法读取，甚至可能破坏现有存储结构，影响新日志的正常写入。

针对你的单实例部署场景，有两种成熟可行的轮转方案：

• 采用Loki原生多存储周期配置（2.5.0版本已原生支持）：在Loki配置文件中通过period_config划分存储周期，例如将最近7天的热数据保留在本地filesystem+boltdb存储，保障查询性能；超过7天的冷数据自动归档到S3，对应冷数据的索引也同步存放在S3。配置完成重启Loki后，数据迁移、跨存储查询都由Loki自动完成，无需手动拷贝文件，查询时Loki会自动判断数据位置拉取内容，对Grafana侧完全透明。注意给承载Loki的EC2实例绑定拥有S3读写权限的IAM角色即可，无需在配置中硬编码密钥。
• 低频查询场景下的快照归档方案：如果冷数据查询频率极低，可以配置Loki定期生成数据快照上传至S3留存，本地仅保留固定时长（如30天）的数据，到期自动清理释放磁盘。需要查询超期历史日志时，单独启动一个临时Loki实例，挂载对应时间段的S3快照进行查询即可，不会影响生产Loki实例的正常运行。

问题2：历史日志推送支持 #

Loki原生支持携带原始时间戳推送历史日志，服务端不会对日志条目的时间戳做强制的新旧限制，只要推送的日志携带正确的原始时间戳，就会按对应时间维度存储、建索引，查询时选择对应时间范围即可正常检索。

使用现有Promtail采集推送1个月历史日志时，需要调整3处配置：

• 清空Promtail的positions记录文件：该文件默认记录Promtail对每个日志文件的采集偏移量，清空后Promtail会从文件头开始读取所有历史日志内容。
• 调整旧日志拒绝策略：在Promtail关联的Loki配置或者Promtail的推送配置中，将limits_config.reject_old_samples设为false，或者将reject_old_samples_max_age调整为大于30天的值（比如744h），避免服务端直接丢弃时间过旧的日志条目。
• 控制历史日志推送速率：适当调小Promtail的推送并发、批量大小，避免短时间大量历史日志写入打满Loki资源，影响线上实时日志的上报和查询，历史日志导入完成后再将配置改回正常采集参数即可。

内容的提问来源于stack exchange，提问作者adityabhuvanraj