如何实现本地存储与S3存储挂载到同一目录并按日志年龄分层存储？

这确实是个很实际的需求——既要本地保留近期日志供分析，又要把旧日志归档到S3节省空间，还不想改现有服务的日志路径。我有个靠谱的方案，用mergerfs配合你已经在用的S3-FUSE就能实现，具体步骤如下：

1. 准备环境与安装工具 #

首先确保你的Oracle Linux 8能访问EPEL源（因为mergerfs在EPEL仓库里），执行以下命令安装：

sudo dnf install epel-release -y
sudo dnf install mergerfs -y

2. 调整存储目录结构 #

先暂停相关服务（避免日志写入冲突），然后调整目录结构：

• 把原有的/usr/local/caplogs/logs目录下的文件临时备份到安全位置
• 创建两个子目录，分别承载本地日志和S3挂载：

  sudo mkdir -p /usr/local/caplogs/logs-local  # 存放28天内的本地日志
  sudo mkdir -p /usr/local/caplogs/logs-s3     # 挂载S3存储的目录
  

• 把备份的日志文件移回logs-local，然后重新挂载你的S3存储到logs-s3（替换成你原有的S3-FUSE命令，记得加上allow_other参数让mergerfs能访问）：

  # 示例S3-FUSE挂载命令，根据你的实际bucket和region调整
  sudo s3fs your-bucket-name /usr/local/caplogs/logs-s3 -o allow_other -o use_path_request_style -o endpoint=your-region
  

3. 用mergerfs合并两个目录 #

执行以下命令，把本地日志目录和S3挂载目录合并成你原来的/usr/local/caplogs/logs：

sudo mergerfs /usr/local/caplogs/logs-local:/usr/local/caplogs/logs-s3 /usr/local/caplogs/logs \
  -o defaults,allow_other,func.getattr=newest,category.create=ff,nonempty

关键参数说明： #

• category.create=ff：新创建的文件优先写入logs-local（第一个目录），确保日志先存在本地供分析
• func.getattr=newest：读取文件属性时优先取最新的，避免本地和S3同文件的属性冲突
• allow_other：让服务进程等非root用户能正常访问合并后的目录

如果要实现开机自动挂载，把以下内容添加到/etc/fstab：

/usr/local/caplogs/logs-local:/usr/local/caplogs/logs-s3 /usr/local/caplogs/logs fuse.mergerfs defaults,allow_other,func.getattr=newest,category.create=ff,nonempty 0 0

4. 定时归档旧日志到S3 #

创建定时任务，每天把logs-local里超过28天的日志移动到S3，释放本地空间：

1. 编写归档脚本/usr/local/bin/archive-old-logs.sh：

#!/bin/bash
# 移动28天以上的日志文件到S3，保留原目录结构
find /usr/local/caplogs/logs-local -type f -mtime +28 -exec mv --parents {} /usr/local/caplogs/logs-s3/ \;
# 清理本地空目录（可选，保持目录整洁）
find /usr/local/caplogs/logs-local -type d -empty -delete

2. 给脚本添加执行权限：

sudo chmod +x /usr/local/bin/archive-old-logs.sh

3. 添加到crontab，每天凌晨2点执行：

sudo crontab -e

在编辑器里添加：

0 2 * * * /usr/local/bin/archive-old-logs.sh >> /var/log/archive-logs.log 2>&1

5. 验证效果 #

• 重启服务后，新日志会自动写入logs-local，在合并的logs目录里能正常访问
• 超过28天的日志会被移动到S3的logs-s3目录，本地不再占用空间；虽然在合并的logs目录里依然能看到旧日志的路径，但因为你无法从S3读取，尝试打开会报错——这刚好符合你的需求，你本来就不需要读取旧日志做分析

这个方案不需要修改现有服务的日志路径，完美实现了“同一目录下，新日志本地存、旧日志自动归档到S3”的目标，还完全避开了修改S3读取权限的安全风险。

备注：内容来源于stack exchange，提问作者Disparity