EC2向S3存储桶传输数据时是否可设置时间约束筛选超1个月旧数据

你所需要的「仅将EC2中存储时长超过1个月的旧数据传输到S3存储桶」的需求完全可以实现，当前所有主流的传输方案均支持设置时间约束条件，不会传输不符合时间要求的新数据。

常用实现方案 #

方案1：AWS CLI搭配定时任务（小数据量场景） #

适合数据量在TB以下的日常归档场景，配置成本极低：

• 先在EC2实例中安装配置AWS CLI，为实例绑定拥有S3写入权限的IAM角色
• 通过find命令筛选符合时间条件的文件，搭配aws s3命令完成定向传输，参考命令如下：

# 筛选EC2本地/opt/data目录下修改时间超过30天的所有文件，同步到目标S3桶的归档目录
find /opt/data -type f -mtime +30 -exec aws s3 cp {} s3://你的目标桶名称/archive/ \;

• 把上述命令配置到Cron定时任务中，按业务需要设置每周/每月自动执行，即可实现旧数据的自动定期归档。

方案2：AWS DataSync（大数据量场景） #

如果需要传输的旧数据量级在TB级以上，建议使用托管传输服务DataSync，该服务原生支持时间过滤规则：

• 配置DataSync传输任务时，在「传输过滤器」模块选择按文件修改时间/访问时间筛选，设置时间阈值为超过30天即可
• 服务会自动跳过不符合时间要求的新文件，仅传输符合规则的旧数据，同时自带断点续传、传输完整性校验能力，稳定性更高。

两种方案都支持灵活调整时间阈值，你可以根据业务需求自定义为15天、3个月等任意时长，也可以组合文件大小、文件后缀等其他过滤规则使用。

内容的提问来源于stack exchange，提问作者Jonas Boshen