如何在Java中按最后修改时间升序列出S3对象而非字典序

核心前提 #

S3原生API不支持直接按LastModified字段排序返回对象列表，默认按对象键（Key）的字典序分页返回。要实现按修改时间升序筛选目标文件，需结合不同方案适配桶的规模：

方案一：本地分页获取+排序（中小规模桶适用） #

如果桶内对象数量在百万级以内，可通过分页拉取全量对象，在本地按LastModified升序排序后筛选需删除的文件。

代码示例（AWS SDK for Java 2.x）

import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.services.s3.model.ListObjectsV2Request;
import software.amazon.awssdk.services.s3.model.ListObjectsV2Response;
import software.amazon.awssdk.services.s3.model.S3Object;
import java.util.ArrayList;
import java.util.Comparator;
import java.util.List;
import java.util.stream.Collectors;

public class S3SortByModifiedTime {
    public static void main(String[] args) {
        String bucketName = "your-target-bucket";
        try (S3Client s3Client = S3Client.create()) {
            ListObjectsV2Request request = ListObjectsV2Request.builder()
                    .bucket(bucketName)
                    .build();

            List<S3Object> allObjects = new ArrayList<>();
            ListObjectsV2Response response;

            // 分页拉取所有对象
            do {
                response = s3Client.listObjectsV2(request);
                allObjects.addAll(response.contents());
                request = request.toBuilder()
                        .continuationToken(response.nextContinuationToken())
                        .build();
            } while (response.isTruncated());

            // 按最后修改时间升序排序
            List<S3Object> sortedObjects = allObjects.stream()
                    .sorted(Comparator.comparing(S3Object::lastModified))
                    .collect(Collectors.toList());

            // 筛选超过保留期的对象（示例：保留30天内的文件）
            long retentionMillis = 30L * 24 * 60 * 60 * 1000;
            long cutoffTime = System.currentTimeMillis() - retentionMillis;
            List<S3Object> toDelete = sortedObjects.stream()
                    .filter(obj -> obj.lastModified().toEpochMilli() < cutoffTime)
                    .collect(Collectors.toList());

            // 执行批量删除（可调用deleteObjects接口实现）
            // ...
        }
    }
}

注意事项

• 需正确处理continuationToken确保拉取全量对象；
• 对象量过大时会占用较多本地内存，不建议千万级以上桶使用。

方案二：S3 Inventory + Athena查询（大规模桶适用） #

针对超大桶，本地处理效率极低，可借助S3 Inventory生成对象清单，通过Athena执行SQL直接筛选排序：

1. 配置S3 Inventory：在目标桶开启Inventory，指定导出字段包含LastModified，定期将清单文件导出到存储桶；
2. 创建Athena外部表：基于Inventory文件格式（CSV/Parquet）创建表，映射last_modified等字段；
3. 执行查询：编写SQL筛选并排序目标对象，示例：

SELECT key, last_modified
FROM s3_inventory_table
WHERE last_modified < current_timestamp - interval '30' day
ORDER BY last_modified ASC

4. 批量删除：将查询结果导出后，通过Java SDK批量删除符合条件的对象。

方案三：S3生命周期规则（最优自动清理方案） #

若仅需自动删除超期文件，无需手动列取对象，直接配置S3 Lifecycle Policy即可：
在桶的生命周期规则中添加「过期」规则，设置基于LastModified的保留天数，S3会自动后台清理符合条件的对象，无需编写代码。

总结 #

• 中小规模桶：用Java SDK分页拉取+本地排序筛选；
• 大规模桶：S3 Inventory + Athena查询筛选后批量删除；
• 仅需自动清理：直接配置S3生命周期规则，零开发成本。

内容的提问来源于stack exchange，提问作者Srinivas Renduchinthala