AWS C++ SDK S3 ListObjects按旧到新排序及Marker使用问题

核心逻辑说明 #

AWS S3的ListObjects接口（属于V1版本接口，更推荐使用新版V2的ListObjectsV2）的SetMarker参数仅基于对象键（Key）的UTF-8二进制字典序做过滤，作用是返回桶中键字典序严格大于Marker值的对象，默认返回结果按键字典序升序排列，接口本身不支持按上传时间排序或过滤。
你贴出的代码首先存在变量笔误：定义的分页标识变量是last_marker，但判断非空时用的是last_key，实际运行会导致Marker永远不生效，每次都拉取第一页数据，这是你出现循环拉取同一批数据的原因之一。

问题根源 #

你自行将返回的object_list调整为了从新到旧排序，打乱了S3原生返回的键序，所以直接用列表的front()/back()设置Marker会和S3的字典序逻辑不匹配，才会出现要么拉不到新数据、要么循环拉同一批的问题。

解决方法 #

根据你的对象键命名规则，分为两种场景处理：

场景1：对象键本身和上传时间强关联 #

如果你的对象键命名规则本身可以通过字典序区分新旧，比如越新的对象键字典序越大（常见的比如键前缀带递增时间戳，格式类似202405201230_service.log），调整逻辑如下：

• 不要手动反转S3返回的结果，保持原生的升序排列，此时列表back()的键就是当前批次字典序最大、也就是最新的对象
• 每次循环将last_marker设为该back()的键，下一次拉取的就是比这个键更大的、也就是更新的对象
  调整后代码示例：

Aws::String last_marker;
while(true) {
  Aws::S3::Model::ListObjectsRequest objects_request;
  objects_request.WithBucket(bucket);
  // 修正变量笔误，使用last_marker判断
  if (!last_marker.empty()) {
     objects_request.SetMarker(last_marker);
  }
  Aws::S3::Model::ListObjectsOutcome outcome = s_client.ListObjects(objects_request);
  // 建议添加接口调用错误处理逻辑
  if (!outcome.IsSuccess()) {
      break;
  }
  Aws::Vector<Aws::S3::Model::Object> object_list = outcome.GetResult().GetContents();
  if (object_list.empty()) {
      // 无新对象，可退出循环或等待后重试
      break;
  }
  // 如果需要按从新到旧处理，可以仅反转当前批次的列表后再遍历
  // std::reverse(object_list.begin(), object_list.end());
  for (const auto& obj : object_list) {
      // 业务处理逻辑
  }
  // 取原生升序列表最后一个元素（最大键、最新对象）作为下一次的marker
  last_marker.assign(object_list.back().GetKey());
}

如果你的对象键是越新字典序越小（比如使用了倒序时间戳命名），可以在请求中添加objects_request.SetDescending(true);让S3直接返回键降序的结果，此时back()的键就是当前批次最小的、也就是最新的，设置为Marker后下一次返回的就是比这个键更小的更新对象。

场景2：对象键和上传时间无关 #

如果你的键命名没有时间规律，需要按对象的最后修改时间LastModified判断新旧，无法通过SetMarker直接实现过滤，只能每次拉取全量（或按前缀分批）的对象，自行在内存中过滤LastModified大于上次拉取最大时间的对象。
另外建议升级使用ListObjectsV2接口，V1版本的ListObjects已经被AWS标记为过时，V2接口的分页逻辑更稳定，对应分页参数为SetContinuationToken而非SetMarker，不会出现分页截断的问题。

内容的提问来源于stack exchange，提问作者user3472