AWS BatchDelete未完全删除S3文件问题求助

上传若干图片后调用自定义Delete函数执行批量删除，出现部分文件删除成功、部分未被删除的情况。以下是相关代码实现：

Delete函数代码 #

func (s *S3Manager) Delete(keys []string) error {
    objects := make([]s3manager.BatchDeleteObject, len(keys))

    for i, v := range keys {
        objects[i] = s3manager.BatchDeleteObject{
            Object: &s3.DeleteObjectInput{
                Key:    aws.String(v),
                Bucket: s.bucket, // this is aws.String already
            },
        }
    }

    if err := s.remover.Delete(aws.BackgroundContext(), &s3manager.DeleteObjectsIterator{
        Objects: objects,
    }); err != nil {
        return err
    }

    return nil
}

S3Manager初始化函数代码 #

func NewS3Manager(accessKeyID, secretAccessKey, region, bucket, assetsDomain string) (*S3Manager, error) {
    creds := credentials.Value{
        AccessKeyID:     accessKeyID,
        SecretAccessKey: secretAccessKey,
    }

    sess, err := session.NewSession(&aws.Config{
        Region:      aws.String(region),
        Credentials: credentials.NewStaticCredentialsFromCreds(creds),
    })
    if err != nil {
        return nil, fmt.Errorf("failed create aws session: %w", err)
    }

    return &S3Manager{
        remover:      s3manager.NewBatchDelete(sess),
        bucket:       aws.String(bucket),
    }, nil
}

技术排查与解决建议 #

• 完善错误捕获逻辑：s3manager.BatchDelete.Delete方法不会因单个对象删除失败就返回整体错误，需主动检查迭代器的FailedObjects集合，获取具体失败的对象Key和错误原因。修改后的代码示例：

  import "strings"
  
  func (s *S3Manager) Delete(keys []string) error {
      objects := make([]s3manager.BatchDeleteObject, len(keys))
  
      for i, v := range keys {
          objects[i] = s3manager.BatchDeleteObject{
              Object: &s3.DeleteObjectInput{
                  Key:    aws.String(v),
                  Bucket: s.bucket,
              },
          }
      }
  
      iterator := &s3manager.DeleteObjectsIterator{Objects: objects}
      if err := s.remover.Delete(aws.BackgroundContext(), iterator); err != nil {
          return err
      }
  
      // 检查并返回删除失败的对象信息
      if len(iterator.FailedObjects) > 0 {
          var errDetails []string
          for _, failed := range iterator.FailedObjects {
              errDetails = append(errDetails, fmt.Sprintf("Key: %s, 错误: %v", *failed.Object.Key, failed.Err))
          }
          return fmt.Errorf("部分对象删除失败: %s", strings.Join(errDetails, "; "))
      }
  
      return nil
  }
  

• 验证对象Key的一致性：确认传入的keys与S3中存储的对象Key完全匹配，包括大小写、前缀、特殊字符的编码格式。S3对象Key区分大小写，若上传时对特殊字符做了URL编码，删除时需使用相同编码后的Key。

• 检查权限配置：确认使用的IAM身份拥有s3:DeleteObject权限，同时检查桶策略、对象ACL是否存在删除限制。可通过AWS CLI执行aws s3 rm s3://<bucket-name>/<failed-key>测试单个对象删除，验证权限是否正常。

• 处理版本化桶场景：若目标S3桶开启了版本控制，调用DeleteObject仅会添加删除标记，不会真正删除对象。需在BatchDeleteObject中指定VersionId，或改用版本删除接口。可通过AWS控制台查看桶是否开启版本化。

• 增加日志输出：在代码中添加日志记录，输出待删除的所有Key，以及删除后的失败详情，便于快速定位问题。

内容的提问来源于stack exchange，提问作者1oko