使用Python客户端库实现AWS S3转GCS传输失败：预条件检查失败

碰到这个400预检查失败的错误我太熟了，大概率是传输作业的配置没满足GCS Transfer Service的前置要求，我帮你梳理几个最常见的排查方向，一步步来解决：

1. 先查Google Cloud项目的权限和API状态 #

• 你用的账号（不管是服务账号还是个人账号）得有roles/storagetransfer.admin角色，或者至少能拿到这几个权限：
  • storagetransfer.transferJobs.create
  • storagetransfer.transferJobs.get
    另外还要确保账号能访问源S3桶和目标GCS桶，有对应的读写权限
• 别忘确认Storage Transfer API已经在你的GCP项目里启用了，用gcloud命令快速查：

  gcloud services list --enabled | grep storagetransfer
  

  如果没启用，直接跑这个命令开起来：

  gcloud services enable storagetransfer.googleapis.com
  

2. 验证源S3的配置有没有问题 #

• 你给的AWS Access Key和Secret Key得有S3源桶的读权限，至少要有s3:GetObject和s3:ListBucket这两个权限，不然Transfer Service连桶里的内容都读不到
• 检查下S3桶的名字、区域有没有拼写错，别因为手滑输错了桶名导致失败
• 如果是私有S3桶，建议先用AWS CLI测试下能不能正常访问：aws s3 ls s3://你的桶名，确保凭证没问题

3. 确认目标GCS桶的配置 #

• 目标GCS桶要么和Transfer作业在同一个GCP项目里，要么你的账号得有这个桶的写权限（比如storage.objects.create）
• 同样检查GCS桶名有没有写错，特殊字符或者大小写错误都可能出问题
• 如果你的项目开了VPC Service Controls，得确保Transfer Service被允许访问这个目标桶，不然会被拦截

4. 看看传输时间的配置对不对 #

从你的代码参数能看到你指定了具体的年月日时分作为传输时间：

• 这个时间必须是未来的时间，Transfer Service不允许创建过去时间的作业，要是你设的时间已经过了，肯定会触发预检查失败
• 注意时区问题，代码里构建时间对象的时候最好用UTC时区，别用本地时区导致时间计算错误，比如加上tzinfo=datetime.timezone.utc

5. 检查代码里的请求参数有没有漏 #

你的代码片段没写完，但我碰到过很多人因为参数不全导致这个错误：

• 必须要指定transferSpec，里面得包含s3DataSource和gcsDataSink的完整配置，不能缺胳膊少腿
• 确认projectId是正确的GCP项目ID（不是项目名称，项目ID是那种小写字母加数字的字符串）
• 别在请求里加一些无效的额外参数，比如Transfer API不支持的字段，也会触发预检查

给你补个完整点的代码示例，你可以对照着看看自己的代码缺了啥：

def main(description, project_id, year, month, day, hours, minutes, s3_bucket, gcs_bucket, aws_access_key, aws_secret_key):
    client = googleapiclient.discovery.build('storagetransfer', 'v1')
    
    # 构建UTC时区的未来传输时间
    transfer_time = datetime.datetime(year, month, day, hours, minutes, tzinfo=datetime.timezone.utc)
    
    transfer_job = {
        'description': description,
        'status': 'ENABLED',
        'projectId': project_id,
        'schedule': {
            'scheduleStartDate': {
                'year': year,
                'month': month,
                'day': day
            },
            'startTimeOfDay': {
                'hours': hours,
                'minutes': minutes
            }
        },
        'transferSpec': {
            's3DataSource': {
                'bucketName': s3_bucket,
                'awsAccessKey': {
                    'accessKeyId': aws_access_key,
                    'secretAccessKey': aws_secret_key
                }
            },
            'gcsDataSink': {
                'bucketName': gcs_bucket
            }
        }
    }
    
    request = client.transferJobs().create(body=transfer_job)
    response = request.execute()
    pprint(response)

要是以上都排查完还是不行，去GCP的Cloud Logging里搜storagetransfer相关的日志，里面会有更详细的错误细节，比如具体是哪个前置条件没满足，能帮你更快定位问题。

内容的提问来源于stack exchange，提问作者claudiadast