使用Google Transfer Service从AWS向GCP传输文件时遇凭证错误

我之前在Lambda里对接GCP Transfer Service时也碰到过类似的模块初始化问题，大概率是依赖、认证或者导入顺序的坑，给你几个排查方向：

• 依赖包未正确打包
  Lambda默认运行环境不会包含Google的Python客户端库，所以必须手动把依赖包打包进部署包或者用Lambda层。注意要在和Lambda运行环境匹配的系统（比如Amazon Linux 2）下安装依赖，避免二进制文件不兼容：

  # 创建临时目录安装依赖
  mkdir package
  pip install google-cloud-transfer google-cloud-storage -t ./package
  # 将你的Lambda函数文件（比如lambda_function.py）和package目录下的内容一起打包成zip
  cd package
  zip -r ../lambda-deploy.zip .
  cd ..
  zip lambda-deploy.zip lambda_function.py
  

• 认证凭据配置错误
  Google客户端库需要GCP服务账号的密钥来认证，Lambda里不要硬编码密钥，建议存在Secrets Manager或者环境变量里，然后在代码中正确加载：

  import os
  import json
  from google.oauth2 import service_account
  from google.cloud import transfer_v1
  
  def lambda_handler(event, context):
      # 从环境变量加载服务账号密钥
      gcp_key = json.loads(os.environ.get('GCP_SERVICE_ACCOUNT_KEY'))
      credentials = service_account.Credentials.from_service_account_info(gcp_key)
      # 初始化Transfer Service客户端
      client = transfer_v1.TransferServiceClient(credentials=credentials)
      
      # 这里写你的Transfer任务逻辑，比如创建传输作业
      transfer_job = {
          "description": "AWS to GCS transfer",
          "status": transfer_v1.TransferJob.Status.ENABLED,
          "transfer_spec": {
              "aws_s3_data_source": {
                  "bucket_name": "your-aws-bucket",
                  "path": "path/to/files/"
              },
              "gcs_data_sink": {
                  "bucket_name": "your-gcs-bucket"
              }
          }
      }
      request = transfer_v1.CreateTransferJobRequest(
          parent="projects/your-gcp-project-id",
          transfer_job=transfer_job
      )
      response = client.create_transfer_job(request=request)
      return {"job_name": response.name}
  

• 模块导入顺序问题
  如果在全局作用域导入Google客户端库，可能会在Lambda初始化阶段就尝试加载认证，导致错误。可以把客户端库的导入移到lambda_handler函数内部，确保先加载凭据再初始化客户端：

  import os
  import json
  from google.oauth2 import service_account
  
  def lambda_handler(event, context):
      # 先加载凭据
      gcp_key = json.loads(os.environ.get('GCP_SERVICE_ACCOUNT_KEY'))
      credentials = service_account.Credentials.from_service_account_info(gcp_key)
      # 再导入并初始化客户端
      from google.cloud import transfer_v1
      client = transfer_v1.TransferServiceClient(credentials=credentials)
      # 后续逻辑...
  

• Lambda运行时版本不兼容
  检查你的Lambda运行时Python版本，比如Google客户端库的新版本可能不再支持Python 3.7，建议切换到Python 3.9或更高版本，同时安装对应兼容版本的依赖包。

内容的提问来源于stack exchange，提问作者claudiadast