如何从S3加载Pickle文件至AWS Lambda？加载存在文件时报错求助

嘿，我之前在Lambda里处理S3的Pickle文件也踩过不少坑，给你列几个最可能的排查方向：

• 先查IAM权限！这是最容易忽略的点
  哪怕你确定文件在S3里，Lambda的执行角色如果没有s3:GetObject权限，照样会报“找不到文件”或者权限错误。去IAM控制台检查你的Lambda角色，确保有类似这样的政策：

  {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Effect": "Allow",
              "Action": "s3:GetObject",
              "Resource": "arn:aws:s3:::你的Bucket名/*"
          }
      ]
  }
  

  注意把你的Bucket名换成实际的Bucket，Resource要精准到对象路径或者整个Bucket。

• 检查Python版本与Pickle协议兼容性
  如果你是在本地生成的Pickle文件，本地Python版本和Lambda的Python版本必须匹配！比如本地用3.10，Lambda用3.8，高版本的Pickle协议（默认是5）低版本Python读不了。解决办法要么把Lambda的Python版本改成和本地一致，要么生成Pickle的时候指定兼容的协议：

  import pickle
  with open('your_list.pkl', 'wb') as f:
      pickle.dump(your_list, f, protocol=4)  # 协议4兼容Python3.4+
  

• 确认S3对象键的正确性
  S3的对象键是区分大小写的，而且路径里的斜杠不能乱加！比如你代码里写的是my-bucket/data/list.pkl，但实际S3里的对象键是My-Bucket/Data/List.pkl，这就会匹配失败。另外，别把Bucket名和对象键搞混了，调用boto3的时候要确保参数正确：

  import boto3
  s3 = boto3.client('s3')
  response = s3.get_object(Bucket='你的Bucket名', Key='正确的对象键')  # 这里Key是文件在Bucket里的路径，不是完整URL
  

• Lambda临时目录与文件读取模式
  如果是把文件下载到Lambda的临时目录再加载，一定要用/tmp/路径（Lambda唯一可写的目录），而且读取必须用二进制模式rb：

  import pickle
  import boto3
  
  s3 = boto3.client('s3')
  s3.download_file('bucket-name', 'object-key', '/tmp/list.pkl')
  with open('/tmp/list.pkl', 'rb') as f:
      my_list = pickle.load(f)
  

  别用文本模式r，否则会因为编码问题报错。

• 排查Pickle文件本身是否损坏
  有时候上传文件的时候用了文本模式，导致文件内容乱码。你可以在S3控制台把文件下载到本地，用Python本地加载试试，如果本地能正常打开，说明文件没问题；如果本地也报错，那就是文件生成的时候出问题了，重新生成再上传。

• 如果Pickle包含自定义类/第三方对象，检查依赖
  要是你的Pickle列表里包含了自定义类或者比如pandas、numpy的对象，Lambda环境里必须安装对应的依赖包。可以把依赖打包成Lambda层，或者直接包含在部署包里，不然加载的时候会报“找不到类”的错误。

内容的提问来源于stack exchange，提问作者mifin