本地Boto3脚本迁移Lambda后从公共S3拉取文件至私有S3报错求助

1. 优先查看CloudWatch具体错误日志 #

Lambda执行失败的所有细节都会记录在CloudWatch Logs中，这是定位问题的核心：

• 进入Lambda控制台，找到目标函数，切换到「监控」标签，点击「查看CloudWatch日志」
• 打开最新的失败日志流，查看具体报错内容（比如AccessDenied、NoSuchKey、内存不足、存储溢出等）

2. 排查S3操作的细节问题 #

公共桶拉取环节 #

• 确认目标对象的键（Key）完全正确，公共桶的对象访问无需签名，但路径大小写、斜杠位置等必须和桶内对象完全匹配
• 可以在代码中添加测试逻辑：用boto3.client('s3').head_object(Bucket='noaa-ocs-nationalbathymetry-pds', Key='你的对象键')验证是否能获取对象元数据，排查路径或桶访问问题

目标桶上传环节 #

• 检查IAM角色信任关系：确保角色的信任策略中，Principal为lambda.amazonaws.com，允许Lambda服务扮演该角色（控制台默认创建的角色无需修改，手动配置的话需确认）
• 简化权限配置：保留IAM角色的AmazonS3FullAccess策略即可，无需额外添加桶策略，避免权限规则冲突
• 确认桶策略资源ARN：如果一定要用桶策略，需确保资源为arn:aws:s3:::geopackageshapefile/*（必须包含/*才能允许上传对象）

3. 检查Lambda临时存储限制 #

Lambda默认/tmp临时目录只有512MB，若你的geopackage文件超过这个大小，会直接触发存储溢出错误：

• 先确认文件大小，若超过512MB，在Lambda函数配置中调高「临时存储」（最大支持10GB）
• 可以在代码中打印文件大小，或在CloudWatch日志中排查是否有No space left on device类报错

4. 修正代码逻辑的常见问题 #

• 替换本地路径：Lambda中只能使用/tmp作为临时存储目录，不能用本地运行时的相对路径（比如./）或自定义路径
• 移除硬编码凭证：Lambda会自动通过执行角色获取AWS凭证，代码中无需硬编码AK/SK，避免权限冲突
• 确认文件读写模式：处理二进制文件（如geopackage）时，需用wb/rb模式打开文件，避免编码错误

5. 调整Lambda内存配置 #

Lambda默认内存为128MB，若脚本处理文件时内存不足，会触发OOM错误导致快速失败：

• 尝试将内存调高至256MB或512MB，Lambda的CPU资源会随内存比例提升，也能解决潜在的性能瓶颈

内容的提问来源于stack exchange，提问作者Nlevel