Snowpipe无法处理2GB .gz文件，咨询大小限制及配置调整方法

可能的限制点 #

• Lambda执行限制（若用Lambda处理）：Lambda默认超时15分钟、临时存储512MB。2GB.gz解压后体积可能远超512MB，直接撑爆临时存储导致进程静默崩溃；如果处理逻辑复杂，也可能超时终止，默认未开启日志的话看不到报错。
• 管道/Stage的分片配置缺失：要是用Data Pipeline、Glue这类工具，默认没开分片的话，单任务扛不住2GB大文件，会直接跳过处理，不会抛错。
• S3事件通知的隐性过滤：检查下S3事件规则，有没有不小心加了文件大小范围过滤，比如只触发小于1GB的文件，导致2GB文件没触发事件。

具体修改方案 #

• Lambda配置调整：
  • 进入函数的「常规配置」，把超时拉满到15分钟，临时存储调高到10GB（上限）。
  • 开启CloudWatch日志，强制输出处理过程的日志，就能定位崩溃或超时的具体原因。
• 管道分片设置：
  • 用Glue的话，在Job配置里开启「分片处理」，按文件大小拆分任务；Data Pipeline则要配置分片参数，让大文件被拆成小块处理。
  • 确保Stage阶段用流式读取，别一次性把整个文件加载到内存里，避免内存溢出。
• S3事件规则校验：
  • 进入S3桶的「事件通知」，检查规则里的过滤条件，有没有设置object-size的上限，要是有就删掉或者调整到合适范围。

额外提醒 #

处理2GB级别的.gz文件，就算调了配置也要考虑成本和效率，最好提前做分块上传或者预处理拆分。另外再确认下IAM权限，虽然小文件正常，但大文件的读取可能涉及更复杂的权限校验，别漏了相关权限。

内容的提问来源于stack exchange，提问作者Md. Parvez Alam