Cloud Function调用API时意外内存溢出问题排查求助

• pytd默认全量加载结果到内存，数据会大幅膨胀：pytd底层基于presto，默认会把查询结果一次性全部拉取到本地内存里。你说的84MB是原始表的存储大小，但这些数据转成Python的DataFrame或者字典列表时，内存占用会翻好几倍——比如Python的字符串、整数对象本身就有额外开销，84MB原始数据可能会占用1.5GB甚至更多内存，再加上Cloud Functions运行时本身的内存消耗，很容易触发2GB的上限。

• Cloud Functions的内存上限包含运行时开销：2GB不是纯留给查询结果的，Python运行环境、pytd客户端、presto驱动这些都会占一部分内存，实际可用的内存可能只有1.5GB左右，刚好扛不住膨胀后的结果集。

• 内存泄漏的排查方向：

  • 检查有没有重复创建连接/引擎：如果代码里不小心多次初始化pytd的连接或引擎实例，旧实例没被正确释放，会堆积占用内存。
  • 确认结果对象有没有被额外引用：就算函数有返回值，如果结果被全局变量、闭包之类的地方引用了，Python的垃圾回收可能没法及时释放内存，导致内存一直涨。

• 临时解决办法：

  • 用流式拉取：如果pytd支持，改成分批次拉取结果，处理完一批再取下一批，别一次性加载全量数据。
  • 优化数据类型：指定返回结果用更紧凑的类型，比如用numpy的数值类型代替Python原生类型，减少内存膨胀。
  • 临时加内存：把Cloud Functions的内存调到4GB试试，如果不再报错，基本就是内存容量不够，不是泄漏问题。

内容的提问来源于stack exchange，提问作者Matthieu