是否存在可在AWS Lambda中运行的精简版TensorFlow/Keras?
当然有!针对AWS Lambda这类对部署包体积严格限制的环境,不管是官方还是社区都有成熟的精简方案,我把最实用的几个列出来:
1. 优先使用官方CPU专属包
完整的tensorflow包包含了GPU支持、XLA加速等大量Lambda用不上的组件,直接换成tensorflow-cpu包能砍掉近一半体积:
pip install tensorflow-cpu --target ./package
这个包只保留CPU运行时的核心功能,完全满足Lambda的推理需求,而且Keras已经整合在TensorFlow 2.x中,所以不需要额外安装独立的Keras包。
2. 手动裁剪不必要的依赖
如果tensorflow-cpu还是太大,可以用pip的--no-deps参数手动安装核心依赖,只保留推理必需的部分:
# 先安装无依赖的TensorFlow pip install tensorflow-cpu --no-deps --target ./package # 再手动添加推理必需的依赖(比如numpy、absl-py、protobuf等) pip install numpy absl-py protobuf --target ./package
这种方式需要你自己确认哪些依赖是必须的,虽然麻烦,但能把体积压到最小。
3. 使用TensorFlow Lite Python绑定
如果你的模型可以转换成TensorFlow Lite格式,那tflite-runtime包的体积会小很多——它专门为边缘设备和资源受限环境设计,只包含推理相关的核心功能:
pip install tflite-runtime --target ./package
转换模型的步骤也很简单,用TensorFlow的tf.lite.TFLiteConverter就能把SavedModel转换成.tflite文件,然后在Lambda里用tflite-runtime加载推理就行。
4. 利用AWS Lambda Layer拆分依赖
虽然这不是“精简包”本身,但可以把TensorFlow这类大依赖放在Lambda Layer里,主部署包只放你的业务代码。每个Layer最大250MB,最多可以附加5个Layer,这样能绕过主包的体积限制。你可以自己构建精简后的TensorFlow Layer,也可以用社区预构建的版本。
5. 第三方精简构建
社区还有一些第三方的精简TensorFlow包,比如针对无服务器环境优化的tensorflow-serverless(不过要注意兼容性,最好选和官方版本对齐的),这类包会去掉文档、测试文件、无用的二进制组件,进一步压缩体积。
最后提醒一下:部署前记得用zip压缩时排除掉.pyc、__pycache__这类冗余文件,能再省不少空间。
内容的提问来源于stack exchange,提问作者Martin Thoma

