如何升级AWS Lambda Python3.9运行时的SQLite版本？

问题背景 #

AWS Lambda Python 3.9运行时内置的SQLite版本为2013年发布的v3.7.17。由于Python 3.9捆绑SQLite作为自带组件，受库文件结构限制，无法通过Layer或常规代码部署直接覆盖升级，推测Lambda会从/var/runtime/lib目录加载sqlite.so文件。

请问是否有办法在Lambda中升级SQLite版本？

环境信息 #

Lambda环境变量 #

'LAMBDA_RUNTIME_DIR': '/var/runtime',
'LAMBDA_TASK_ROOT': '/var/task',
'LANG': 'en_US.UTF-8',
'LD_LIBRARY_PATH': '/var/lang/lib:/lib64:/usr/lib64:/var/runtime:/var/runtime/lib:/var/task:/var/task/lib:/opt/lib',
'PATH': '/var/lang/bin:/usr/local/bin:/usr/bin/:/bin:/opt/bin',
'PWD': '/var/task',
'PYTHONPATH': '/var/runtime',
'SHLVL': '0',
'TZ': ':UTC',

sys.path信息 #

[
'/var/task',
'/opt/python/lib/python3.8/site-packages',
'/opt/python',
'/var/runtime',
'/var/lang/lib/python38.zip',
'/var/lang/lib/python3.8',
'/var/lang/lib/python3.8/lib-dynload',
'/var/lang/lib/python3.8/site-packages',
'/opt/python/lib/python3.8/site-packages',
'/opt/python'
]

验证代码及结果 #

验证代码

import sqlite3
print("sqlite3:")
sqlite3_version = ".".join(str(x) for x in sqlite3.version_info)
sqlite3_lib_version = ".".join(str(x) for x in sqlite3.sqlite_version_info)
print(f"Version: v{sqlite3_version}")
print(f"SQLite Library Version: v{sqlite3_lib_version}")

执行结果

sqlite3:
Version: v2.6.0
SQLite Library Version: v3.7.17

解决方案 #

可以通过以下步骤实现SQLite版本升级：

1. 编译适配Lambda环境的SQLite库

   • 在Amazon Linux 2环境（与Lambda Python 3.9运行时匹配）中编译最新版SQLite，生成libsqlite3.so文件：

     wget https://www.sqlite.org/2024/sqlite-autoconf-3450300.tar.gz
     tar xzf sqlite-autoconf-3450300.tar.gz
     cd sqlite-autoconf-3450300
     ./configure --prefix=/tmp/sqlite-install
     make && make install
     

   • 从/tmp/sqlite-install/lib目录取出编译后的libsqlite3.so.0.8.6（版本号随SQLite版本变化），重命名为libsqlite3.so。

2. 部署自定义库并调整加载优先级

   • 将libsqlite3.so放入Lambda部署包的lib目录，或通过Layer上传至/opt/lib目录。
   • 修改Lambda环境变量LD_LIBRARY_PATH，将自定义库所在目录移至路径最前端，确保优先加载新库：

     LD_LIBRARY_PATH=/var/task/lib:/var/lang/lib:/lib64:/usr/lib64:/var/runtime:/var/runtime/lib:/var/task:/opt/lib
     

3. 代码中强制加载自定义库

   • 在Python代码开头添加以下内容，确保先加载新SQLite库再导入标准模块：

     import ctypes
     import os
     
     sqlite_lib_path = os.path.join(os.environ['LAMBDA_TASK_ROOT'], 'lib', 'libsqlite3.so')
     ctypes.CDLL(sqlite_lib_path, mode=ctypes.RTLD_GLOBAL)
     
     import sqlite3
     

4. 验证升级结果

   • 运行之前的验证代码，确认SQLite库版本已更新。

内容的提问来源于stack exchange，提问作者four43