AWS Lambda无法导入lxml.etree的问题排查求助

我之前在AWS Lambda上折腾lxml.etree导入问题时，和你碰到的情况几乎一模一样——试过本地Ubuntu打包、EC2旧镜像构建，甚至追踪共享对象复制，还是报同样的错。结合我踩过的坑，给你几个针对性的解决方案，应该能彻底解决：

1. 必须在Amazon Linux 2环境下构建部署包（核心前提） #

Lambda当前的Python运行时基于Amazon Linux 2，你之前用的旧版Amazon Linux AMI环境和Lambda的底层系统差异很大，这是导致依赖不兼容的主要原因。步骤如下：

• 启动一台Amazon Linux 2的EC2实例（嫌麻烦的话，也可以用AWS SAM CLI的本地构建环境，不用开EC2）
• 先安装编译依赖：

  sudo yum install gcc python3-devel libxml2-devel libxslt-devel -y
  

• 创建并激活虚拟环境：

  python3 -m venv venv
  source venv/bin/activate
  

• 静态编译安装lxml到目标目录：

  STATIC_DEPS=true pip install lxml --target ./package --upgrade --no-cache-dir
  

• 打包时，把package目录下的所有内容（直接是lxml文件夹，不是egg包）和你的lambda_function.py放在同一层级，再压缩成zip。

2. 避免生成egg格式的安装包 #

你的报错里提到了lxml-4.3.4-py3.6-linux-x86_64.egg，Lambda的Python运行时对egg包的导入支持存在兼容性问题。解决方法是强制源码编译，禁止生成egg包：

• 安装时加上--no-binary :all:参数：

  STATIC_DEPS=true pip install lxml --target ./package --upgrade --no-cache-dir --no-binary :all:
  

• 确认部署包的目录结构正确：

  lambda_function.py
  lxml/
    __init__.py
    etree.so
    ...（其他lxml相关文件）
  

  绝对不能把egg包直接丢进去，必须是解压后的lxml文件夹。

3. 手动验证并补全共享库依赖（如果静态编译仍失效） #

如果静态编译后还是提示依赖缺失，可以用ldd命令检查etree.so的依赖情况：

ldd package/lxml/etree.so

把输出里标记为not found的系统库（比如libxml2.so.2、libxslt.so.1）从Amazon Linux 2实例的/usr/lib64/目录复制到部署包的根目录，然后在你的lambda_function.py开头添加加载代码：

import os
import ctypes

# 加载自定义共享库
libxml2 = ctypes.CDLL(os.path.join(os.getcwd(), 'libxml2.so.2'))
libxslt = ctypes.CDLL(os.path.join(os.getcwd(), 'libxslt.so.1'))

注意：一定要用Amazon Linux 2的库，不要用Ubuntu的，否则还是会不兼容。

4. 改用Lambda Layer管理依赖 #

把lxml打包成Lambda Layer是更省心的方案，不仅能避免部署包过大，还能在多个函数间复用：

• 按照步骤1的方法在Amazon Linux 2中构建lxml，然后创建目录结构python/lib/python3.x/site-packages/（x对应你Lambda使用的Python版本，比如3.9）
• 把lxml文件夹放到这个目录下，然后压缩成zip包上传到Lambda Layer
• 在你的Lambda函数配置中关联这个Layer，之后就能正常导入lxml.etree了

5. 降级lxml版本试试 #

部分新版本的lxml在Lambda环境下兼容性不佳，我亲测lxml==4.2.5在Python 3.8+的Lambda运行时中非常稳定，你可以试试：

STATIC_DEPS=true pip install lxml==4.2.5 --target ./package --upgrade --no-cache-dir --no-binary :all:

内容的提问来源于stack exchange，提问作者jmunsch