AWS Lambda+Serverless部署Python爬虫遇lxml.etree导入错误求助

先确认Lambda层的lxml构建是否匹配运行环境 #

Lambda基于Amazon Linux 2运行，必须在同架构、同系统环境下编译lxml，否则会出现架构不兼容导致的etree导入失败。即使在Cloud9操作，也要严格按以下步骤来：

• 选择Cloud9的Amazon Linux 2环境（不要用Ubuntu或其他系统镜像）
• 创建与Lambda运行时一致的Python虚拟环境（比如Lambda用Python 3.9，就对应建3.9版本）
• 安装lxml时强制指定兼容平台，避免编译出仅适配本地的版本：

  python -m venv venv
  source venv/bin/activate
  pip install lxml --platform manylinux2014_x86_64 --only-binary=:all: -t python/lib/python3.9/site-packages/
  

• 打包时必须遵循python/lib/pythonX.X/site-packages/的目录结构，将整个python文件夹压缩成zip后上传为Lambda层

验证层的关联与基础配置 #

• 确认Lambda函数已正确关联该层，且层的Python版本与Lambda运行时版本完全一致（比如层是Python3.9，Lambda不能用Python3.10）
• 检查Lambda执行角色是否有访问该层的权限（跨账号层需要额外配置权限，同账号默认权限足够）

是否需要迁移到Cloud9部署？ #

不是必须，但本地构建依赖时必须模拟Lambda的运行环境：

• 如果本地是Mac/Windows，不能直接用本地安装的lxml打包，必须用Docker模拟Amazon Linux 2环境构建：

  docker run -v "$PWD":/var/task public.ecr.aws/sam/build-python3.9:latest /bin/sh -c "pip install lxml --platform manylinux2014_x86_64 --only-binary=:all: -t python/lib/python3.9/site-packages/ && exit"
  

  打包生成的python文件夹即可作为Lambda层
• 用Serverless框架的话，推荐用serverless-python-requirements插件自动处理跨环境依赖：
  在serverless.yml中添加配置：

  plugins:
    - serverless-python-requirements
  custom:
    pythonRequirements:
      dockerizePip: non-linux
      layer: true
  

  插件会自动用Docker构建兼容Lambda的依赖并生成层，无需手动操作

额外排查点 #

• 检查Lambda函数代码包中是否误包含了lxml文件，如果有，必须删除，避免和层中的版本冲突
• 解压层的zip包，确认lxml/etree.cpython-XXX-x86_64-linux-gnu.so文件存在——这是etree模块的核心编译文件，缺失则说明构建失败

内容的提问来源于stack exchange，提问作者Jason K.