解决AWS Lambda连接EFS后导入LightGBM时libgomp.so.1缺失问题

方案1：在Amazon Linux 2环境中重新编译LightGBM并存入EFS #

Lambda运行时基于Amazon Linux 2，依赖包必须在同环境下编译才能保证系统库兼容：

• 启动一台Amazon Linux 2 EC2实例，挂载你的EFS文件系统
• 在EC2上安装编译依赖：

  sudo yum install -y gcc-c++ cmake openmp-devel python3-devel
  

• 从源码编译并安装LightGBM到EFS路径：

  git clone --recursive https://github.com/microsoft/LightGBM.git
  cd LightGBM/python-package
  python3 setup.py install --prefix=/path/to/your/efs/mount/point/python
  

  替换/path/to/your/efs/mount/point/python为你EFS上存放依赖的实际路径，确保安装后的LightGBM能关联到Amazon Linux 2的系统库。

方案2：正确打包libgomp到Lambda层并配置库路径 #

之前的层可能存在目录结构错误或路径未配置的问题：

• 在Amazon Linux 2 EC2上复制系统自带的libgomp：

  cp /usr/lib64/libgomp.so.1 ./
  

• 创建层的目录结构：lib/libgomp.so.1，将整个lib目录打包为zip文件
• 将该层附加到你的Lambda函数
• 在Lambda的环境变量中添加LD_LIBRARY_PATH：/opt/lib:/usr/lib64（/opt/lib是Lambda层的默认加载路径）
• 同时确保EFS中的LightGBM是在Amazon Linux 2环境下编译的，避免二进制不兼容。

方案3：在Lambda代码中手动指定库路径 #

如果上述方法无效，可在代码开头强制添加库路径：

import os
# 替换为EFS上存放libgomp的实际路径
os.environ['LD_LIBRARY_PATH'] = '/mnt/efs/lib:' + os.environ.get('LD_LIBRARY_PATH', '')
import lightgbm as lgb

关键注意事项 #

• 所有依赖包（包括LightGBM）必须在Amazon Linux 2环境下编译/安装，否则会出现系统库不匹配问题
• 确认Lambda执行角色拥有EFS的访问权限（如elasticfilesystem:ClientMount、elasticfilesystem:ClientWrite）
• 检查层的zip包结构：Python包需放在python/目录，库文件需放在lib/目录，否则Lambda无法识别

内容的提问来源于stack exchange，提问作者Ighenvex