AWS Lambda中requests_html浏览器意外关闭错误的解决方法

可行修复方案 #

1. 补充Chrome启动参数 #

仅加--no-sandbox不足以适配Lambda的无桌面、受限资源环境，需添加以下关键参数：

from requests_html import HTMLSession

session = HTMLSession()
# 扩展浏览器启动参数
session.browser_args.extend([
    '--disable-dev-shm-usage',  # 规避Lambda的/dev/shm空间不足问题
    '--single-process',         # 强制单进程运行，适配Lambda环境
    '--disable-gpu',            # Lambda无GPU硬件，禁用GPU加速
    '--no-zygote',              # 禁用Zygote进程，避免权限问题
    '--disable-setuid-sandbox'  # 额外关闭setuid沙箱，增强兼容性
])

# 后续正常使用session.get()等方法
response = session.get("目标URL")
response.html.render()

2. 确保基础层Chrome版本适配 #

Docker打包基础层时，不要依赖Pyppeteer自动下载的Chrome，手动安装适配Lambda的Headless Chrome：
在Dockerfile中添加安装命令：

# 安装适配Lambda的Chrome
RUN yum install -y https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
# 验证安装路径，通常为/usr/bin/google-chrome-stable

然后在代码中指定Chrome路径：

session = HTMLSession(executable_path='/usr/bin/google-chrome-stable')

3. 调整Lambda配置 #

• 超时时间：将Lambda函数超时设置为30秒以上，Chrome启动和页面渲染需要一定时间，默认3秒会导致进程被强制终止；
• 环境变量：添加TMPDIR=/tmp，确保Chrome将临时文件写入Lambda的可写临时目录。

4. 排查权限问题 #

Docker打包基础层时，确保Chrome二进制文件有可执行权限：

RUN chmod +x /usr/bin/google-chrome-stable

替代技术选项 #

如果上述方案仍无法解决问题，可考虑以下更适配Lambda的技术：

• Selenium + AWS Lambda Chrome层：使用官方维护的Lambda Headless Chrome层，搭配Selenium操作，稳定性优于requests_html；
• 静态爬虫工具：若目标页面无需动态渲染，直接用requests + BeautifulSoup替代，完全规避浏览器依赖问题；
• Playwright：Playwright官方提供Lambda部署指南，支持自动适配无桌面环境，对现代JS渲染页面的兼容性更好。

内容的提问来源于stack exchange，提问作者codr