Selenium在AWS Lambda中返回空HTML Body问题求助

可能的原因 #

• Lambda网络环境限制：默认VPC内的Lambda可能无法访问公网，或者目标网站识别出无头Chrome的自动化特征
• Chrome配置参数不全：缺少适配Lambda或绕过反爬的必要参数
• 页面加载机制：目标页面是单页应用，隐式等待无法覆盖异步加载的等待时间

具体解决步骤 #

1. 确认Lambda网络权限 #

如果目标页面是公网地址，要么把Lambda移出VPC（无需访问VPC内资源时），要么给所在VPC配置NAT网关，确保Lambda能正常访问公网。

2. 完善Chrome配置参数 #

修改ChromeOptions，补充关键参数，让无头Chrome更接近正常浏览器：

chrome_options = Options()
chrome_options.binary_location = '/opt/headless-chromium'
chrome_options.add_argument("--headless=new")  # 用新版无头模式，避免被反爬识别
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--single-process')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--window-size=1920,1080')  # 固定窗口尺寸，防止页面布局异常
chrome_options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36')  # 模拟正常浏览器UA
chrome_options.add_argument('--disable-blink-features=AutomationControlled')  # 关闭自动化特征标记
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)

3. 用显式等待替代隐式等待 #

隐式等待对异步加载的页面支持差，换成显式等待等待页面核心元素或加载完成：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver.get(mypage)
# 等待页面body加载出内容
WebDriverWait(driver, 30).until(
    EC.presence_of_element_located((By.TAG_NAME, "body"))
)
# 或者等待页面完全加载完成
WebDriverWait(driver, 30).until(
    lambda d: d.execute_script('return document.readyState') == 'complete'
)

print(driver.page_source)

4. 验证Chrome与Chromedriver版本匹配 #

Lambda层里的headless-chromium和chromedriver版本必须完全一致，版本不匹配会导致页面加载失败。可以通过以下命令检查版本：

/opt/headless-chromium --version
/opt/chromedriver --version

5. 设置页面加载超时 #

在初始化driver后添加超时设置，防止无限等待：

driver.set_page_load_timeout(30)

内容的提问来源于stack exchange，提问作者Javier Perez