AWS Lambda运行Python无头Chrome时Selenium无法定位元素求助

问题原因与解决方案 #

1. 反爬检测拦截（最可能原因） #

多数网站会识别默认配置的无头Chrome特征，直接拦截请求或返回非目标页面，导致找不到登录元素：

• 需添加参数抹去自动化特征，替换为正常浏览器的User-Agent
• 禁用navigator.webdriver检测标识

2. 启动参数配置缺失 #

旧版无头Chrome和普通UI模式行为差异大，需补充配置缩小差异：

class WebDriver(object):
    def __init__(self):
        self.options = Options()
        self.options.binary_location = '/opt/headless-chromium'
        # 若使用Chrome 96+ 推荐改为--headless=new，行为和普通Chrome完全一致
        self.options.add_argument('--headless')
        self.options.add_argument('--no-sandbox')
        self.options.add_argument('--window-size=1920,1080')
        self.options.add_argument('--disable-dev-shm-usage')
        self.options.add_argument('--disable-gpu')
        # 以下为反爬相关配置
        self.options.add_argument('--disable-blink-features=AutomationControlled')
        self.options.add_experimental_option("excludeSwitches", ["enable-automation"])
        self.options.add_experimental_option('useAutomationExtension', False)
        # 替换为你本地正常运行的Chrome浏览器的User-Agent，不要带Headless字样
        self.options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36')
    def get(self):
        driver = Chrome('/opt/chromedriver', options=self.options)
        # 额外抹去webdriver特征
        driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
            "source": "Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"
        })
        return driver

3. 页面校验与等待逻辑优化 #

你之前加等待还超时大概率是拿到的页面根本不是登录页，先加调试逻辑确认页面内容：

driver.get(url)
# Lambda的/tmp目录可写，打印源码、截图确认返回内容是否为登录页
print(driver.page_source[:5000])
driver.save_screenshot('/tmp/login_page.png')
# 显式等待元素可交互再操作，不要直接查找
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
wait = WebDriverWait(driver, 15)
wait.until(EC.element_to_be_clickable((By.ID, 'login_id'))).send_keys(id)
wait.until(EC.element_to_be_clickable((By.ID, 'login_pw'))).send_keys(password)
# 登录按钮不要用绝对XPath，容错率极低，改用相对定位，比如查找form下的提交按钮
wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, 'form button[type="submit"]'))).click()

4. 版本兼容性问题 #

你当前使用的Chrome 69、chromedriver 2.43都是2018年的老旧版本，对新的前端特性支持极差，很可能出现页面渲染失败、元素不生成的问题。建议你升级Lambda层的无头Chrome和chromedriver版本，尽量和本地测试的Chrome版本保持一致。

内容的提问来源于stack exchange，提问作者Kerry Lee