Selenium无法加载JavaScript：Google Tag Manager加载的li元素提取失败

核心问题排查与解法 #

1. 补上代码缺失的关键初始化步骤 #

你提供的代码里漏掉了浏览器实例化的核心语句，这会直接导致后续操作无效，先补上：

import undetected_chromedriver as uc
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
import time

opt = uc.ChromeOptions()
opt.add_argument("--disable-blink-features=AutomationControlled")

URL = 'https://cannotsharetheurl'

# 补上这行：初始化浏览器实例
browser = uc.Chrome(options=opt)

browser.get(URL)

2. 替换死板的time.sleep为精准的显式等待 #

time.sleep(10)完全靠碰运气，应该直接等待目标li元素加载完成，而不是盲目等待：

try:
    # 等待目标li元素出现，最长等待20秒
    target_li_list = WebDriverWait(browser, 20).until(
        EC.presence_of_all_elements_located((By.TAG_NAME, "li"))
    )
    print(f"成功抓取到{len(target_li_list)}个li元素")
except TimeoutException:
    print("超时未找到目标li元素")

3. 先关闭headless模式验证内容是否存在 #

很多网站对headless模式的浏览器会限制动态内容加载，先去掉--headless参数，手动打开浏览器窗口查看：如果窗口里能看到li元素但headless下不行，给headless模式补充更贴近真实浏览器的配置：

opt.add_argument("--headless=new")  # 用新版headless，行为更接近正常浏览器
opt.add_argument("--window-size=1920,1080")  # 设置PC端窗口尺寸，避免移动端渲染逻辑
opt.add_argument("--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")  # 模拟真实用户代理

4. 检查是否需要交互触发GTM内容渲染 #

部分GTM加载的内容需要用户交互（比如滚动、点击）才会注入到页面，试试模拟滚动到底部：

browser.get(URL)
# 滚动到页面底部触发加载
browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
# 再等待元素加载
try:
    target_li_list = WebDriverWait(browser, 15).until(
        EC.presence_of_all_elements_located((By.TAG_NAME, "li"))
    )
except TimeoutException:
    print("滚动后仍未加载目标元素")

5. 排查页面JS报错 #

非headless模式下按F12打开开发者工具，查看Console标签是否有GTM脚本加载失败的报错。也可以在代码里打印浏览器日志：

browser.get(URL)
# 打印浏览器console日志
logs = browser.get_log('browser')
for log in logs:
    if log['level'] in ['SEVERE', 'WARNING']:
        print(f"JS日志[{log['level']}]: {log['message']}")

6. 确保undetected_chromedriver与Chrome版本匹配 #

版本不兼容会导致动态渲染异常，用以下代码自动匹配本地Chrome版本：

from selenium.webdriver.chrome.service import Service

# 自动查找本地Chrome路径并匹配版本
browser = uc.Chrome(service=Service(uc.find_chrome_executable()), options=opt)

内容的提问来源于stack exchange，提问作者wwhitman