Docker环境下Webscraper报错：Cannot read properties of null (reading 'shadowRoot')

核心问题分析 #

报错Cannot read properties of null (reading 'shadowRoot')意味着document.getElementById("usercentrics-root")返回了null——也就是弹窗的根元素在Docker环境的浏览器中还没加载完成，或者渲染环境和本地存在差异导致元素无法被正常定位。

具体修复方案 #

1. 增加显式等待，确保元素完全加载 #

不要直接执行定位代码，先等待弹窗根元素出现后再操作，用Selenium的显式等待避免因加载速度差异导致的问题：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 等待10秒，直到usercentrics-root元素出现
WebDriverWait(browser, 10).until(
    EC.presence_of_element_located((By.ID, "usercentrics-root"))
)

# 再执行获取拒绝按钮的脚本
deny_all_button = browser.execute_script('return document.getElementById("usercentrics-root").shadowRoot.getElementById("uc-cnil-deny-all")')

2. 调整Docker中无头浏览器的启动参数 #

Docker中默认的无头浏览器模式和本地桌面浏览器差异较大，启用新版无头模式并补充必要参数：

from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument("--headless=new")  # 新版无头模式，更贴近正常浏览器渲染逻辑
chrome_options.add_argument("--no-sandbox")
chrome_options.add_argument("--disable-dev-shm-usage")
chrome_options.add_argument("--enable-javascript")
chrome_options.add_argument("--enable-dom-storage")

# 初始化浏览器时传入配置
browser = webdriver.Chrome(options=chrome_options)

3. 增加空值判断，避免链式调用报错 #

修改JavaScript脚本，先逐一确认元素和shadowRoot是否存在，再执行后续操作：

deny_all_button = browser.execute_script("""
const rootElement = document.getElementById('usercentrics-root');
if (!rootElement) return null;
const shadowRoot = rootElement.shadowRoot;
return shadowRoot ? shadowRoot.getElementById('uc-cnil-deny-all') : null;
""")

4. 验证Docker中的页面渲染状态 #

通过截图确认页面是否正常加载弹窗：

browser.save_screenshot('/tmp/page_snapshot.png')

然后从Docker复制截图到本地查看：

docker cp <你的容器ID>:/tmp/page_snapshot.png ./

如果截图中没有弹窗，说明网站可能识别了无头环境，需要添加模拟正常用户的User-Agent：

chrome_options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")

内容的提问来源于stack exchange，提问作者MSH