使用Python+Selenium获取uBlock Origin日志数据失败问题排查

场景描述 #

在Linux无GUI服务器环境下，使用Python结合Firefox驱动的Selenium，目标是统计uBlock Origin检测到的被拦截追踪器数量。已成功获取插件UUID并打开logger页面（moz-extension://<UUID>/logger-ui.html#_），通过page_source能看到页面的HTML内容，但调用find_element(By.CLASS_NAME, "logEntry")始终无法找到目标元素。

原代码 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.firefox.options import Options as FirefoxOptions
browser_options = FirefoxOptions()
browser_options.headless = True

# Activate add on
str_ublock_extension_path = "/usr/local/bin/uBlock0_1.45.3b10.firefox.signed.xpi"
browser = webdriver.Firefox(executable_path='/usr/loca/bin/geckodriver',options=browser_options)        
str_id  = browser.install_addon(str_ublock_extension_path)

# Getting the UUID which is new each time the script is launched
profile_path = browser.capabilities['moz:profile']    
id_extension_firefox = "uBlock0@raymondhill.net"
with open('{}/prefs.js'.format(profile_path), 'r') as file_prefs:
     lines = file_prefs.readlines()
     for line in lines:
     if 'extensions.webextensions.uuids' in line:
         sublines = line.split(',')
         for subline in sublines:
             if id_extension_firefox in subline:
                internal_uuid = subline.split(':')[1][2:38]
                                    
        str_uoo_panel_url = "moz-extension://" + internal_uuid + "/logger-ui.html#_"
        ubo_logger = browser.get(str_uoo_panel_url)
        ubo_logger_log_entries = ubo_logger.find_element(By.CLASS_NAME, "logEntry")
        
        for log_entrie in ubo_logger_log_entries:
            print(log_entrie.text)

问题原因分析 #

1. 代码逻辑错误：browser.get()方法不返回页面对象，执行ubo_logger = browser.get(str_uoo_panel_url)后，ubo_logger的值为None，后续调用find_element会直接报错。
2. 页面未完全加载：调用get()后立即查找元素，此时logEntry元素可能还未完成动态渲染，虽然page_source能看到静态HTML，但动态生成的元素尚未加载。
3. iframe嵌套：uBlock Origin的logger页面可能将日志内容放在iframe中，直接在主页面查找元素会定位失败。
4. 代码缩进错误：原代码中for line in lines:后的if语句未缩进，属于语法错误，会导致脚本无法正常执行到获取UUID和打开页面的逻辑。
5. 无头模式配置不足：Firefox无头模式下，扩展页面的运行环境可能需要额外配置，否则元素渲染会出现异常。

解决方法 #

1. 修正核心代码逻辑错误 #

移除browser.get()的赋值操作，直接调用该方法加载页面，使用browser对象进行元素查找：

str_uoo_panel_url = "moz-extension://" + internal_uuid + "/logger-ui.html#_"
browser.get(str_uoo_panel_url)
# 直接用browser对象操作，而非ubo_logger

2. 添加显式等待确保元素加载 #

使用Selenium的显式等待，等待目标元素出现后再进行查找，避免因页面未加载完成导致的定位失败：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 等待logEntry元素出现，最长等待10秒
log_entries = WebDriverWait(browser, 10).until(
    EC.presence_of_all_elements_located((By.CLASS_NAME, "logEntry"))
)

for entry in log_entries:
    print(entry.text)
# 统计数量直接取len(log_entries)
print(f"检测到的追踪器数量：{len(log_entries)}")

3. 处理iframe嵌套情况 #

如果日志内容在iframe中，需先切换到iframe上下文再查找元素：

# 等待iframe加载并切换
iframe = WebDriverWait(browser, 10).until(
    EC.presence_of_element_located((By.TAG_NAME, "iframe"))
)
browser.switch_to.frame(iframe)

# 查找logEntry元素
log_entries = WebDriverWait(browser, 10).until(
    EC.presence_of_all_elements_located((By.CLASS_NAME, "logEntry"))
)

# 操作完成后切回主页面
browser.switch_to.default_content()

4. 修复代码缩进错误 #

修正原代码中for循环内的缩进问题，确保逻辑正常执行：

with open('{}/prefs.js'.format(profile_path), 'r') as file_prefs:
    lines = file_prefs.readlines()
    for line in lines:
        if 'extensions.webextensions.uuids' in line:
            sublines = line.split(',')
            for subline in sublines:
                if id_extension_firefox in subline:
                    internal_uuid = subline.split(':')[1][2:38]

5. 优化无头模式配置 #

添加必要参数确保Firefox无头模式下扩展正常运行：

browser_options = FirefoxOptions()
browser_options.headless = True
# 添加沙箱、内存相关参数，适配服务器环境
browser_options.add_argument("--no-sandbox")
browser_options.add_argument("--disable-dev-shm-usage")
browser_options.add_argument("--disable-gpu")
# 确保WebExtensions启用
browser_options.set_preference("extensions.webextensions.enabled", True)
# 可选：允许扩展在私有窗口运行（如果需要）
browser_options.set_preference("extensions.webextensions.allow_in_private", True)

内容的提问来源于stack exchange，提问作者8oris