Selenium在IPython与脚本文件中的执行表现差异问题

我之前也碰到过类似的Selenium在交互环境和命令行执行不一致的问题，结合你的情况，来拆解下可能的原因和对应的解决办法：

1. 命令行环境下浏览器启动的默认配置差异 #

在IPython或Python交互环境逐行运行时，浏览器可能会继承你当前用户的日常配置（比如已经默认启用JS的设置）；但命令行执行脚本时，Selenium默认会启动全新的匿名浏览器实例，没有加载任何用户自定义配置，网站的JS检测机制可能因为这个“干净”的环境触发了防御逻辑，弹出未启用JS的提示。

解决办法： #

启动浏览器时加载你的日常用户配置文件（以Chrome为例，其他浏览器逻辑类似）：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
# 替换为你的浏览器用户配置路径：
# Windows示例：C:\\Users\\你的用户名\\AppData\\Local\\Google\\Chrome\\User Data
# Mac示例：~/Library/Application Support/Google/Chrome/Default
options.add_argument("user-data-dir=/path/to/your/browser/profile")
driver = webdriver.Chrome(options=options)

这样启动的浏览器会沿用你平时使用的配置，JS默认处于启用状态，能绕过网站的初始检测。

2. 页面加载时机的差异 #

交互环境逐行运行时，你可能会有自然的等待时间（比如手动看页面加载情况），但脚本批量执行时，代码可能在页面还没完全加载、JS还没初始化完成时就开始操作，导致网站的JS检测逻辑误判为未启用。

解决办法： #

添加显式等待，确保页面关键元素加载完成或JS执行完毕后再继续操作：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

driver.get("你的目标网站URL")
# 等待正常页面的标志性元素出现（比如页面标题或法官名录的容器）
wait = WebDriverWait(driver, 15)
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "标志性元素的选择器")))

# 或者直接等待页面JS完全加载完成
wait.until(lambda d: d.execute_script("return document.readyState === 'complete'"))

3. 网站反爬机制针对自动化环境 #

有些网站会检测浏览器的自动化特征（比如Selenium自带的webdriver属性），即使你确实启用了JS，也会伪装成“未启用JS”的提示来阻止爬取脚本。

解决办法： #

隐藏Selenium的自动化特征，让浏览器更接近普通用户的使用环境（以Chrome为例）：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
# 关闭自动化提示
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)

driver = webdriver.Chrome(options=options)
# 注入脚本隐藏webdriver属性
driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
  'source': '''
    Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
    })
  '''
})

你可以先从第一个原因开始排查，因为配置差异是最常见的交互/命令行执行不一致的诱因。

内容的提问来源于stack exchange，提问作者RCA