Python如何操作浏览器已打开的HTML会话并提取指定XPath数据？

核心思路 #

通过浏览器的远程调试模式，让Python脚本直接连接到已打开的浏览器实例，操作现有标签页提取数据，全程无需重新请求服务器或登录。以下以Chrome浏览器为例：

步骤1：启动带远程调试的浏览器 #

先关闭所有Chrome窗口，再通过命令行启动（根据系统选择对应命令）：

• Windows：chrome.exe --remote-debugging-port=9222
• Mac：/Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --remote-debugging-port=9222
• Linux：google-chrome --remote-debugging-port=9222

启动后正常打开目标网页（如https://stackoverflow.com/questions/ask）并保持登录状态。

步骤2：编写Python脚本 #

使用Selenium连接到已启动的浏览器，定位标签页并提取XPath数据：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 配置Chrome选项，连接远程调试端口
chrome_options = Options()
chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")

# 初始化驱动，复用已有浏览器会话
driver = webdriver.Chrome(options=chrome_options)

# 切换到目标标签页（通过URL匹配）
target_url = "https://stackoverflow.com/questions/ask"
for tab in driver.window_handles:
    driver.switch_to.window(tab)
    if driver.current_url == target_url:
        break

# 提取并保存数据
try:
    # 替换为你需要的XPath表达式
    extracted_text = driver.find_element("xpath", "//h1").text
    with open("extracted_content.txt", "w", encoding="utf-8") as f:
        f.write(extracted_text)
    print("数据提取保存成功")
except Exception as e:
    print(f"提取失败：{str(e)}")

# 关闭驱动，保留浏览器窗口
driver.quit()

注意事项 #

• 需安装与Chrome版本匹配的ChromeDriver
• 启动浏览器时必须关闭所有Chrome进程，否则远程调试端口无法绑定
• 替换代码中的XPath表达式为目标数据对应的路径

内容的提问来源于stack exchange，提问作者Phlypour