如何用Python解析已打开的需认证网页内容？

我有一个已打开的需用户名和密码认证的网页，想要使用BeautifulSoup读取页面上的计数器。但Python相关库会创建新的网页实例，需重新输入密码、处理Cookie等。我的代码如下：

from bs4 import BeautifulSoup
import requests

url = requests.get("https://www.google.com")
# something like requests.get("current website") would be nice
soup = BeautifulSoup(url.text, 'html.parser')
print(soup.prettify())
# url.close() 

当前代码会创建新的网页实例，请问能否避免创建新实例，直接从已打开的网页解析读取内容？

嘿，这个场景我太熟了！直接用requests肯定行不通，因为它是单独发起全新的HTTP请求，和你浏览器里已经登录好的会话完全是两个独立的环境。要获取浏览器中已打开页面的内容，得用能和浏览器直接交互的工具才行，给你两个实用的方案：

方案一：用Selenium连接已有浏览器会话 #

如果用的是Chrome或Edge，可以先启动带调试端口的浏览器，让Selenium接入这个已有的会话，这样就能直接获取当前页面的内容，完美继承登录状态：

1. 先关闭所有浏览器窗口，然后通过命令行启动浏览器（以Chrome为例）：

chrome.exe --remote-debugging-port=9222 --user-data-dir="C:\ChromeProfile"

这里的--user-data-dir指定你平时用的浏览器配置文件路径，这样打开的浏览器会自动加载你之前保存的登录会话和Cookie。

2. 然后用Python代码连接这个会话，抓取页面内容：

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 配置连接到已打开的浏览器会话
options = Options()
options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
driver = webdriver.Chrome(options=options)

# 获取当前页面的HTML源码
page_html = driver.page_source
soup = BeautifulSoup(page_html, 'html.parser')

# 这里替换成你要找的计数器元素定位方式，比如按class或id
counter_element = soup.find(class_="your-counter-class")
if counter_element:
    print("计数器值：", counter_element.text)

# 注意：这里不要调用driver.quit()，否则会关闭你正在使用的浏览器

方案二：手动导出页面HTML（适合一次性操作） #

如果只是偶尔需要抓取一次，不想折腾Selenium，可以给浏览器装个一键导出HTML的扩展，把当前页面的源码保存到本地文件，然后用BeautifulSoup读取本地文件解析：

from bs4 import BeautifulSoup

# 假设导出的HTML文件名为current_page.html
with open("current_page.html", "r", encoding="utf-8") as file:
    soup = BeautifulSoup(file.read(), 'html.parser')
    # 解析计数器内容
    counter = soup.find(id="counter-id").text
    print("计数器值：", counter)

这个方法简单但需要手动操作，适合非自动化的场景；如果需要定时或自动抓取，还是方案一更靠谱。

内容的提问来源于stack exchange，提问作者Doug Smith