解析HTML后无法统计全部<time>标签？Python与Chrome结果不一致

这个问题我碰到过好多次啦！核心原因其实很简单：你用requests拿到的是服务器返回的原始HTML代码，但Chrome开发者工具里看到的是浏览器执行完JavaScript之后渲染出来的最终DOM结构——那些多出来的15个<time>标签，大概率是页面加载后通过JS动态生成的，根本不在原始HTML里，所以BeautifulSoup自然解析不到。

下面给你两种靠谱的解决方案：

方案1：用浏览器自动化工具获取渲染后的DOM #

这类工具会模拟真实浏览器加载页面，执行所有JS代码，让你拿到和Chrome里一模一样的DOM。常用的有Selenium和Playwright，这里给你举个Selenium的例子：

首先需要安装依赖：

pip install selenium

还要下载对应浏览器版本的驱动（比如Chrome的chromedriver），然后编写代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 初始化Chrome浏览器
driver = webdriver.Chrome()
driver.get(URL)

# 显式等待10秒，确保所有<time>标签都加载完成（比直接sleep更可靠）
WebDriverWait(driver, 10).until(EC.presence_of_all_elements_located((By.TAG_NAME, 'time')))

# 获取渲染后的页面源码
rendered_html = driver.page_source
soup = BeautifulSoup(rendered_html, 'lxml')

# 现在统计的数量应该和Chrome一致了
print(len(soup.select("time")))

# 记得关闭浏览器
driver.quit()

方案2：直接抓取动态数据的API接口 #

如果这些<time>标签的数据是通过AJAX请求从后端接口获取的，那直接调用这个接口会比模拟浏览器更高效。你可以这样操作：

• 打开Chrome开发者工具的「Network」面板
• 刷新页面，筛选「XHR/fetch」类型的请求
• 逐个查看请求的响应内容，找到返回<time>对应数据的接口
• 用requests直接请求这个接口，解析返回的JSON数据来统计数量

额外小提示 #

如果排除了动态内容的问题，那可能是HTML解析器的差异导致的。默认的html.parser对复杂HTML的兼容性不如lxml或html5lib，你可以试试换成：

soup = BeautifulSoup(doc, 'lxml')  # 需要先安装lxml：pip install lxml

不过这种情况导致数量差异的概率比较小，优先排查动态内容的问题哦。

内容的提问来源于stack exchange，提问作者Runez