如何获取onclick事件生成的HTML内容？Python爬虫问题

方案1：抓取动态加载的接口 #

• 打开浏览器开发者工具（按F12），切换到「Network」标签
• 触发目标onclick事件，过滤「XHR」或「Fetch」类型的请求，找到返回bet_all相关数据的接口
• 直接用requests请求该接口，解析返回的JSON/XML数据，按需构造所需内容

方案2：使用无头浏览器渲染完整页面 #

• 用selenium或playwright这类工具模拟真实浏览器，它们会执行页面JS并渲染动态生成的内容
• 示例代码（selenium）：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options

# 启动无头Chrome
options = Options()
options.add_argument("--headless=new")
driver = webdriver.Chrome(options=options)

# 访问目标页面
driver.get("你的目标页面URL")
# 触发点击事件（替换成实际的触发按钮选择器）
driver.find_element(By.CSS_SELECTOR, ".触发按钮的类名").click()
# 获取渲染后的完整页面源码
full_html = driver.page_source
# 后续用BeautifulSoup等工具解析full_html即可提取bet_all类的内容

driver.quit()

方案3：模拟页面JS生成逻辑 #

• 查看页面的JavaScript代码，定位到onclick事件对应的处理函数
• 分析该函数生成bet_all内容的逻辑（比如从哪里拉取数据、如何拼接HTML）
• 在Python中直接实现这个逻辑，生成目标内容，无需依赖浏览器

内容的提问来源于stack exchange，提问作者flying_penguin