使用Python抓取体育网站表格失败，新手应如何解决？

常见核心原因 #

你遇到的问题90%以上是因为目标站点的表格属于客户端动态渲染内容：站点初始返回的HTML源码里没有表格数据，需要浏览器执行页面自带的JS代码、异步拉取数据后才会生成表格。你直接用普通的HTTP请求工具（比如默认的requests）只能拿到未渲染的初始源码，自然找不到表格内容。

分步排查流程 #

• 首先验证初始响应内容：写简单的requests请求代码，将返回的response.text写入本地后缀为.html的文件，手动打开该文件，如果文件里看不到你要的表格数据，就能确认是动态渲染的问题。
• 其次检查反爬拦截情况：默认requests请求的UA标识会暴露你在用爬虫工具，部分站点会直接拦截这类请求，返回空内容或者错误页。你可以给请求加上浏览器的UA头再重试，示例配置：

import requests
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
response = requests.get("https://www.teapuesto.pe/sport/daily-matches", headers=headers)

• 最后定位数据来源：打开浏览器的F12开发者工具，切换到「网络」面板，刷新页面后筛选Fetch/XHR类型的请求，逐个查看响应内容，找到包含比赛信息的接口，这类接口返回的一般是结构化的JSON数据，直接请求接口比解析HTML效率高得多。

可行解决方案 #

方案1：直接调用数据接口（优先选择） #

如果排查时找到了对应的异步数据接口，直接构造请求拉取JSON数据即可，不需要处理页面渲染逻辑，代码简单、响应速度快，也不容易因为页面结构调整失效。

方案2：使用JS渲染工具爬取 #

如果找不到可用的接口或者接口有加密校验，就使用支持JS渲染的爬虫工具模拟浏览器行为：

• 轻量场景可以用requests-html，内置Chromium内核，调用render()方法即可拿到渲染完成的完整HTML源码
• 复杂场景可以用selenium或者playwright，完全模拟用户操作浏览器的流程，哪怕站点有前端反爬校验也能正常获取内容，仅缺点是请求速度比普通HTTP请求慢。

额外注意事项 #

• 控制请求频率，不要短时间发起大量请求给站点服务器造成额外压力，避免被封禁IP
• 抓取的数据仅可用于个人学习，不要违反站点的robots协议，不要商用传播抓取到的内容

内容的提问来源于stack exchange，提问作者Abdullah Ath Towfiq