使用BeautifulSoup和pd.read_html无法抓取Sports Reference表格，求技术原因

核心问题 #

• 脚本遗漏依赖库导入：你的代码调用了requests.get()但未导入requests模块，运行时会直接抛出NameError，这是基础错误。
• 网站表格被隐藏在HTML注释中：Sports Reference为实现动态页面渲染，会把表格内容放在<!-- -->格式的HTML注释里。BeautifulSoup.find('tbody')和pd.read_html()默认只会解析正常HTML标签，不会读取注释内的内容，因此抓不到目标表格。

解决步骤 #

1. 补全requests库导入，确保脚本能正常发起请求。
2. 提取HTML中的注释内容，再从注释里解析表格：

修正后的完整代码 #

import requests
from bs4 import BeautifulSoup, Comment
import pandas as pd

url = 'https://www.sports-reference.com/cfb/play-index/rivals.cgi?request=1&school_id=penn-state&opp_id=purdue'

headers = {'User-Agent': 
           'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36'}

# 发起请求
page_tree = requests.get(url, headers=headers)
soup = BeautifulSoup(page_tree.content, 'html.parser')

# 遍历所有HTML注释，查找表格
for comment in soup.find_all(string=lambda text: isinstance(text, Comment)):
    comment_soup = BeautifulSoup(comment, 'html.parser')
    target_table = comment_soup.find('table')
    if target_table:
        # 用pandas解析表格
        df = pd.read_html(str(target_table))[0]
        print(df.head())
        break

这段代码会先提取页面中所有的HTML注释，再逐个解析注释内容，找到目标表格后用pandas转换成DataFrame。

内容的提问来源于stack exchange，提问作者BLuta