You need to enable JavaScript to run this app. 用Python、pandas爬取Basketball-Reference球员薪资无输出得空DataFrame求排查
优惠活动
大模型
产品
解决方案
定价
更多

用Python、pandas爬取Basketball-Reference球员薪资无输出得空DataFrame求排查

问题逐项定位
  • 基础变量错位导致解析源为空
    代码中拿到网页响应内容后,是把HTML文本赋值给了page变量,但初始化BeautifulSoup时传入的解析源是不存在的html变量。如果本地调试时残留了空字符串类型的html全局变量,就会让BeautifulSoup解析到完全空的内容,后续查找表格行find_all('tr')自然返回空列表。循环操作空列表时会直接跳过逻辑,最终拿到空的salaries列表,用空列表生成的DataFrame本身没有任何数据,调用head()自然没有输出,整个流程不会触发任何报错。
  • 解析器参数缺失,部分环境下会直接返回空结果
    初始化BeautifulSoup时必须指定解析器类型,补上'html.parser'参数,否则不同Python环境下会直接抛出解析警告,甚至直接返回空的解析对象。
  • 表格内容被HTML注释包裹,常规查找拿不到数据
    Basketball-Reference的球员薪资表实际是被包裹在HTML注释标签内的,直接对页面源码用soup.find_all()查找tr、td节点,无法拿到注释内部的表格内容。就算修正了变量名,依然拿不到有效数据。
  • 列、行索引完全错位
    目标表格的原生结构为:第一列是排名序号(Rk),第二列才是目标字段Player(对应td索引1),第三列是所属球队(Tm),第四列才是2019-20赛季的薪资(对应td索引3)。当前代码取的是td索引0和索引2的位置,就算拿到了表格内容,提取到的也是排名数字和球队名,和需求字段不匹配。
    行切片soup.find_all('tr')[2:]存在索引偏移,会跳过表格的有效结构,导致第一条数据丢失。
  • 请求缺少请求头,容易被网站反爬拦截
    不带User-Agent的默认requests请求,容易被网站识别为爬虫返回空的拦截页面,就算前面的代码逻辑都对,拿到的页面内容也不是实际的薪资表。
可直接运行的修正版代码
import requests
from bs4 import BeautifulSoup
import pandas as pd

salaries_url = 'https://www.basketball-reference.com/contracts/players.html'
# 加常规浏览器请求头规避反爬
request_headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36'
}
salaries_response = requests.get(salaries_url, headers=request_headers)
page_content = salaries_response.text

# 初始化解析器
soup = BeautifulSoup(page_content, 'html.parser')
# 定位被注释包裹的薪资表内容,剥离注释标记
comment_node = soup.find(string=lambda text: text and 'player-contracts' in text)
cleaned_table_html = str(comment_node).replace('<!--', '').replace('-->', '')
table_parser = BeautifulSoup(cleaned_table_html, 'html.parser')

salaries = []
# 遍历表格行,跳过空行、表头行
for row in table_parser.find_all('tr'):
    row_cells = row.find_all('td')
    # 单元格数量不足时直接跳过空结构
    if len(row_cells) < 4:
        continue
    # 提取第二列球员名、第四列2019-20赛季薪资
    player_name = row_cells[1].text.strip()
    season_salary = row_cells[3].text.strip().replace('$', '')
    salaries.append([player_name, season_salary])

# 生成DataFrame并查看前几行
salaries_df = pd.DataFrame(salaries, columns=['Player', '2019-20_salary'])
print(salaries_df.head())

内容的提问来源于stack exchange,提问作者miquiztli_

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.16 17:36:04