用Python、pandas爬取Basketball-Reference球员薪资无输出得空DataFrame求排查
问题逐项定位
- 基础变量错位导致解析源为空
代码中拿到网页响应内容后,是把HTML文本赋值给了page变量,但初始化BeautifulSoup时传入的解析源是不存在的html变量。如果本地调试时残留了空字符串类型的html全局变量,就会让BeautifulSoup解析到完全空的内容,后续查找表格行find_all('tr')自然返回空列表。循环操作空列表时会直接跳过逻辑,最终拿到空的salaries列表,用空列表生成的DataFrame本身没有任何数据,调用head()自然没有输出,整个流程不会触发任何报错。 - 解析器参数缺失,部分环境下会直接返回空结果
初始化BeautifulSoup时必须指定解析器类型,补上'html.parser'参数,否则不同Python环境下会直接抛出解析警告,甚至直接返回空的解析对象。 - 表格内容被HTML注释包裹,常规查找拿不到数据
Basketball-Reference的球员薪资表实际是被包裹在HTML注释标签内的,直接对页面源码用soup.find_all()查找tr、td节点,无法拿到注释内部的表格内容。就算修正了变量名,依然拿不到有效数据。 - 列、行索引完全错位
目标表格的原生结构为:第一列是排名序号(Rk),第二列才是目标字段Player(对应td索引1),第三列是所属球队(Tm),第四列才是2019-20赛季的薪资(对应td索引3)。当前代码取的是td索引0和索引2的位置,就算拿到了表格内容,提取到的也是排名数字和球队名,和需求字段不匹配。
行切片soup.find_all('tr')[2:]存在索引偏移,会跳过表格的有效结构,导致第一条数据丢失。 - 请求缺少请求头,容易被网站反爬拦截
不带User-Agent的默认requests请求,容易被网站识别为爬虫返回空的拦截页面,就算前面的代码逻辑都对,拿到的页面内容也不是实际的薪资表。
可直接运行的修正版代码
import requests from bs4 import BeautifulSoup import pandas as pd salaries_url = 'https://www.basketball-reference.com/contracts/players.html' # 加常规浏览器请求头规避反爬 request_headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36' } salaries_response = requests.get(salaries_url, headers=request_headers) page_content = salaries_response.text # 初始化解析器 soup = BeautifulSoup(page_content, 'html.parser') # 定位被注释包裹的薪资表内容,剥离注释标记 comment_node = soup.find(string=lambda text: text and 'player-contracts' in text) cleaned_table_html = str(comment_node).replace('<!--', '').replace('-->', '') table_parser = BeautifulSoup(cleaned_table_html, 'html.parser') salaries = [] # 遍历表格行,跳过空行、表头行 for row in table_parser.find_all('tr'): row_cells = row.find_all('td') # 单元格数量不足时直接跳过空结构 if len(row_cells) < 4: continue # 提取第二列球员名、第四列2019-20赛季薪资 player_name = row_cells[1].text.strip() season_salary = row_cells[3].text.strip().replace('$', '') salaries.append([player_name, season_salary]) # 生成DataFrame并查看前几行 salaries_df = pd.DataFrame(salaries, columns=['Player', '2019-20_salary']) print(salaries_df.head())
内容的提问来源于stack exchange,提问作者miquiztli_
相关产品推荐
相关产品推荐

