Python Beautiful Soup网页抓取:无法完整获取表格数据问题
问题修复说明
你代码存在的3个核心问题
- 条件判断逻辑错误:
if input == "Batting" or "batting":写法不符合Python语法规则,or右侧的"batting"会被直接作为布尔值判断,非空字符串恒为True,无论用户输入什么内容都会触发击球数据输出逻辑。 - 表格单元格取值逻辑错误:你用
tr.find('td')只会匹配每行第一个<td>标签,自然只能拿到第一列的球员名;如果改用find_all('td')会得到该行所有<td>标签组成的列表,不能直接对列表调用.text属性,需要遍历列表取每个单元格的文本。 - 表格定位范围过大:你定位的
team-stats-table是所有数据板块共用的类名,默认取到的是第一个板块的表格,最好加上击球板块的上层定位,避免后续切换其他类别数据时定位混乱。
修正后的可运行代码
from bs4 import BeautifulSoup import requests htmlText = requests.get('https://www.fangraphs.com/teams/mariners/stats').text soup = BeautifulSoup(htmlText, 'lxml') # 先定位到击球板块对应的表格容器 batting_section = soup.find('div', id='team-batting') playerTable = batting_section.find('div', class_='team-stats-table') user_input = input("Would you like to see Batting, Starting Pitching, Relief Pitching, or Fielding Stats? \n") def BattingStats(): print("BATTING STATS:") # 先打印表头 header_cols = playerTable.find_all('th') header = [col.text.strip() for col in header_cols] print('\t'.join(header)) # 遍历每行数据,跳过表头行 for tr in playerTable.find_all('tr')[1:55]: # 拿到该行所有单元格的文本 tds = [td.text.strip() for td in tr.find_all('td')] # 用制表符拼接所有列输出 print('\t'.join(tds)) # 修正条件判断逻辑,统一转小写匹配 if user_input.lower() == "batting": BattingStats()
关键修改说明
- 把内置变量名
input改成了user_input,避免覆盖Python内置的input方法引发后续异常 - 新增了击球板块的id定位
id='team-batting',保证拿到的一定是击球数据表格 - 对
find_all('td')返回的列表做了遍历取值,把每行所有列的内容都提取出来用制表符拼接后输出,你可以根据需求调整输出的列索引,比如只取球员名和本垒打就写print(tds[0], tds[5])这类格式 - 修正了条件判断逻辑,把输入统一转小写匹配,不用同时判断大小写两种情况
内容的提问来源于stack exchange,提问作者Ryan Houghton
相关产品推荐
相关产品推荐

