使用BeautifulSoup爬取Steam商品价格触发IndexError报错如何解决?
问题修复方案
错误原因
你遇到的IndexError是两个原因共同导致的:
- 直接发起无请求头的HTTP请求,被Steam的反爬机制拦截,返回的不是正常的商品详情页,页面内不存在你要找的
market_commodity_orders_header_promote类元素,find_all返回空列表,取索引[0]自然越界。 - 爬取的是HTML页面,却使用了
xml解析器,解析逻辑不匹配也会导致元素查找失败。
修复步骤
- 添加
User-Agent请求头模拟浏览器访问,绕过基础反爬 - 将解析器替换为HTML解析器,建议使用Python自带的
html.parser无需额外安装 - 增加非空判断逻辑,避免元素不存在时直接抛出异常
修正后代码
import bs4 import requests from bs4 import BeautifulSoup def parsePrice(): # 添加请求头模拟浏览器 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36" } r = requests.get('https://steamcommunity.com/market/listings/440/Mann%20Co.%20Supply%20Crate%20Key', headers=headers) # 替换为HTML解析器 soup = bs4.BeautifulSoup(r.text, "html.parser") price_elements = soup.find_all('span', {'class': 'market_commodity_orders_header_promote'}) # 先判断是否找到对应元素再取值 if price_elements and len(price_elements) >=1: inner_span = price_elements[0].find('span') if inner_span: return inner_span.text return "未获取到价格" while True: print('the current price: '+ parsePrice())
额外说明
如果添加请求头后仍然获取不到内容,说明你的IP短时间内请求次数过多被Steam临时限制,可以等待一段时间后再试,或者添加代理IP池降低单个IP的请求频率。
内容的提问来源于stack exchange,提问作者tuckspyder
相关产品推荐
相关产品推荐

