You need to enable JavaScript to run this app. 使用BeautifulSoup爬取Steam商品价格触发IndexError报错如何解决?
优惠活动
大模型
产品
解决方案
定价
更多

使用BeautifulSoup爬取Steam商品价格触发IndexError报错如何解决?

问题修复方案

错误原因

你遇到的IndexError是两个原因共同导致的:

  • 直接发起无请求头的HTTP请求,被Steam的反爬机制拦截,返回的不是正常的商品详情页,页面内不存在你要找的market_commodity_orders_header_promote类元素,find_all返回空列表,取索引[0]自然越界。
  • 爬取的是HTML页面,却使用了xml解析器,解析逻辑不匹配也会导致元素查找失败。

修复步骤

  1. 添加User-Agent请求头模拟浏览器访问,绕过基础反爬
  2. 将解析器替换为HTML解析器,建议使用Python自带的html.parser无需额外安装
  3. 增加非空判断逻辑,避免元素不存在时直接抛出异常

修正后代码

import bs4
import requests
from bs4 import BeautifulSoup

def parsePrice():
    # 添加请求头模拟浏览器
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"
    }
    r = requests.get('https://steamcommunity.com/market/listings/440/Mann%20Co.%20Supply%20Crate%20Key', headers=headers)
    # 替换为HTML解析器
    soup = bs4.BeautifulSoup(r.text, "html.parser")
    price_elements = soup.find_all('span', {'class': 'market_commodity_orders_header_promote'})
    # 先判断是否找到对应元素再取值
    if price_elements and len(price_elements) >=1:
        inner_span = price_elements[0].find('span')
        if inner_span:
            return inner_span.text
    return "未获取到价格"

while True:
    print('the current price: '+ parsePrice())

额外说明

如果添加请求头后仍然获取不到内容,说明你的IP短时间内请求次数过多被Steam临时限制,可以等待一段时间后再试,或者添加代理IP池降低单个IP的请求频率。

内容的提问来源于stack exchange,提问作者tuckspyder

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.19 09:24:07