You need to enable JavaScript to run this app. Python Requests爬取阿迪达斯商品信息时字段捕获及打印异常
优惠活动
大模型
产品
解决方案
定价
更多

Python Requests爬取阿迪达斯商品信息时字段捕获及打印异常

代码异常根因
  • 参数格式错误:原有params结构将页面路径错传为url参数,不符合接口入参要求,首次请求直接返回非预期响应结构,不存在metadata字段,触发KeyError
  • 接口路径错误:二次请求拼接的搜索类接口并非商品详情接口,无目标商品的价格、评分等字段权限,直接取字段时触发空值异常
  • 反爬校验缺失:仅配置User-Agent的请求会被站点风控拦截,返回403状态码,JSON结构中无任何商品字段
  • 无响应校验逻辑:没有判断请求状态、JSON结构是否存在对应字段就直接取值,只要接口返回结构变更就会触发异常
  • 逻辑冗余:目标商品SKU(G27707)已在固定路径中给出,不需要循环遍历metadata数组获取productId,冗余循环会导致取到非目标商品的字段
修正后的可运行代码
import requests
import time

# 固定目标商品SKU
SKU = "G27707"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36',
    'Accept': 'application/json',
    'Accept-Language': 'en-US,en;q=0.9',
    'Referer': f'https://www.adidas.com/us/continental-80-shoes/{SKU}.html'
}

# 直接调用商品详情接口,按要求传地区参数
api_url = f"https://www.adidas.com/api/products/{SKU}"
query_params = {
    "sitePath": "us",
    "language": "en"
}

resp = requests.get(api_url, params=query_params, headers=headers, timeout=15)
# 校验请求状态,异常直接抛出
resp.raise_for_status()
product = resp.json()

# 安全提取字段,避免空值触发异常
product_detail = {
    "商品名称": product.get("name"),
    "当前价格": product.get("pricing", {}).get("currentPrice"),
    "用户评分": product.get("reviews", {}).get("rating"),
    "可售尺寸": [size.get("size") for size in product.get("sizes", [])],
    "商品图片地址": [img.get("src") for img in product.get("media", {}).get("images", [])]
}

print(product_detail)
time.sleep(2)
异常排查补充说明
  • 若提取字段返回空值:需补充浏览器中对应站点的Cookie字段到请求头中,绕过基础风控校验
  • 若触发连接超时/403错误:说明IP被站点临时限制,需降低请求频率,单请求间隔不低于2秒
  • 若出现字段不存在报错:说明接口嵌套结构有变更,可通过打印完整resp.json()的键值确认实际字段位置,不要硬编码路径取值

内容的提问来源于stack exchange,提问作者Muhammad Umer Lari

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.02 12:45:03