Python Requests爬取阿迪达斯商品信息时字段捕获及打印异常
代码异常根因
- 参数格式错误:原有
params结构将页面路径错传为url参数,不符合接口入参要求,首次请求直接返回非预期响应结构,不存在metadata字段,触发KeyError - 接口路径错误:二次请求拼接的搜索类接口并非商品详情接口,无目标商品的价格、评分等字段权限,直接取字段时触发空值异常
- 反爬校验缺失:仅配置User-Agent的请求会被站点风控拦截,返回403状态码,JSON结构中无任何商品字段
- 无响应校验逻辑:没有判断请求状态、JSON结构是否存在对应字段就直接取值,只要接口返回结构变更就会触发异常
- 逻辑冗余:目标商品SKU(G27707)已在固定路径中给出,不需要循环遍历metadata数组获取productId,冗余循环会导致取到非目标商品的字段
修正后的可运行代码
import requests import time # 固定目标商品SKU SKU = "G27707" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36', 'Accept': 'application/json', 'Accept-Language': 'en-US,en;q=0.9', 'Referer': f'https://www.adidas.com/us/continental-80-shoes/{SKU}.html' } # 直接调用商品详情接口,按要求传地区参数 api_url = f"https://www.adidas.com/api/products/{SKU}" query_params = { "sitePath": "us", "language": "en" } resp = requests.get(api_url, params=query_params, headers=headers, timeout=15) # 校验请求状态,异常直接抛出 resp.raise_for_status() product = resp.json() # 安全提取字段,避免空值触发异常 product_detail = { "商品名称": product.get("name"), "当前价格": product.get("pricing", {}).get("currentPrice"), "用户评分": product.get("reviews", {}).get("rating"), "可售尺寸": [size.get("size") for size in product.get("sizes", [])], "商品图片地址": [img.get("src") for img in product.get("media", {}).get("images", [])] } print(product_detail) time.sleep(2)
异常排查补充说明
- 若提取字段返回空值:需补充浏览器中对应站点的Cookie字段到请求头中,绕过基础风控校验
- 若触发连接超时/403错误:说明IP被站点临时限制,需降低请求频率,单请求间隔不低于2秒
- 若出现字段不存在报错:说明接口嵌套结构有变更,可通过打印完整
resp.json()的键值确认实际字段位置,不要硬编码路径取值
内容的提问来源于stack exchange,提问作者Muhammad Umer Lari
相关产品推荐
相关产品推荐

