Python使用BeautifulSoup爬取Trendyol商品时find_all设limit=3仅返回1条结果
问题本质
你现在设了limit=3只返回1条结果,和find_all的参数完全没关系:
- Trendyol的列表页,服务端返回的初始静态HTML不会塞全量商品DOM,只会放1个首屏占位/初始渲染的商品节点,剩下的商品全靠前端JS发异步请求拉取之后,才会动态插进页面DOM里
- 你用requests拿到的页面文本里,本身就只有1个带
p-card-chldrn-cntnr类的div,哪怕把limit改成100,find_all最多也只能返回这1条——它只会在已经拿到的静态文本里找匹配节点,不会主动触发页面的异步加载逻辑去拉更多内容 - 你之前的选择器还有个容易崩的问题:找商品名的时候绑定了
prdct-desc-cntnr-name hasRatings类,只有已经有用户评分的商品才会带hasRatings这个类,没评分的商品根本匹配不到,稍微碰到无评分商品就会触发NoneType报错
调整方法
- 先做个简单验证:把requests返回的page文本先存成本地html文件打开,数一下里面带
p-card-chldrn-cntnr类的节点数量,你会发现本身就只有1个,根本不是limit设小了的问题 - 想要单次请求拿到当前页的全部商品,别死磕扒动态生成的DOM。Trendyol会把整页的商品数据直接序列化嵌在页面的全局JS变量里(一般是
window.__initialData__对应的JSON结构),直接用正则匹配抠出这段JSON解析,不用等JS渲染就能拿到全量当前页的商品链接、名称、价格,稳定性比扒DOM高很多。核心提取逻辑参考:import re import json # 匹配页面里内嵌的全局商品数据 js_match = re.search(r'window\.__initialData__\s*=\s*({.*?});', page) if js_match: product_list = json.loads(js_match.group(1)) # 直接遍历product_list取商品信息,不用依赖DOM节点 - 代码层面的硬伤修正:
- 别用
list当变量名,和Python内置的列表类型重名,后续操作很容易出逻辑错误,改成product_cards就行 - 找商品名称的时候,去掉硬绑定的
hasRatings类,直接匹配prdct-desc-cntnr-name类的span就行,找不到的话给个默认空值,别直接取.text触发空对象报错 - 如果要爬取符合筛选条件的全部商品,得跟着Trendyol的分页规则,循环拼接页码参数逐页请求,单靠第一次打开列表页的请求,根本不可能一次性拿到全站所有符合条件的商品
- 别用
提示:Trendyol对高频请求有反爬校验,调整请求头和请求频率的时候注意合规,避免触发IP封禁
内容的提问来源于stack exchange,提问作者orkayu
相关产品推荐
相关产品推荐

