You need to enable JavaScript to run this app. Python使用BeautifulSoup爬取Trendyol商品时find_all设limit=3仅返回1条结果
优惠活动
大模型
产品
解决方案
定价
更多

Python使用BeautifulSoup爬取Trendyol商品时find_all设limit=3仅返回1条结果

问题本质

你现在设了limit=3只返回1条结果,和find_all的参数完全没关系:

  • Trendyol的列表页,服务端返回的初始静态HTML不会塞全量商品DOM,只会放1个首屏占位/初始渲染的商品节点,剩下的商品全靠前端JS发异步请求拉取之后,才会动态插进页面DOM里
  • 你用requests拿到的页面文本里,本身就只有1个带p-card-chldrn-cntnr类的div,哪怕把limit改成100,find_all最多也只能返回这1条——它只会在已经拿到的静态文本里找匹配节点,不会主动触发页面的异步加载逻辑去拉更多内容
  • 你之前的选择器还有个容易崩的问题:找商品名的时候绑定了prdct-desc-cntnr-name hasRatings类,只有已经有用户评分的商品才会带hasRatings这个类,没评分的商品根本匹配不到,稍微碰到无评分商品就会触发NoneType报错
调整方法
  • 先做个简单验证:把requests返回的page文本先存成本地html文件打开,数一下里面带p-card-chldrn-cntnr类的节点数量,你会发现本身就只有1个,根本不是limit设小了的问题
  • 想要单次请求拿到当前页的全部商品,别死磕扒动态生成的DOM。Trendyol会把整页的商品数据直接序列化嵌在页面的全局JS变量里(一般是window.__initialData__对应的JSON结构),直接用正则匹配抠出这段JSON解析,不用等JS渲染就能拿到全量当前页的商品链接、名称、价格,稳定性比扒DOM高很多。核心提取逻辑参考:
    import re
    import json
    
    # 匹配页面里内嵌的全局商品数据
    js_match = re.search(r'window\.__initialData__\s*=\s*({.*?});', page)
    if js_match:
        product_list = json.loads(js_match.group(1))
        # 直接遍历product_list取商品信息,不用依赖DOM节点
    
  • 代码层面的硬伤修正:
    • 别用list当变量名,和Python内置的列表类型重名,后续操作很容易出逻辑错误,改成product_cards就行
    • 找商品名称的时候,去掉硬绑定的hasRatings类,直接匹配prdct-desc-cntnr-name类的span就行,找不到的话给个默认空值,别直接取.text触发空对象报错
    • 如果要爬取符合筛选条件的全部商品,得跟着Trendyol的分页规则,循环拼接页码参数逐页请求,单靠第一次打开列表页的请求,根本不可能一次性拿到全站所有符合条件的商品

提示:Trendyol对高频请求有反爬校验,调整请求头和请求频率的时候注意合规,避免触发IP封禁

内容的提问来源于stack exchange,提问作者orkayu

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.14 06:45:01