You need to enable JavaScript to run this app. Scrapy爬取Flipkart时图片src与DevTools显示值不一致的原因及解法
优惠活动
大模型
产品
解决方案
定价
更多

Scrapy爬取Flipkart时图片src与DevTools显示值不一致的原因及解法

问题根因

你遇到的图片地址不一致问题,核心是两个原因共同导致的:

  1. Flipkart全站采用前端图片懒加载机制。你在DevTools的Elements面板看到的真实图片src,是浏览器执行完懒加载JS逻辑、动态修改img节点属性后呈现的实时状态,不是服务器直接返回给Scrapy的初始HTML内容:
    • 服务器返回的初始HTML里,所有商品图的src属性默认填充几KB大小的占位SVG,也就是你提取到的//img1a.flixcart.com/www/linchpin/fk-cp-zion/img/placeholder_fcebae.svg
    • 真实的商品图片URL根本不会直接放在src属性中,而是挂载在img节点的自定义HTML属性上,等页面滚动到图片可视区域时,JS才会把这个预存的真实地址覆盖到src上,这时候DevTools里才会显示真实地址
  2. 你写的xpath选择器本身稳定性不足:用来定位图片外层容器的CXW8mj _21_khk是前端打包生成的哈希类名,每次网站发版都会随机变动,而且直接提取动态修改后的src属性,本身就和爬虫拿到初始HTML的场景不匹配
可落地的调整方案
  • 优先解析初始HTML中的自定义属性,不依赖JS渲染后的DOM
    在Scrapy Shell中执行命令打印目标img节点的完整内容:response.xpath('//img[contains(@class, "_396cs4")]').get(),遍历节点上的所有属性,找到存储真实图片地址的自定义字段(Flipkart通常会把真实地址存在data-src、data-lazy-src或srcset这类属性上),直接提取对应属性即可。比如确认真实地址存在data-src字段后,用选择器response.xpath('//img[contains(@class, "_396cs4")]/@data-src').get()就能拿到完整的商品图链接,不需要等JS执行
  • 替换稳定性差的定位逻辑
    不要依赖外层容器的哈希类名做定位锚点,优先通过img节点本身的固定特征筛选:比如带_396cs4类名、alt属性为商品标题的img标签,这类特征不会因为网站版本迭代频繁变动
  • 校验请求头合法性
    如果排查完所有自定义属性还是只拿到占位图,检查Scrapy的请求头配置,补上和主流浏览器一致的User-Agent、Accept、Accept-Language字段,避免被Flipkart的反爬机制识别为爬虫,直接返回不带真实资源的占位页面
  • (可选)针对必须JS渲染才能获取的资源
    可以接入轻量的JS渲染组件,等待页面懒加载逻辑触发完成后再提取DOM属性,但对于纯技术学习场景,优先从初始HTML的自定义属性中找资源地址,运行效率更高,也更易调试

调试提醒:永远不要直接把DevTools Elements面板里复制的路径、属性直接用到Scrapy里,那个面板展示的是动态修改后的DOM状态,所有选择器的有效性,必须以Scrapy Shell中打印的原始response内容做校验


内容的提问来源于stack exchange,提问作者Sandip Mukherjee

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.07 15:45:05