You need to enable JavaScript to run this app. 使用Scrapy爬取Google图片返回200却未下载到图片问题求解
优惠活动
大模型
产品
解决方案
定价
更多

使用Scrapy爬取Google图片返回200却未下载到图片问题求解

问题原因
  • 代码缩进错误:你贴出的爬虫代码中,parse、parse_product方法与DownloaderSpider类平级,不属于类的成员方法,Scrapy无法正确调用自定义逻辑,即使实际运行时能打印匹配数量,也属于缩进异常导致的逻辑错误。
  • User-Agent版本过旧:你使用的Chrome 34对应的UA是2014年的旧版本,谷歌会返回适配老旧设备的简化版页面,和你在现代浏览器中看到的页面结构、类名完全不一致,导致CSS选择器无法匹配到对应元素。
  • 页面内容动态渲染:谷歌图片的搜索结果列表是通过JS动态加载生成的,直接请求返回的原始静态HTML中不存在你使用的div.isv-r.PNCib.MSM1fd.BUooTd这类动态生成的类名元素。
  • 选择器逻辑错误:你调用getall()获取的是div元素的完整HTML字符串,直接将其作为路径拼接URL完全不符合逻辑,应该先从元素属性中提取目标链接再做拼接。
解决方案
  • 修正代码缩进:将parse、parse_product方法整体缩进,作为DownloaderSpider类的成员方法,保证Scrapy可以正确调用自定义逻辑。
  • 更新User-Agent:将settings.py中的UA替换为现代浏览器的标识,例如Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36,避免谷歌返回简化版页面。
  • 调整爬取逻辑:不需要模拟点击进入详情页爬取,谷歌图片的静态页面的<script>标签中已经内置了所有搜索结果的原始图片地址,直接通过正则匹配提取即可,无需处理动态渲染问题。
  • 参考修改后的爬虫代码:
import scrapy
import re
import json

class DownloaderSpider(scrapy.Spider):
    name = "downloader"
    start_urls = ["https://www.google.com/search?q=front+end+car+damage&tbm=isch"]

    def parse(self, response):
        # 匹配页面中内置的图片结构化数据
        data = re.findall(r'AF_initDataCallback\({key: \'ds:1\', data:(.*?)}\)', response.text)
        if not data:
            return
        try:
            json_data = json.loads(data[0][:-1])
            # 遍历提取所有有效原始图片地址
            for item in json_data[56][0][1][0][0]:
                if isinstance(item[0][0][0], str) and item[0][0][0].startswith('http'):
                    yield {
                        'image_urls': [item[0][0][0]]
                    }
        except Exception as e:
            pass
  • settings.py无需额外调整,保持现有的ImagesPipeline、IMAGES_STORE配置即可正常下载图片。

内容的提问来源于stack exchange,提问作者mechaphantom

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.10 04:00:00