使用Scrapy爬取Google图片返回200却未下载到图片问题求解
问题原因
- 代码缩进错误:你贴出的爬虫代码中,
parse、parse_product方法与DownloaderSpider类平级,不属于类的成员方法,Scrapy无法正确调用自定义逻辑,即使实际运行时能打印匹配数量,也属于缩进异常导致的逻辑错误。 - User-Agent版本过旧:你使用的Chrome 34对应的UA是2014年的旧版本,谷歌会返回适配老旧设备的简化版页面,和你在现代浏览器中看到的页面结构、类名完全不一致,导致CSS选择器无法匹配到对应元素。
- 页面内容动态渲染:谷歌图片的搜索结果列表是通过JS动态加载生成的,直接请求返回的原始静态HTML中不存在你使用的
div.isv-r.PNCib.MSM1fd.BUooTd这类动态生成的类名元素。 - 选择器逻辑错误:你调用
getall()获取的是div元素的完整HTML字符串,直接将其作为路径拼接URL完全不符合逻辑,应该先从元素属性中提取目标链接再做拼接。
解决方案
- 修正代码缩进:将
parse、parse_product方法整体缩进,作为DownloaderSpider类的成员方法,保证Scrapy可以正确调用自定义逻辑。 - 更新User-Agent:将
settings.py中的UA替换为现代浏览器的标识,例如Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36,避免谷歌返回简化版页面。 - 调整爬取逻辑:不需要模拟点击进入详情页爬取,谷歌图片的静态页面的
<script>标签中已经内置了所有搜索结果的原始图片地址,直接通过正则匹配提取即可,无需处理动态渲染问题。 - 参考修改后的爬虫代码:
import scrapy import re import json class DownloaderSpider(scrapy.Spider): name = "downloader" start_urls = ["https://www.google.com/search?q=front+end+car+damage&tbm=isch"] def parse(self, response): # 匹配页面中内置的图片结构化数据 data = re.findall(r'AF_initDataCallback\({key: \'ds:1\', data:(.*?)}\)', response.text) if not data: return try: json_data = json.loads(data[0][:-1]) # 遍历提取所有有效原始图片地址 for item in json_data[56][0][1][0][0]: if isinstance(item[0][0][0], str) and item[0][0][0].startswith('http'): yield { 'image_urls': [item[0][0][0]] } except Exception as e: pass
settings.py无需额外调整,保持现有的ImagesPipeline、IMAGES_STORE配置即可正常下载图片。
内容的提问来源于stack exchange,提问作者mechaphantom
相关产品推荐
相关产品推荐

