Scrapy爬虫：如何通过ImagePipeline批量下载网页所有图片？求助

我来帮你搞定这个问题——你的核心问题在于当前代码只生成了一个Item：哪怕循环遍历了所有img标签，最后也只返回最后一次修改的那个Item，自然每页只有一张图片被处理。另外把extract_first()改成extract()会导致传递给image_urls的是嵌套列表（比如[[url1], [url2]]），这不符合ImagePipeline的预期格式，所以爬虫会直接崩溃。

正确的实现方式 #

你需要为每张图片创建一个独立的Item。具体做法是在循环内初始化ItemLoader（或直接创建Item），填充完当前图片的信息后，就把这个Item加入列表，最后返回整个Item列表：

import socket
from datetime import datetime
from scrapy.loader import ItemLoader
from your_project.items import YourImageItem  # 替换成你实际的Item类

def parse(self, response):
    items = []
    for elem in response.xpath("//img"):
        l = ItemLoader(item=YourImageItem(), response=response)
        # 获取当前img标签的src，用extract_first()确保拿到单个字符串
        img_url = elem.xpath("@src").extract_first()
        if img_url:  # 跳过没有src属性的无效img标签
            l.add_value('image_urls', img_url)  # ItemLoader会自动把字符串转为符合要求的列表
            l.add_value('url', response.url)
            l.add_value('project', self.settings.get('BOT_NAME'))
            l.add_value('spider', self.name)
            l.add_value('server', socket.gethostname())
            l.add_value('date', datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
            items.append(l.load_item())
    return items

关键修改点说明 #

• 循环内创建新的ItemLoader：每次遍历img标签时都初始化新的ItemLoader，让每张图片对应一个独立的Item，而非在同一个Item上反复追加内容。
• 增加空值检查：跳过没有src属性的无效img标签，避免无意义的报错。
• 简化image_urls赋值：直接传递字符串即可，ItemLoader会自动将其转换为ImagePipeline要求的列表格式，不需要手动套[]。
• 返回Item列表：把所有生成的Item收集到列表中返回，Scrapy会逐个处理这些Item，实现每张图片单独下载。

这样修改后，每页的每张图片都会生成一个独立的Item，ImagePipeline也能正常处理并下载所有图片了。

内容的提问来源于stack exchange，提问作者Tomzski