使用Scrapy Item Loader存储图片URL列表时仅存单个URL的问题求助

云原生阿岚

2026-7-22

解决Scrapy Item Loader存储图片URL列表仅保存单个的问题

核心原因

Scrapy Item Loader默认的输出处理器是TakeFirst()，会自动从提取结果中取第一个元素返回，导致你传入的URL列表被截断，只保留第一个URL。

解决方案

1. 修改Item字段定义（推荐）

在items.py中给victim_image_url字段指定Identity()输出处理器，让它完整保留列表：

import scrapy
from scrapy.loader.processors import Identity

class CaimItem(scrapy.Item):
    listing_url = scrapy.Field()
    # 用Identity()处理器保留原始列表
    victim_image_url = scrapy.Field(output_processor=Identity())
    listing_title = scrapy.Field()

2. 调整爬虫中的Loader代码

保持Item定义不变的情况下，也可以在创建Loader时给指定字段设置处理器：

from scrapy.loader import ItemLoader
from scrapy.loader.processors import Identity

def parseVictimData(self, response):
    victimItem = ItemLoader(item=CaimItem(), selector=response)
    victimItem.add_value('listing_url', response.meta['listing_url'])
    
    # 直接传入提取到的URL列表，处理器会完整保留
    images = response.xpath('//figure[contains(@data-fancybox,"gallery")]/@href').extract()
    victimItem.add_value('victim_image_url', images)
    
    # 也可以直接用add_xpath提取，无需提前extract，Loader会自动处理
    # victimItem.add_xpath('victim_image_url', '//figure[contains(@data-fancybox,"gallery")]/@href')
    
    victimItem.add_xpath('listing_title', '//*[@id="weldioo"]/section[1]/div[2]/div/div/div/h1')
    return victimItem.load_item()