Scrapy导出JSON时额外生成空images数组问题求助

你遇到的空images数组是Scrapy的ImagesPipeline默认行为导致的——这个管道在处理item时，会自动添加images字段来存储图片下载结果，哪怕没有可下载的有效内容，也会生成空数组。结合你已有的自定义Pipeline，只需要做两处修改就能解决问题：

修改自定义Pipeline代码 #

你已经写了customImagePipeline，现在补充两个关键方法，确保图片正常下载的同时移除不需要的images字段：

from scrapy.pipelines.images import ImagesPipeline
import scrapy

class customImagePipeline(ImagesPipeline):
    def file_path(self, request, response=None, info=None):
        # 保留你原有的图片文件名设置逻辑
        return request.url.split('/')[-1]
    
    def get_media_requests(self, item, info):
        # 告诉Pipeline从你定义的`image_url`字段读取要下载的图片地址
        yield scrapy.Request(item['image_url'])
    
    def process_item(self, item, spider):
        # 先让父类完成图片下载的核心处理
        processed_item = super().process_item(item, spider)
        # 安全移除`images`字段（即使字段不存在也不会报错）
        processed_item.pop('images', None)
        # 可选：如果Pipeline自动生成了`image_urls`字段，也可以一并删除
        # processed_item.pop('image_urls', None)
        return processed_item

关键逻辑说明 #

1. get_media_requests方法：默认ImagesPipeline会从image_urls字段读取下载地址，重写这个方法是为了适配你item里的image_url字段，确保图片能正常下载。
2. process_item方法：在父类完成图片处理后，用pop方法移除images字段，这样最终输出的item就不会包含空数组了。

最后检查配置 #

确保你的settings.py里启用的是这个自定义Pipeline，而不是默认的ImagesPipeline：

ITEM_PIPELINES = {
    # 替换成你项目中Pipeline的实际路径
    'your_project_name.pipelines.customImagePipeline': 1,
}

修改完成后，生成的JSON就会是你需要的简洁格式：

{"image_url": "https://image.shutterstock.com/image-photo/deep-forest-river-wild-waterfall-260nw-1585363855.jpg"}

内容的提问来源于stack exchange，提问作者bugs_and_stars