Scrapy中ModelsPipeline无法运行的问题排查求助

1. Spider方法缩进错误（最可能原因） #

你的parse_models方法定义在WebSpider类外部，Scrapy无法识别该回调方法，导致没有生成包含image_urls的WebItem，管道自然无法执行。

解决方法：将parse_models方法缩进至WebSpider类内部：

class WebSpider(scrapy.Spider):
    name = "web"
    allowed_domains = ["www.web.com"]
    start_urls = ["https://www.web.com/page/"]
    custom_settings = {
        "ITEM_PIPELINES": {
            "models.pipelines.ModelsPipeline": 1,
            "models.pipelines.MongoDBPipeline": 2,
        },
        "IMAGES_STORE": get_project_settings().get("FILES_STORE"),
    }

    def parse_models(self, response):
        ...
        yield WebItem(image_urls=[img_url], images=[name], name=name, collection="web")

2. 检查image_urls的有效性 #

确保img_url是完整的HTTP/HTTPS URL（不是相对路径），如果是相对路径，需要用response.urljoin(img_url)转换为绝对URL：

yield WebItem(image_urls=[response.urljoin(img_url)], images=[name], name=name, collection="web")

3. 验证IMAGES_STORE配置 #

确认get_project_settings().get("FILES_STORE")返回了正确的路径，且该目录存在并可读写。可以直接写死路径测试：

"IMAGES_STORE": "./images",

4. 检查Pipeline方法签名 #

Scrapy 2.8中ImagesPipeline的方法签名需严格匹配，确保没有拼写错误：

• get_media_requests(self, item, info)
• item_completed(self, results, item, info)

5. 确认Item字段匹配 #

确保yield Item时image_urls字段为非空列表类型，即使只有一个URL也要用列表包裹，images字段可留空（由ImagesPipeline自动填充下载结果）。

6. 查看Scrapy日志 #

运行爬虫时开启DEBUG日志，检查是否有Item生成、图片请求发起或管道加载的相关记录：

scrapy crawl web --logfile=scrapy.log --loglevel=DEBUG

搜索ModelsPipeline关键词，确认管道是否被正常加载、是否有Item进入管道。

内容的提问来源于stack exchange，提问作者Tlaloc-ES