Scrapy 图片URL返回404时如何更新链接重试，media_failed未触发如何处理

核心原因 #

• media_failed方法仅会捕获传输层异常（网络超时、DNS解析失败、连接被重置等）；对HTTP层返回404/403等带明确状态码的响应，FilesPipeline会直接在内部将错误包装为FileException抛出，走内置的告警打印逻辑，完全不会触发media_failed的执行链路。
• 你在item_completed中观察到的元组结构(False, <twisted.python.failure.Failure scrapy.pipelines.files.FileException: download-error>)，就是内置逻辑拦截404错误后生成的返回结果，已经跳过了media_failed的触发分支。
• 日志中输出的[scrapy.pipelines.files] WARNING: File (code: 404): Error downloading file from <GET https://any_dummy_link.jpg> referred in <None>，就是内置异常捕获逻辑的标准输出，属于同一拦截流程的表现。

落地实现步骤 #

• 重写item_completed方法，遍历与file_urls列表一一对应的results集合，定位返回状态为False的失败条目，提取对应失败URL、关联的item上下文。
• 从Failure对象挂载的响应实例中提取HTTP状态码，筛选出404的错误场景，将item中对应位置的原始图片链接替换为预设的备选链接。
• 手动触发下载重试：调用管道内置的self.media_downloaded方法，基于替换后的新URL发起下载请求，替代原本未触发的media_failed流程。
• 规避管道缓存拦截：重写file_path方法，对替换后的备选URL跳过原URL的哈希去重判断，避免管道将新链接误判为已失败的资源，阻断正常下载流程。

内容的提问来源于stack exchange，提问作者Roman