Scrapy管道重命名图片保存报错OSError[WinError123]求解决方案

这个错误OSError: [WinError 123]几乎肯定是因为你生成的新文件名包含Windows系统禁止的字符，比如<>:\"/|?*这些，另外你的代码还有几个可以优化的地方，下面一步步给你修复：

1. 修复现有管道代码 #

首先处理非法字符问题，同时优化路径逻辑，避免依赖目录切换：

import os
import re

class BdstallSpiderPipeline:
    def process_item(self, item, spider):
        # 定义Windows禁用的文件名字符正则，替换为下划线
        invalid_chars = r'[<>:"/\\|?*]'
        clean_title = re.sub(invalid_chars, '_', item['title'][0].strip())
        new_image_name = f"{clean_title}.jpg"
        
        # 用绝对路径代替os.chdir，避免目录切换带来的问题
        base_dir = r"C:\Users\JohnD\Downloads\Foobar"
        target_dir = os.path.join(base_dir, 'full')
        # 确保目标目录存在，不存在则创建
        os.makedirs(target_dir, exist_ok=True)
        
        # 拼接原图片的绝对路径（Scrapy的images路径是相对IMAGES_STORE的）
        original_image_path = os.path.join(spider.settings.get('IMAGES_STORE'), item['images'][0]['path'])
        new_image_path = os.path.join(target_dir, new_image_name)
        
        # 执行重命名
        os.rename(original_image_path, new_image_path)
        return item

2. 原代码的问题分析 #

• 非法字符未处理：item['title'][0]很可能包含Windows不允许的字符（比如标题里的冒号、斜杠），直接用作文件名就会触发WinError123。
• 依赖os.chdir风险高：切换当前目录后，后续代码或其他管道可能会改变目录，导致路径失效，用绝对路径更可靠。
• 未确保目标目录存在：如果full/目录不存在，os.rename会直接报错，提前创建目录能避免这个问题。
• Scrapy路径未拼接：item['images'][0]['path']是相对Scrapy配置的IMAGES_STORE的路径，直接使用会找不到原文件，必须拼接成绝对路径。

3. 更优雅的方案：用Scrapy自带ImagesPipeline重命名 #

其实Scrapy的ImagesPipeline原生支持自定义文件名，完全不需要手动调用os.rename，更符合框架设计：

from scrapy.pipelines.images import ImagesPipeline
from scrapy.http import Request
import re

class CustomImagesPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        # 把标题传递到请求元数据中
        for image_url in item['image_urls']:
            yield Request(image_url, meta={'title': item['title'][0]})
    
    def file_path(self, request, response=None, info=None):
        # 清理标题中的非法字符
        invalid_chars = r'[<>:"/\\|?*]'
        clean_title = re.sub(invalid_chars, '_', request.meta['title'].strip())
        # 返回自定义的保存路径和文件名
        return f'full/{clean_title}.jpg'

然后在项目的settings.py中替换默认管道：

ITEM_PIPELINES = {
    # 注释掉默认的ImagesPipeline
    # 'scrapy.pipelines.images.ImagesPipeline': 1,
    'your_project_name.pipelines.CustomImagesPipeline': 1,
}

这种方式会自动处理图片下载、路径创建、重复文件跳过等问题，比手动操作文件更稳定。

内容的提问来源于stack exchange，提问作者booleantrue