Scrapy无法保存爬取Item：绝对路径失效问题求助

问题复盘 #

已确认Item正确填充（item_scraped_count显示为9），本地路径有效且设置了overwrite: True，但使用resources.path获取的路径或手动指定的绝对路径时，爬取结果无法写入文件；仅相对路径可正常保存到运行目录。

解决思路 #

1. 将路径转为字符串类型 #

Scrapy的FEEDS配置要求路径为字符串，而非Path对象。resources.path返回的路径对象或手动创建的Path实例无法被Scrapy正确解析，需显式转为字符串：

修改resources.path用法：

with resources.path(SCRAPING_MANIFESTS['systems'], 'manifest.jl') as path:
    process = CrawlerProcess({
        'FEEDS': {
            str(path): {  # 转为字符串格式
                'format': 'jsonlines',
                'overwrite': True,
                'indent': 4
            }
        }
    })

修改手动绝对路径用法：

process = CrawlerProcess({
    'FEEDS': {
        str(Path("C:\\Users\\xxxx\\PycharmProjects\\xxxx\\src\\python_scrapper_nf\\xxxx\\manifest.jsonlines")): {
            'format': 'jsonlines',
            'overwrite': True,
            'indent': 4
        }
    }
})

2. 检查目录权限与存在性 #

• 确认绝对路径指向的父目录已存在，Scrapy不会自动创建多级目录，需提前用os.makedirs(target_path.parent, exist_ok=True)创建
• 检查目标目录的写入权限，可尝试以管理员权限运行爬虫，或修改目录权限为可写入

3. 规范Windows路径格式 #

Windows下的绝对路径需正确处理反斜杠：

# 方式1：使用原始字符串
Path(r"C:\Users\xxxx\PycharmProjects\xxxx\src\python_scrapper_nf\xxxx\manifest.jsonlines")
# 方式2：改用正斜杠
Path("C:/Users/xxxx/PycharmProjects/xxxx/src/python_scrapper_nf/xxxx/manifest.jsonlines")

4. 启用日志排查细节 #

添加日志配置，查看是否有路径相关报错：

process = CrawlerProcess({
    'LOG_LEVEL': 'DEBUG',
    'FEEDS': {
        str(path): {
            'format': 'jsonlines',
            'overwrite': True,
            'indent': 4
        }
    }
})

重点关注日志中的FileNotFoundError、PermissionError等信息，定位具体问题。

5. 提前验证路径有效性 #

在代码中添加路径校验，确保路径合法可写：

import os
from pathlib import Path

target_path = Path("C:\\Users\\xxxx\\...\\manifest.jsonlines")
print("绝对路径:", target_path.absolute())
print("父目录是否存在:", target_path.parent.exists())
print("目录是否可写:", os.access(target_path.parent, os.W_OK))

内容的提问来源于stack exchange，提问作者Jack Avante