You need to enable JavaScript to run this app. PyCharm下Python3.9运行Scrapy蜘蛛找不到wikiSpider.wikiSpider模块
优惠活动
大模型
产品
解决方案
定价
更多

PyCharm下Python3.9运行Scrapy蜘蛛找不到wikiSpider.wikiSpider模块

报错原因

该错误是Python解释器无法找到wikiSpider.wikiSpider对应的模块路径,本质是运行路径不对、文件存放位置不符合Scrapy项目规范、导入路径错误三类问题叠加导致。

解决步骤

1. 按Scrapy规范调整文件存放位置

Scrapy项目通过scrapy startproject wikiSpider生成的标准结构为:

  • 项目根目录(包含scrapy.cfg配置文件)
    • 内部代码目录(与根目录同名,即wikiSpider/)
      • __init__.py
      • items.py:存放你的Article类定义
      • settings.py
      • spiders/目录:存放所有爬虫文件
      • pipelines.py
      • 其他扩展文件
        需要做的调整:
  • 把你的Article类移动到wikiSpider/items.py文件中
  • 把articleSpider.py移动到wikiSpider/spiders/目录下,不要放在项目根目录
  • 确认wikiSpider/、wikiSpider/spiders/目录下都存在空的__init__.py文件,避免Python无法识别包结构

2. 修正导入语句

原导入路径from wikiSpider.wikiSpider.items import Article层级错误,在wikiSpider/spiders/articleSpider.py文件中使用:

from ..items import Article

如果相对导入报错,可改为绝对导入:

from wikiSpider.items import Article

3. 修正运行命令

scrapy runspider是用于运行独立爬虫文件的命令,你当前代码依赖整个Scrapy项目的配置和items定义,需要先切换到项目根目录(即包含scrapy.cfg的目录),执行运行命令:

scrapy crawl articleItems

4. 兜底方案(必须使用runspider时)

如果坚持使用runspider命令运行,需要在爬虫文件最开头添加代码,将项目根目录加入Python模块搜索路径:

import sys
import os
# 获取当前爬虫文件所在目录的上上级路径(即项目根目录)
current_dir = os.path.dirname(os.path.abspath(__file__))
project_root = os.path.dirname(os.path.dirname(current_dir))
sys.path.append(project_root)

之后再配合修正后的导入语句,执行命令时指定爬虫文件的完整路径即可。

额外代码修正

你原代码中的xpath选择器写法有误,错误使用了HTML转义符",会导致匹配不到内容,需修正为:

article['text'] = response.xpath('//div[@id="mw-content-text"]//text()').extract()

内容的提问来源于stack exchange,提问作者Asanka.S

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.19 19:24:00