PyCharm下Python3.9运行Scrapy蜘蛛找不到wikiSpider.wikiSpider模块
报错原因
该错误是Python解释器无法找到wikiSpider.wikiSpider对应的模块路径,本质是运行路径不对、文件存放位置不符合Scrapy项目规范、导入路径错误三类问题叠加导致。
解决步骤
1. 按Scrapy规范调整文件存放位置
Scrapy项目通过scrapy startproject wikiSpider生成的标准结构为:
- 项目根目录(包含
scrapy.cfg配置文件)- 内部代码目录(与根目录同名,即
wikiSpider/)__init__.pyitems.py:存放你的Article类定义settings.pyspiders/目录:存放所有爬虫文件pipelines.py- 其他扩展文件
需要做的调整:
- 内部代码目录(与根目录同名,即
- 把你的
Article类移动到wikiSpider/items.py文件中 - 把
articleSpider.py移动到wikiSpider/spiders/目录下,不要放在项目根目录 - 确认
wikiSpider/、wikiSpider/spiders/目录下都存在空的__init__.py文件,避免Python无法识别包结构
2. 修正导入语句
原导入路径from wikiSpider.wikiSpider.items import Article层级错误,在wikiSpider/spiders/articleSpider.py文件中使用:
from ..items import Article
如果相对导入报错,可改为绝对导入:
from wikiSpider.items import Article
3. 修正运行命令
scrapy runspider是用于运行独立爬虫文件的命令,你当前代码依赖整个Scrapy项目的配置和items定义,需要先切换到项目根目录(即包含scrapy.cfg的目录),执行运行命令:
scrapy crawl articleItems
4. 兜底方案(必须使用runspider时)
如果坚持使用runspider命令运行,需要在爬虫文件最开头添加代码,将项目根目录加入Python模块搜索路径:
import sys import os # 获取当前爬虫文件所在目录的上上级路径(即项目根目录) current_dir = os.path.dirname(os.path.abspath(__file__)) project_root = os.path.dirname(os.path.dirname(current_dir)) sys.path.append(project_root)
之后再配合修正后的导入语句,执行命令时指定爬虫文件的完整路径即可。
额外代码修正
你原代码中的xpath选择器写法有误,错误使用了HTML转义符",会导致匹配不到内容,需修正为:
article['text'] = response.xpath('//div[@id="mw-content-text"]//text()').extract()
内容的提问来源于stack exchange,提问作者Asanka.S
相关产品推荐
相关产品推荐

