Scrapy运行spider无输出但shell选择器有效,两处运行错误咨询
报错原因与修正方案
第一个报错:NotImplementedError: tapo.parse callback is not defined
- 核心原因:Scrapy 默认将
start_urls生成的请求回调绑定到爬虫类的parse方法,初始代码未实现该方法,仅自定义了event_parse、event_items等非框架约定名称的方法,框架找不到默认回调直接抛出异常。 - 附加语法问题:初始代码中
def event_parse行存在多余缩进,属于类结构语法错误,会导致该方法无法被类正确识别。
第二个报错:AttributeError: 'tapo' object has no attribute 'BASE_URL'
- 核心原因:原代码在方法内将
BASE_URL定义为方法局部变量,但调用时用self.BASE_URL试图访问类实例属性,局部变量不属于类实例作用域,无法被self访问。 - 其他代码缺陷:
event_link = response.css(...).getall()返回的是字符串列表,无法直接和字符串BASE_URL拼接,需要遍历列表逐个拼接- 回调函数名不匹配:生成请求时指定
callback=self.parse_attr,但代码中并未实现parse_attr方法,仅存在event_items方法
修正后可运行的Spider代码
import scrapy class tapo(scrapy.Spider): name = "mapit" # 定义为类属性,所有类内方法可通过self访问 BASE_URL = "https://www.tapology.com" start_urls = ["https://www.tapology.com/fightcenter?schedule=results"] # 重命名为框架约定的parse方法,作为start_urls的默认回调 def parse(self, response): # 获取所有赛事相对链接,返回列表 event_links = response.css('.name a::attr(href)').getall() # 遍历每个相对链接拼接完整URL,生成详情页请求 for event_link in event_links: event_url = self.BASE_URL + event_link # 修正回调为实际实现的详情页解析方法 yield scrapy.Request(event_url, callback=self.parse_event_detail) # 对应详情页解析逻辑,替换原event_items def parse_event_detail(self, response): event_name = response.css('.name a::text').getall() event_dtm = response.css('.datetime::text').getall() event_loc = response.css('.region a::text').getall() yield { 'event_name': event_name, 'event_dtm': event_dtm, 'event_loc': event_loc }
额外开发提示
- 不要依赖默认请求头:Tapology站点可能存在反爬校验,建议在项目
settings.py中配置USER_AGENT模拟浏览器访问,避免请求被拦截 - 如果需要直接提取列表页的赛事信息而非跳转详情页,可直接在
parse方法中用选择器提取内容后yield item,不需要额外生成详情页请求
内容的提问来源于stack exchange,提问作者Chai
相关产品推荐
相关产品推荐

