You need to enable JavaScript to run this app. Scrapy运行spider无输出但shell选择器有效,两处运行错误咨询
优惠活动
大模型
产品
解决方案
定价
更多

Scrapy运行spider无输出但shell选择器有效,两处运行错误咨询

报错原因与修正方案

第一个报错:NotImplementedError: tapo.parse callback is not defined

  • 核心原因:Scrapy 默认将 start_urls 生成的请求回调绑定到爬虫类的 parse 方法,初始代码未实现该方法,仅自定义了 event_parse、event_items 等非框架约定名称的方法,框架找不到默认回调直接抛出异常。
  • 附加语法问题:初始代码中 def event_parse 行存在多余缩进,属于类结构语法错误,会导致该方法无法被类正确识别。

第二个报错:AttributeError: 'tapo' object has no attribute 'BASE_URL'

  • 核心原因:原代码在方法内将 BASE_URL 定义为方法局部变量,但调用时用 self.BASE_URL 试图访问类实例属性,局部变量不属于类实例作用域,无法被 self 访问。
  • 其他代码缺陷:
    • event_link = response.css(...).getall() 返回的是字符串列表,无法直接和字符串 BASE_URL 拼接,需要遍历列表逐个拼接
    • 回调函数名不匹配:生成请求时指定 callback=self.parse_attr,但代码中并未实现 parse_attr 方法,仅存在 event_items 方法

修正后可运行的Spider代码

import scrapy  

class tapo(scrapy.Spider):
    name = "mapit"
    # 定义为类属性,所有类内方法可通过self访问
    BASE_URL = "https://www.tapology.com"
    start_urls = ["https://www.tapology.com/fightcenter?schedule=results"]

    # 重命名为框架约定的parse方法,作为start_urls的默认回调
    def parse(self, response):
        # 获取所有赛事相对链接,返回列表
        event_links = response.css('.name a::attr(href)').getall()
        # 遍历每个相对链接拼接完整URL,生成详情页请求
        for event_link in event_links:
            event_url = self.BASE_URL + event_link
            # 修正回调为实际实现的详情页解析方法
            yield scrapy.Request(event_url, callback=self.parse_event_detail)

    # 对应详情页解析逻辑,替换原event_items
    def parse_event_detail(self, response):
        event_name = response.css('.name a::text').getall()
        event_dtm = response.css('.datetime::text').getall()
        event_loc = response.css('.region a::text').getall()
        yield {
            'event_name': event_name,
            'event_dtm': event_dtm,
            'event_loc': event_loc
        }

额外开发提示

  • 不要依赖默认请求头:Tapology站点可能存在反爬校验,建议在项目settings.py中配置USER_AGENT模拟浏览器访问,避免请求被拦截
  • 如果需要直接提取列表页的赛事信息而非跳转详情页,可直接在parse方法中用选择器提取内容后yield item,不需要额外生成详情页请求

内容的提问来源于stack exchange,提问作者Chai

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.13 09:36:01