如何为scrapy.Spider.parse()添加符合无固定签名的类型提示？

1. 放宽基类签名兼容所有子类场景 #

把基类parse方法的签名修改为接受任意额外位置参数和关键字参数，只要子类parse的第一个参数是Response，类型检查工具就会认为签名兼容：

from scrapy.http import Response
from typing import Any

class Spider:
    def parse(self, response: Response, *args: Any, **kwargs: Any) -> Any:
        """默认解析方法，子类可自定义签名重写"""
        pass

这种方式保留了基类的类型提示，同时给子类足够的灵活性。在Scrapy的回调场景下，框架只会传递子类预期的参数，因此子类忽略*args/**kwargs不会引发实际运行问题，mypy也不会触发错误。

2. 子类添加类型检查忽略注释 #

如果不想修改Scrapy基类代码，可以在子类的parse方法上添加mypy专属注释，抑制重写签名不兼容的错误：

class MySpider(Spider):
    # type: ignore[override]
    def parse(self, response: Response) -> None:
        # 自定义解析逻辑
        pass

该方式无需改动框架代码，但每个自定义子类都要添加注释，适合小规模使用场景。

3. 用协议定义可选的回调规范 #

定义一个协议描述parse方法的基础结构，子类实现parse时遵循该协议，基类不强制实现：

from typing import Protocol, Self
from scrapy.http import Response

class Parseable(Protocol):
    def parse(self, response: Response, *args: Any, **kwargs: Any) -> Any:
        ...

class Spider:
    # 基类不强制实现parse方法
    pass

class MySpider(Spider, Parseable):
    def parse(self, response: Response, item_id: str) -> None:
        # 符合协议规范，类型检查通过
        pass

这种方式既能验证子类parse的基本结构（第一个参数为Response），又允许自由定义额外参数，缺点是子类需要显式继承Parseable协议才能触发类型检查。

4. 最后备选：移除基类类型提示 #

如果以上方案都不适用，可以移除基类parse方法的类型提示，让类型检查工具跳过签名兼容性校验：

class Spider:
    def parse(self, response, **kwargs):
        pass

但这会破坏代码的类型提示完整性，仅作为无法使用其他方案时的最终选择。

内容的提问来源于stack exchange，提问作者wRAR