Scrapy-Splash TypeError咨询：name需为str类型及后续异常解析

1. TypeError: name must be an instance of str（crawler.py） #

这个错误核心是Scrapy初始化核心组件（爬虫、管道、中间件等）时，需要传入字符串类型的"name"参数，但实际传入了非字符串值（比如None、数字或其他类型）。结合你按城市选择MongoDB集合的场景，大概率和以下情况有关：

• 用城市名作为MongoDB集合/数据库名，但该参数未被正确转为字符串，甚至是None值（比如命令行传参为空、Spider初始化时未处理参数）。
• 自定义Pipeline的from_crawler方法中，从配置或Spider获取集合名时拿到了None，而MongoDB客户端要求集合名必须是字符串。

排查点： #

• 检查Spider的参数接收逻辑：如果通过scrapy crawl xxx -a city=北京传参，确保在Spider的__init__里将城市参数转为字符串并校验非空：

  class CitySpider(scrapy.Spider):
      name = 'city_spider'
      def __init__(self, city=None, *args, **kwargs):
          super().__init__(*args, **kwargs)
          if not city:
              raise ValueError("必须指定城市参数（如 -a city=北京）")
          self.city = str(city)  # 强制转为字符串类型
  

• 检查MongoDB Pipeline的集合名赋值：如果集合名来自Spider的城市参数，确保传递的是字符串而非None：

  class MongoDBPipeline:
      @classmethod
      def from_crawler(cls, crawler):
          # 确保这里拿到的集合名是字符串
          collection_name = crawler.spider.city
          if not isinstance(collection_name, str):
              raise TypeError("集合名必须为字符串类型")
          return cls(
              mongo_uri=crawler.settings.get('MONGODB_URI'),
              mongo_db=crawler.settings.get('MONGODB_DATABASE'),
              collection_name=collection_name
          )
  

2. TypeError: datetime与NoneType无法执行减法运算（defer.py） #

这是第一个错误引发的连锁异常：Scrapy的异步框架（Twisted的defer模块）处理第一个错误时，尝试计算任务耗时，但某个跟踪任务开始时间的变量因第一个错误未被初始化（变成了None），导致执行datetime.now() - None这类操作时抛出错误。只要解决第一个错误，这个异常会自动消失。

额外排查建议 #

• 检查Settings中的MongoDB配置：确保MONGODB_URI、MONGODB_DATABASE都是字符串类型的有效值，没有留空或配置错误。
• 临时添加日志：在Pipeline初始化、Spider启动时打印集合名/数据库名的类型和值，确认是否为字符串：

  # 在Spider的start_requests方法中添加
  def start_requests(self):
      self.logger.info(f"当前城市参数：{self.city}，类型：{type(self.city)}")
      # ... 其他代码
  

内容的提问来源于stack exchange，提问作者Nico Flor