scrapy-selenium爬虫访问request.meta['driver']抛出KeyError:'driver'错误

报错本质 #

这个错误的触发逻辑非常直接：response.request.meta字典中不存在driver键值对，也就是SeleniumMiddleware根本没有执行驱动注入的逻辑，导致在parse方法中读取对应meta值时抛出键不存在的异常。

常见踩坑点与对应修复 #

• 下载中间件配置被覆盖
  很多人在settings.py中写配置时，会重复定义同名的DOWNLOADER_MIDDLEWARES字段：如果settings文件中保留了Scrapy默认的下载中间件示例块，后续单独写入的Selenium中间件配置会被前面的全局配置直接覆盖，最终导致SeleniumMiddleware完全没有被加载生效。
  修复方式：将Selenium中间件的配置合并到已有的下载中间件字典中，不要重复定义同一个配置字段；800的优先级数值本身没有问题，只要确保该优先级高于其他会拦截请求的内置中间件即可，否则Selenium逻辑不会被执行。
• SeleniumRequest导入缺失
  检查爬虫文件头部的导入语句，确认存在from scrapy_selenium import SeleniumRequest。如果没有正确导入，代码运行时yield出去的就是普通的Scrapy原生Request对象，根本不会触发Selenium中间件的拦截逻辑，自然不会往meta中写入driver对象。
• chromedriver路径配置无效
  代码中用which('chromedriver')获取驱动路径时，如果系统全局PATH中没有配置chromedriver的环境变量，which方法会返回空值。此时SeleniumMiddleware初始化时会直接抛出驱动找不到的错误，相关报错信息很容易被控制台滚动日志刷过，看起来就像是后续取meta时的键不存在问题。
  修复方式：直接将SELENIUM_DRIVER_EXECUTABLE_PATH配置为chromedriver的绝对路径，不依赖系统PATH变量传递路径。
• 版本兼容不匹配
  早期版本的scrapy-selenium会将驱动对象存储在meta['selenium_driver']键下，而非现在通用的meta['driver']，和你在parse方法中读取的键名不匹配，就会直接抛出KeyError。
  修复方式：升级到和当前Scrapy版本适配的scrapy-selenium最新版本，或根据所用版本的实际键名调整parse方法中的取值逻辑。

快速定位校验方法 #

如果排查完以上配置还是没解决，可以在SeleniumMiddleware的process_request方法入口处加一行调试日志，确认中间件是否被实际触发：

def process_request(self, request, spider):
    spider.logger.info("Selenium中间件已触发，当前请求类型：%s", type(request))
    # 原有驱动加载逻辑保持不变

如果启动爬虫后控制台完全没有输出这行日志，就说明中间件根本没有被加载，优先回头检查配置加载和导入逻辑即可。

内容的提问来源于stack exchange，提问作者PierreMa