如何解决Scrapy结合Selenium的Uncaught ReferenceError及运行异常问题
问题定位与修复方案
三类异常的核心根因
Uncaught ReferenceError: $ is not defined报错来源:这是目标网站的前端自身运行异常,和爬虫逻辑无关。站点因HTTPS安全策略拦截了HTTP协议的字体图标资源(日志中的Mixed Content提示),连带依赖的jQuery库未完成加载,最终触发了前端JS报错。该类报错仅输出在浏览器控制台,不会阻断元素提取、页面跳转等爬虫核心流程。- 程序重复触发3次运行的原因:你将
start_urls实现为带@property装饰的属性方法。Scrapy框架的生命周期设计中,会在初始化、爬虫启动、调度准备等多个节点主动读取start_urls属性,并非仅执行一次。你将完整的Selenium浏览器启动逻辑嵌入到该属性中,每一次框架读取属性都会重新启动一次Chrome进程,和日志中出现3次DevTools监听启动的现象完全对应。 - 单URL爬取耗时过长的原因:一是重复启动3次Chrome进程,单次浏览器启动本身就需要数秒的初始化时间;二是代码中
driver.quit漏写了调用括号,实际从未执行过驱动退出逻辑,产生的僵尸Chrome进程持续占用系统资源拖慢运行速度;三是Selenium默认全量加载页面所有静态资源(图片、CSS、JS文件),但当前场景下仅需要提取日期文本、获取跳转URL,完全无需要等待所有资源加载完成。
可落地的修复步骤
- 重构start_urls逻辑,从根源避免重复触发
不要将Selenium流程绑定在@property修饰的start_urls上,按照Scrapy标准流程,将Selenium相关逻辑迁移到爬虫内置的start()方法中,该方法仅在爬虫启动时执行一次,避免被框架反复调用:
调整后Selenium流程仅在启动时运行一次,彻底解决重复触发的问题。def start(self): # 基础Selenium配置 target_entry_url = 'https://www.adana.bel.tr/home/hal_listesi' opts = Options() opts.add_argument('headless') # 配置跳过非必要资源加载,提速30%以上 opts.add_experimental_option("prefs", { "profile.managed_default_content_settings.images": 2, "profile.managed_default_content_settings.stylesheets": 2 }) driver = webdriver.Chrome(options=opts, executable_path="chromedriver.exe") driver.get(target_entry_url) # 提取页面日期信息存储到实例变量 self.day = int(driver.find_element_by_xpath("/html/body/div/div[3]/div/div[2]/main/div/div/div/div/div/div/div[1]/div[1]/span[1]").text) self.month = months[driver.find_element_by_xpath("/html/body/div/div[3]/div/div[2]/main/div/div/div/div/div/div/div[1]/div[1]/span[2]").text] self.year = int(driver.find_element_by_xpath("/html/body/div/div[3]/div/div[2]/main/div/div/div/div/div/div/div[1]/div[1]/span[3]").text) # 执行跳转获取目标爬取URL product_entry = driver.find_element_by_xpath("/html/body/div/div[3]/div/div[2]/main/div/div/div/div/div/div/div[1]/div[3]/a/img") product_entry.click() final_crawl_url = driver.current_url # 补全括号,正常退出驱动释放系统资源 driver.quit() # 将目标URL交给Scrapy调度器,后续页面用Scrapy原生下载逻辑爬取 yield scrapy.Request(url=final_crawl_url, callback=self.parse) - 无需针对前端控制台报错做特殊兼容
日志中出现的Mixed Content拦截、jQuery未定义报错,都是目标站点的前端问题,只要爬虫能正常完成元素提取、跳转等核心操作,这些控制台输出完全不影响爬取结果,不需要额外增加兼容逻辑。 - 针对性优化爬取速度
- 修正
driver.quit漏写括号的问题,确保每次驱动使用完成后正常退出,避免僵尸Chrome进程占用内存、CPU资源。 - 保留前面配置中跳过图片、样式表加载的参数,无需等页面静态资源全部渲染完成,单页加载耗时可从10秒以上压缩到2-3秒。
- 调整
settings.py中的配置:将DOWNLOAD_DELAY = 3修改为适配目标站点的合理值(比如0.5),单场景爬取不需要强制3秒的请求等待。 - 若后续需要多次用到Selenium动态加载,可实现全局共享的Chrome驱动实例,避免每次请求都重新启动浏览器的固定耗时。
- 修正
内容的提问来源于stack exchange,提问作者Murat Demir
相关产品推荐
相关产品推荐

