You need to enable JavaScript to run this app. 如何解决Scrapy结合Selenium的Uncaught ReferenceError及运行异常问题
优惠活动
大模型
产品
解决方案
定价
更多

如何解决Scrapy结合Selenium的Uncaught ReferenceError及运行异常问题

问题定位与修复方案

三类异常的核心根因

  • Uncaught ReferenceError: $ is not defined 报错来源:这是目标网站的前端自身运行异常,和爬虫逻辑无关。站点因HTTPS安全策略拦截了HTTP协议的字体图标资源(日志中的Mixed Content提示),连带依赖的jQuery库未完成加载,最终触发了前端JS报错。该类报错仅输出在浏览器控制台,不会阻断元素提取、页面跳转等爬虫核心流程。
  • 程序重复触发3次运行的原因:你将start_urls实现为带@property装饰的属性方法。Scrapy框架的生命周期设计中,会在初始化、爬虫启动、调度准备等多个节点主动读取start_urls属性,并非仅执行一次。你将完整的Selenium浏览器启动逻辑嵌入到该属性中,每一次框架读取属性都会重新启动一次Chrome进程,和日志中出现3次DevTools监听启动的现象完全对应。
  • 单URL爬取耗时过长的原因:一是重复启动3次Chrome进程,单次浏览器启动本身就需要数秒的初始化时间;二是代码中driver.quit漏写了调用括号,实际从未执行过驱动退出逻辑,产生的僵尸Chrome进程持续占用系统资源拖慢运行速度;三是Selenium默认全量加载页面所有静态资源(图片、CSS、JS文件),但当前场景下仅需要提取日期文本、获取跳转URL,完全无需要等待所有资源加载完成。

可落地的修复步骤

  1. 重构start_urls逻辑,从根源避免重复触发
    不要将Selenium流程绑定在@property修饰的start_urls上,按照Scrapy标准流程,将Selenium相关逻辑迁移到爬虫内置的start()方法中,该方法仅在爬虫启动时执行一次,避免被框架反复调用:
    def start(self):
        # 基础Selenium配置
        target_entry_url = 'https://www.adana.bel.tr/home/hal_listesi'
        opts = Options()
        opts.add_argument('headless')
        # 配置跳过非必要资源加载,提速30%以上
        opts.add_experimental_option("prefs", {
            "profile.managed_default_content_settings.images": 2,
            "profile.managed_default_content_settings.stylesheets": 2
        })
        driver = webdriver.Chrome(options=opts, executable_path="chromedriver.exe")
        driver.get(target_entry_url)
    
        # 提取页面日期信息存储到实例变量
        self.day = int(driver.find_element_by_xpath("/html/body/div/div[3]/div/div[2]/main/div/div/div/div/div/div/div[1]/div[1]/span[1]").text)
        self.month = months[driver.find_element_by_xpath("/html/body/div/div[3]/div/div[2]/main/div/div/div/div/div/div/div[1]/div[1]/span[2]").text]
        self.year = int(driver.find_element_by_xpath("/html/body/div/div[3]/div/div[2]/main/div/div/div/div/div/div/div[1]/div[1]/span[3]").text)
    
        # 执行跳转获取目标爬取URL
        product_entry = driver.find_element_by_xpath("/html/body/div/div[3]/div/div[2]/main/div/div/div/div/div/div/div[1]/div[3]/a/img")
        product_entry.click()
        final_crawl_url = driver.current_url
    
        # 补全括号,正常退出驱动释放系统资源
        driver.quit()
        # 将目标URL交给Scrapy调度器,后续页面用Scrapy原生下载逻辑爬取
        yield scrapy.Request(url=final_crawl_url, callback=self.parse)
    
    调整后Selenium流程仅在启动时运行一次,彻底解决重复触发的问题。
  2. 无需针对前端控制台报错做特殊兼容
    日志中出现的Mixed Content拦截、jQuery未定义报错,都是目标站点的前端问题,只要爬虫能正常完成元素提取、跳转等核心操作,这些控制台输出完全不影响爬取结果,不需要额外增加兼容逻辑。
  3. 针对性优化爬取速度
    • 修正driver.quit漏写括号的问题,确保每次驱动使用完成后正常退出,避免僵尸Chrome进程占用内存、CPU资源。
    • 保留前面配置中跳过图片、样式表加载的参数,无需等页面静态资源全部渲染完成,单页加载耗时可从10秒以上压缩到2-3秒。
    • 调整settings.py中的配置:将DOWNLOAD_DELAY = 3修改为适配目标站点的合理值(比如0.5),单场景爬取不需要强制3秒的请求等待。
    • 若后续需要多次用到Selenium动态加载,可实现全局共享的Chrome驱动实例,避免每次请求都重新启动浏览器的固定耗时。

内容的提问来源于stack exchange,提问作者Murat Demir

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.19 02:15:02