You need to enable JavaScript to run this app. Celery定时任务运行Selenium挂起阻塞整体服务的方案咨询
优惠活动
大模型
产品
解决方案
定价
更多

Celery定时任务运行Selenium挂起阻塞整体服务的方案咨询

问题根因拆解
  • 你遇到的Celery整体冻结,根本不是单纯的任务执行慢的问题,核心原因是Selenium/Chrome异常退出时不会被自动回收。残留的僵尸Chromedriver、Chrome进程会占满系统端口、共享内存和文件句柄,新启动的浏览器实例直接启动失败(就是日志里看到的DevToolsActivePort不存在、连不上chromedriver、chrome不可达这类报错),失败的实例又卡在调用层面不退出,恶性循环直到所有worker资源被吃光。
  • 之前设置的20秒超时为什么没用?因为默认的Celery超时是软超时,只会向Python进程发普通终止信号,但Selenium的阻塞调用是跑在C扩展层面的,Python层根本捕获不到这类信号,自然没法执行清理逻辑,最后就僵死在那里。
  • 你现在的代码里get_screen_btc的finally块只打了一行日志,根本没做driver退出的操作,每次异常都会留下一个没关的Chrome实例,跑个几十次系统资源就被耗光了。
可落地的优化方案

1. 实现严格的故障隔离配置

  • 所有Selenium类任务必须单独配置硬超时,不要用全局软超时配置。硬超时的时长要比Selenium内部的显式等待时间多留3-5秒的清理余量,比如Selenium显式等待是10秒,就把任务超时设为15秒,不要留太长:
@app.task(soft_time_limit=12, time_limit=15)
def btc_rsi():
    try:
        get_screen_btc('btc_rsi')
    except Exception as err:
        logging.error(err)

硬超时会直接发SIGKILL信号杀任务进程,完全绕开Python层面的信号捕获限制,哪怕任务卡在C层面的Selenium调用里也能被强制终止。

  • 把Selenium任务放到单独的专用Celery队列,跑独立的worker进程,启动worker时必须加max_tasks_per_child=1参数。这个参数的作用是:每跑完一个任务,不管成功失败,直接把整个worker子进程销毁重启,从根源上杜绝Chrome/Chromedriver进程残留:
# Selenium任务专用worker启动命令
celery -A your_project worker -Q selenium_crawl_queue --concurrency=4 --max-tasks-per-child=1 --loglevel=INFO

这里的concurrency=4代表最多同时跑4个Selenium任务,完全可以根据服务器内存调整数量,再也不会因为单任务残留拖垮整个worker组。

2. 补全Selenium侧的强制清理逻辑

  • 把原来的get_screen_btc函数的finally块补全driver强制退出逻辑,哪怕driver已经处于卡死状态,也要做好资源回收:
def get_screen_btc(chart):
    driver = None
    try:
        driver = webdriver.Chrome(options=set_chrome_options())
        urls = {
            'flow': 'https://cryptoquant.com/sign-in',
            'btc_wallets': 'https://coinmarketcap.com/bitcoin-analytics/',
            'btc_rsi': 'https://digitalik.net/btc/rsi',
        }
        URL = urls[chart]
        driver.get(URL)
        driver.set_window_size(1920, 1080)
        element = WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.CLASS_NAME, 'row'))
        )
        element.screenshot(f'{chart}.png')
    finally:
        if driver:
            try:
                driver.quit()
            except Exception as e:
                logging.warning(f"Chrome driver退出异常: {e}")
  • 补全Chrome启动参数,从启动层面减少卡死概率:
    在原来的chrome options里追加--disable-gpu、--remote-debugging-port=0(随机分配调试端口,避免多实例端口冲突)、--single-process(减少Chrome内部衍生的残留子进程)。
  • 全局关闭Selenium的隐式等待,只保留你现在已经配好的显式等待,避免等待时间叠加拉长任务执行时长。

3. Celery全局兜底配置

  • 调整Redis broker的可见性超时时间,设为你最长任务执行时间的3倍以上,防止任务还在执行就被broker重复投递,造成同个任务重复启动多个Chrome实例抢资源。
  • 不要把普通业务逻辑任务和Selenium爬取任务挤在同一个worker池里分开队列跑:普通计算任务、数据写入任务跑一个队列,Selenium爬取任务跑独立队列,就算Selenium队列临时堵了,核心业务服务也完全不会受影响。
  • 加个10行左右的轻量监控脚本,每30秒扫一次系统内的chrome/chromedriver进程,发现运行时间超过30秒还没正常退出的,直接用SIGKILL信号强制杀掉,避免僵尸进程越积越多。

内容的提问来源于stack exchange,提问作者Elon Py

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.06 02:36:07