Celery定时任务运行Selenium挂起阻塞整体服务的方案咨询
问题根因拆解
- 你遇到的Celery整体冻结,根本不是单纯的任务执行慢的问题,核心原因是Selenium/Chrome异常退出时不会被自动回收。残留的僵尸Chromedriver、Chrome进程会占满系统端口、共享内存和文件句柄,新启动的浏览器实例直接启动失败(就是日志里看到的DevToolsActivePort不存在、连不上chromedriver、chrome不可达这类报错),失败的实例又卡在调用层面不退出,恶性循环直到所有worker资源被吃光。
- 之前设置的20秒超时为什么没用?因为默认的Celery超时是软超时,只会向Python进程发普通终止信号,但Selenium的阻塞调用是跑在C扩展层面的,Python层根本捕获不到这类信号,自然没法执行清理逻辑,最后就僵死在那里。
- 你现在的代码里
get_screen_btc的finally块只打了一行日志,根本没做driver退出的操作,每次异常都会留下一个没关的Chrome实例,跑个几十次系统资源就被耗光了。
可落地的优化方案
1. 实现严格的故障隔离配置
- 所有Selenium类任务必须单独配置硬超时,不要用全局软超时配置。硬超时的时长要比Selenium内部的显式等待时间多留3-5秒的清理余量,比如Selenium显式等待是10秒,就把任务超时设为15秒,不要留太长:
@app.task(soft_time_limit=12, time_limit=15) def btc_rsi(): try: get_screen_btc('btc_rsi') except Exception as err: logging.error(err)
硬超时会直接发SIGKILL信号杀任务进程,完全绕开Python层面的信号捕获限制,哪怕任务卡在C层面的Selenium调用里也能被强制终止。
- 把Selenium任务放到单独的专用Celery队列,跑独立的worker进程,启动worker时必须加
max_tasks_per_child=1参数。这个参数的作用是:每跑完一个任务,不管成功失败,直接把整个worker子进程销毁重启,从根源上杜绝Chrome/Chromedriver进程残留:
# Selenium任务专用worker启动命令 celery -A your_project worker -Q selenium_crawl_queue --concurrency=4 --max-tasks-per-child=1 --loglevel=INFO
这里的concurrency=4代表最多同时跑4个Selenium任务,完全可以根据服务器内存调整数量,再也不会因为单任务残留拖垮整个worker组。
2. 补全Selenium侧的强制清理逻辑
- 把原来的
get_screen_btc函数的finally块补全driver强制退出逻辑,哪怕driver已经处于卡死状态,也要做好资源回收:
def get_screen_btc(chart): driver = None try: driver = webdriver.Chrome(options=set_chrome_options()) urls = { 'flow': 'https://cryptoquant.com/sign-in', 'btc_wallets': 'https://coinmarketcap.com/bitcoin-analytics/', 'btc_rsi': 'https://digitalik.net/btc/rsi', } URL = urls[chart] driver.get(URL) driver.set_window_size(1920, 1080) element = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CLASS_NAME, 'row')) ) element.screenshot(f'{chart}.png') finally: if driver: try: driver.quit() except Exception as e: logging.warning(f"Chrome driver退出异常: {e}")
- 补全Chrome启动参数,从启动层面减少卡死概率:
在原来的chrome options里追加--disable-gpu、--remote-debugging-port=0(随机分配调试端口,避免多实例端口冲突)、--single-process(减少Chrome内部衍生的残留子进程)。 - 全局关闭Selenium的隐式等待,只保留你现在已经配好的显式等待,避免等待时间叠加拉长任务执行时长。
3. Celery全局兜底配置
- 调整Redis broker的可见性超时时间,设为你最长任务执行时间的3倍以上,防止任务还在执行就被broker重复投递,造成同个任务重复启动多个Chrome实例抢资源。
- 不要把普通业务逻辑任务和Selenium爬取任务挤在同一个worker池里分开队列跑:普通计算任务、数据写入任务跑一个队列,Selenium爬取任务跑独立队列,就算Selenium队列临时堵了,核心业务服务也完全不会受影响。
- 加个10行左右的轻量监控脚本,每30秒扫一次系统内的chrome/chromedriver进程,发现运行时间超过30秒还没正常退出的,直接用SIGKILL信号强制杀掉,避免僵尸进程越积越多。
内容的提问来源于stack exchange,提问作者Elon Py
相关产品推荐
相关产品推荐

