Django中Celery revoke无法终止Playwright任务问题排查

尝试通过Django命令调用Celery的revoke功能终止正在运行的任务（该任务启动Playwright Chromium遍历网站列表），终端提示任务已取消，但任务实际仍继续执行，最终状态始终为SUCCESS。无论是使用AsyncResult.revoke(terminate=True)还是直接调用app.control.revoke(task_id, terminate=True)，均无法达到预期效果。

用户提供的Django命令代码：

from django.core.management.base import BaseCommand
from celery.result import AsyncResult
from myapp.celery import app as myapp


class Command(BaseCommand):
    help = 'Cancel a long-running Celery task'

    def add_arguments(self, parser):
        parser.add_argument('task_id', help='ID of the task to cancel')

    def handle(self, *args, **options):
        task_id = options['task_id']
        result = AsyncResult(task_id, app=myapp)
        if result.state not in ('PENDING', 'STARTED'):
            self.stdout.write(self.style.WARNING(f'Task {task_id} is not running.'))
            return
        result.revoke(terminate=True, wait=False)
        self.stdout.write(self.style.SUCCESS(f'Task {task_id} has been cancelled.'))

可能的原因及解决方法 #

1. 子进程未被终止，导致主任务继续执行 #

你的任务启动了Playwright Chromium子进程，Celery默认发送的SIGTERM信号只会终止主任务进程，但如果主任务没有处理子进程的终止逻辑，Chromium会继续运行，主任务也会随之执行完成。

解决方法：在任务中添加信号处理逻辑
在Celery任务里注册信号处理器，收到终止信号时主动关闭Playwright浏览器，并抛出异常终止任务，同时更新任务状态：

import signal
from celery import shared_task
from playwright.sync_api import sync_playwright

class TaskTerminated(Exception):
    pass

def handle_sigterm(signum, frame):
    raise TaskTerminated("任务被用户终止")

@shared_task(bind=True)
def scrape_websites(self, site_list):
    # 注册SIGTERM信号处理器
    signal.signal(signal.SIGTERM, handle_sigterm)
    try:
        with sync_playwright() as p:
            browser = p.chromium.launch()
            try:
                for site in site_list:
                    page = browser.new_page()
                    page.goto(site)
                    # 执行你的网站遍历逻辑
                    # ...
            finally:
                browser.close()
    except TaskTerminated:
        # 手动更新任务状态为REVOKED
        self.update_state(state='REVOKED', meta={'reason': '用户主动终止任务'})
        return "任务已终止"

2. 使用更强的终止信号 #

如果SIGTERM无法有效终止进程，可以指定发送SIGKILL信号（强制终止），但这种方式可能导致资源泄漏（比如未关闭的浏览器进程），需谨慎使用：

修改Django命令中的revoke调用：

result.revoke(terminate=True, signal='SIGKILL', wait=False)

或者直接通过Celery control调用：

myapp.control.revoke(task_id, terminate=True, signal='SIGKILL')

3. 检查Celery Worker的运行池配置 #

如果Celery Worker使用的是gevent或eventlet协程池，terminate参数的行为会与进程池不同，协程池无法直接通过系统信号终止任务。这种情况下建议改用进程池启动Worker：

celery -A myapp worker --pool=processes --loglevel=info

4. 任务状态未同步到结果后端 #

revoke操作本身不会自动更新任务的状态到Celery结果后端（如Redis、数据库），所以即使任务被终止，你可能仍看到旧的状态。需要在任务中捕获终止信号后，通过self.update_state主动更新状态，确保前端或API能获取到最新的任务状态。

内容的提问来源于stack exchange，提问作者Adrian