调用OptaPy的Celery任务始终处于PENDING状态排查求助

可能的原因 #

• OptaPy依赖的JVM线程和Celery默认的prefork进程池冲突：JVM不支持fork操作，prefork模式下子进程无法正确继承JVM的运行状态，导致任务卡住。
• 任务结果序列化失败：OptaPy生成的solution转成字符串后，可能包含Celery默认序列化器（JSON）无法处理的内容，导致结果无法写入后端，任务状态一直挂起。
• Celery结果后端未正确配置：如果没配置结果后端，异步任务执行后无法反馈状态，会一直显示PENDING。
• OptaPy执行过程中出现未捕获异常：异步模式下异常没被捕获，任务无声失败，状态无法更新。

排查步骤 #

1. 查看Celery Worker的详细日志 #

启动Worker时开启DEBUG级别的日志，直接看执行过程中有没有报错：

celery -A 你的Django项目名 worker -l DEBUG

重点关注任务启动、OptaPy初始化、求解过程中的日志，找有没有JVM初始化失败、线程异常、序列化错误这类信息。

2. 验证任务序列化配置 #

Celery默认用JSON序列化，试试换成pickle（注意：仅在可信环境用，pickle有安全风险），在Django的settings.py里加：

CELERY_TASK_SERIALIZER = 'pickle'
CELERY_RESULT_SERIALIZER = 'pickle'
CELERY_ACCEPT_CONTENT = ['pickle']

重启Worker后再测试任务，看是否能正常返回结果。

3. 更换Celery Worker的线程池类型 #

因为prefork池和JVM不兼容，试试换成线程池或者协程池：

• 启动Worker时指定线程池：

celery -A 你的Django项目名 worker -l INFO -P threads

• 或者在settings.py里全局配置：

CELERY_WORKER_POOL = 'threads'

如果线程池不行，再试试gevent或eventlet协程池，需要先装对应的包：

pip install gevent

然后启动：

celery -A 你的Django项目名 worker -l INFO -P gevent

4. 写极简测试任务排除业务代码问题 #

写一个只做基础OptaPy操作的测试任务，看是不是业务代码里的问题：

@shared_task()
def test_optapy_basic():
    from optapy import solver_factory_create
    from optapy.config.solver import SolverConfig
    from java.time import Duration

    # 定义最简单的测试实体和解决方案
    class TestEntity:
        def __init__(self, id):
            self.id = id
            self.value = None

    class TestSolution:
        def __init__(self, entities):
            self.entities = entities

    def empty_constraints(constraint_factory):
        return []

    solver_config = SolverConfig() \
        .withEntityClasses(TestEntity) \
        .withSolutionClass(TestSolution) \
        .withConstraintProviderClass(empty_constraints) \
        .withTerminationSpentLimit(Duration.ofSeconds(1))
    
    solution = solver_factory_create(solver_config).buildSolver().solve(TestSolution([TestEntity(1)]))
    return str(solution)

调用这个任务，如果能正常完成，那问题大概率出在你的业务代码（比如generate_problem或者约束定义）里。

5. 检查Celery结果后端配置 #

确保settings.py里正确配置了结果后端，比如用Redis的话：

CELERY_RESULT_BACKEND = 'redis://localhost:6379/0'

没有结果后端的话，异步任务执行完没法把状态传回来，就会一直显示PENDING。

6. 在任务里加异常捕获 #

给任务加try-except，把异常打出来，这样任务失败时会标记为FAILURE而不是一直PENDING：

@shared_task()
def schedule_task():
    try:
        solver_config = optapy.config.solver.SolverConfig() \
            .withEntityClasses(Lesson) \
            .withSolutionClass(TimeTable) \
            .withConstraintProviderClass(define_constraints) \
            .withTerminationSpentLimit(Duration.ofSeconds(30))

        solution = solver_factory_create(solver_config) \
            .buildSolver() \
            .solve(generate_problem())

        return str(solution)
    except Exception as e:
        import logging
        logger = logging.getLogger(__name__)
        logger.error(f"调度任务失败: {str(e)}", exc_info=True)
        raise  # 重新抛出异常，让Celery记录任务失败状态

内容的提问来源于stack exchange，提问作者hielsnoppe