Flask+Celery应用Redis连接数持续上涨问题排查求助

我有一个使用Waitress作为服务器，Celery+RabbitMQ（作为消息代理）+Redis（作为后端）处理任务的Flask应用。发现即使配置了Redis连接池，Redis连接数仍持续上涨，仅能通过终止应用（Heroku环境下重启dynos）清除连接。

当前代码示例：

CLOUDAMQP_URL = os.environ.get("CLOUDAMQP_URL") or os.environ.get("RABBITMQ_URL")
HEROKU = os.environ['HEROKU']

if HEROKU == "production":
    url = urlparse(os.environ.get('REDISCLOUD_URL'))
    backend_url = f"redis://{url.username}:{url.password}@{url.hostname}:{url.port}"
else:
    backend_url = "redis://localhost:6379/0"

redis_client = redis.Redis.from_url(backend_url)
broker_url = CLOUDAMQP_URL


app = Celery('chatbot_tasks', broker=broker_url, backend=backend_url)

app.conf.task_serializer = 'json'
app.conf.result_serializer = 'json'
app.conf.broker_pool_limit = 0

我曾尝试如下配置连接池但无效：

backend_url = os.environ['REDIS_URL']
pool = ConnectionPool.from_url(backend_url)

请问该问题的原因是什么？

核心原因 #

• 自定义连接池未关联Celery后端：你手动创建了ConnectionPool但没把它绑定到Celery的Redis后端配置里，Celery还是会为每个任务或请求新建Redis连接，导致连接数不断增加。
• broker_pool_limit = 0的影响：这个配置禁用了RabbitMQ的连接池，但Redis后端的连接池没单独配置，Celery默认的Redis连接管理机制没法有效复用连接。
• 独立redis_client未复用连接池：代码里创建的redis_client如果在别处被频繁调用且没复用连接池，也会额外产生新连接。

修复代码示例 #

import os
from urlparse import urlparse
import redis
from redis.connection import ConnectionPool
from celery import Celery

CLOUDAMQP_URL = os.environ.get("CLOUDAMQP_URL") or os.environ.get("RABBITMQ_URL")
HEROKU = os.environ['HEROKU']

# 统一配置Redis连接池
if HEROKU == "production":
    backend_url = os.environ.get('REDISCLOUD_URL')
else:
    backend_url = "redis://localhost:6379/0"

# 创建全局连接池
redis_pool = ConnectionPool.from_url(backend_url)
# 基于连接池创建redis客户端，确保复用连接
redis_client = redis.Redis(connection_pool=redis_pool)

# 初始化Celery
app = Celery(
    'chatbot_tasks',
    broker=CLOUDAMQP_URL,
    backend=backend_url
)

# 关键配置：让Celery的Redis后端使用全局连接池
app.conf.redis_backend_connection_pool = redis_pool

# 基础配置
app.conf.task_serializer = 'json'
app.conf.result_serializer = 'json'
# 生产环境建议设置合理的broker连接池大小，避免无限制创建连接
app.conf.broker_pool_limit = 10

额外注意点 #

• 所有直接操作Redis的代码都要复用同一个全局连接池，禁止单独创建新的Redis客户端实例。
• 检查Celery worker的启动脚本，避免重复初始化连接池。
• Heroku环境下可配置Redis连接超时参数（比如app.conf.redis_backend_socket_timeout = 30），确保闲置连接被正确回收。

内容的提问来源于stack exchange，提问作者Fernando Cordero