Docker环境下Redis内存持续增长的优化方案咨询（含Celery Beat场景）

问题描述 #

我通过Docker栈部署Django项目，使用Celery Beat处理定时任务，通过htop监控时发现redis-server内存随时间持续渐进增长，现寻求该场景下的Redis内存管理实践与配置方案。

环境与配置信息 #

基础环境 #

• Docker版本：24.0.7
• Docker Compose版本：v2.21.0

Docker Compose配置（local.yml） #

redis:
  image: redis:6
  container_name: scielo_core_local_redis
  ports:
    - "6399:6379"


celeryworker:
  <<: *django
  image: scielo_core_local_celeryworker
  container_name: scielo_core_local_celeryworker
  depends_on:
    - redis
    - postgres
    - mailhog
  ports: []
  command: /start-celeryworker

celerybeat:
  <<: *django
  image: scielo_core_local_celerybeat
  container_name: scielo_core_local_celerybeat
  depends_on:
    - redis
    - postgres
    - mailhog
  ports: []
  command: /start-celerybeat

Django配置（base.py） #

# Celery
# ------------------------------------------------------------------------------
if USE_TZ:
    CELERY_TIMEZONE = TIME_ZONE
CELERY_BROKER_URL = env("CELERY_BROKER_URL")
CELERY_RESULT_BACKEND = CELERY_BROKER_URL
CELERY_ACCEPT_CONTENT = ["json"]
CELERY_TASK_SERIALIZER = "json"
CELERY_RESULT_SERIALIZER = "json"
CELERY_TASK_TIME_LIMIT = 5 * 60
CELERY_TASK_SOFT_TIME_LIMIT = 36000
CELERY_BEAT_SCHEDULER = "django_celery_beat.schedulers:DatabaseScheduler"
DJANGO_CELERY_BEAT_TZ_AWARE = False

# Celery Results
# ------------------------------------------------------------------------------
CELERY_RESULT_BACKEND = "django-db"
CELERY_CACHE_BACKEND = "django-cache"
CELERY_RESULT_EXTENDED = True

Redis内存统计信息 #

# Memory
used_memory:8538978880
used_memory_human:7.95G
used_memory_rss:6425821184
used_memory_rss_human:5.98G
used_memory_peak:8610299728
used_memory_peak_human:8.02G
used_memory_peak_perc:99.17%
used_memory_overhead:1300368
used_memory_startup:811864
used_memory_dataset:8537678512
used_memory_dataset_perc:99.99%
allocator_allocated:8539119712
allocator_active:8861048832
allocator_resident:8901853184
total_system_memory:16559783936
total_system_memory_human:15.42G
used_memory_lua:32768
used_memory_lua_human:32.00K
used_memory_scripts:296
used_memory_scripts_human:296B
number_of_cached_scripts:1
maxmemory:0
maxmemory_human:0B
maxmemory_policy:noeviction
allocator_frag_ratio:1.04
allocator_frag_bytes:321929120
allocator_rss_ratio:1.00
allocator_rss_bytes:40804352
rss_overhead_ratio:0.72
rss_overhead_bytes:-2476032000
mem_fragmentation_ratio:0.75
mem_fragmentation_bytes:-2113157632
mem_not_counted_for_evict:0
mem_replication_backlog:0
mem_clients_slaves:0
mem_clients_normal:487872
mem_aof_buffer:0
mem_allocator:jemalloc-5.1.0
active_defrag_running:0
lazyfree_pending_objects:0
lazyfreed_objects:0

监控截图 #

Redis内存管理优化实践与配置方案 #

1. 修复Celery结果后端冲突并清理任务元数据 #

你的Django配置中存在CELERY_RESULT_BACKEND重复定义的问题，先确认最终生效的是django-db作为结果后端，删除或注释CELERY_RESULT_BACKEND = CELERY_BROKER_URL这一行，避免任务结果重复存储到Redis。同时配置任务结果自动过期：

# 任务结果保留1天，到期自动清理
CELERY_RESULT_EXPIRES = 86400

如果Redis中已有残留的任务数据，可进入Redis容器执行以下命令清理：

redis-cli
# 查看所有Celery相关键
KEYS "celery*"
# 删除过期的任务键（按需执行）
DEL 键名

2. 配置Redis内存上限与淘汰策略 #

当前Redis未设置内存上限，这是内存持续增长的核心原因。根据服务器总内存（15.42G），给Redis设置合理的内存上限，并配置LRU淘汰策略：
修改Docker Compose的Redis服务配置：

redis:
  image: redis:6
  container_name: scielo_core_local_redis
  ports:
    - "6399:6379"
  command: redis-server --maxmemory 4g --maxmemory-policy allkeys-lru

• --maxmemory 4g：限制Redis最大使用4G内存，避免占用过多系统资源
• --maxmemory-policy allkeys-lru：内存达到上限时，自动删除最近最少使用的键，适合Celery Broker场景

3. 优化Celery Broker配置 #

添加Broker可见性超时配置，避免未确认的任务消息堆积：

CELERY_BROKER_TRANSPORT_OPTIONS = {
    'visibility_timeout': 3600,  # 1小时，可根据任务最长执行时间调整
}

4. 启用Redis自动内存碎片化整理 #

虽然当前内存碎片率不高，但长期运行后可能增加，启用自动整理可维持内存使用效率：
修改Redis启动命令，添加自动整理参数：

command: redis-server --maxmemory 4g --maxmemory-policy allkeys-lru --activedefrag yes

5. 定期监控与排查 #

• 定期执行redis-cli info memory查看内存使用情况，建立告警机制（比如内存使用率超过80%时触发告警）
• 检查Celery Beat定时任务是否存在重复创建、执行失败堆积的情况，确保任务执行完成后正确ACK

内容的提问来源于stack exchange，提问作者xSkolz