You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Redis Broker因大量*.reply.celery.pidbox键引发OOM问题求助

问题:Celery批量推送任务引发Redis OOM,生成大量大体积pidbox键

场景与执行代码

近期通过for循环向Celery批量推送任务,htl_urls总长度约10-15k,按每10个一组拆分后,共推送约1500个任务,核心代码如下:

for index, htl_urls_chunk in enumerate(iteration_grouper(htl_urls, n=10, chunk_type=list)):
    update_cache_for_hotel_detail_page_chunk.apply_async(kwargs={'htl_urls_chunk': htl_urls_chunk})

异常现象

上述操作后,Redis中生成了大量以下格式的键:

01f6ebdb-361b-32ec-afe9-2eb7c8511288.reply.celery.pidbox
6292044c-a816-349a-a159-682536ea9bfa.reply.celery.pidbox

每个键的大小约150MB,累计生成29个,总占用空间达4.24GB,直接触发了Redis集群的OOM问题。

求助需求

目前尚未定位到这些大体积pidbox键的生成原因,恳请同行提供原因分析思路或排查建议。

内容的提问来源于stack exchange,提问作者SHUBHAM KAUSHIK

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.07.29 21:32:05