Redis Broker因大量*.reply.celery.pidbox键引发OOM问题求助
问题:Celery批量推送任务引发Redis OOM,生成大量大体积pidbox键
场景与执行代码
近期通过for循环向Celery批量推送任务,htl_urls总长度约10-15k,按每10个一组拆分后,共推送约1500个任务,核心代码如下:
for index, htl_urls_chunk in enumerate(iteration_grouper(htl_urls, n=10, chunk_type=list)): update_cache_for_hotel_detail_page_chunk.apply_async(kwargs={'htl_urls_chunk': htl_urls_chunk})
异常现象
上述操作后,Redis中生成了大量以下格式的键:
01f6ebdb-361b-32ec-afe9-2eb7c8511288.reply.celery.pidbox 6292044c-a816-349a-a159-682536ea9bfa.reply.celery.pidbox
每个键的大小约150MB,累计生成29个,总占用空间达4.24GB,直接触发了Redis集群的OOM问题。
求助需求
目前尚未定位到这些大体积pidbox键的生成原因,恳请同行提供原因分析思路或排查建议。
内容的提问来源于stack exchange,提问作者SHUBHAM KAUSHIK
相关产品推荐
相关产品推荐

