使用python redis操作Redis Stream时maxlen长度限制不生效如何解决

问题根因 #

你遇到的maxlen不生效的核心原因是redis-py客户端的xadd方法默认启用近似裁剪策略，对应Redis原生XADD命令的MAXLEN ~ <数值>语法，该策略为了提升写入性能，不会每次写入都严格把Stream长度裁剪到你指定的数值，只会在整个Stream节点的所有元素都满足删除条件时才批量删除旧数据，因此会出现实际长度远大于设置的maxlen的情况。
小概率原因是你使用的Redis服务端版本低于5.0，早期Redis Stream的裁剪逻辑存在bug，不过目前主流Redis版本都已经修复该问题，优先检查客户端参数配置即可。

解决方法 #

如果需要严格控制Stream长度不超过10，只需要在调用xadd时额外添加approximate=False参数，关闭近似裁剪即可，修改后的代码如下：

redis_client.xadd(name=article_stream_name, fields=message, maxlen=10, approximate=False)

修改后写入时会触发Redis的精确裁剪逻辑，每次添加新元素后都会自动删除多余的旧元素，保证Stream的长度始终不超过你设置的maxlen数值。

补充说明 #

• 近似裁剪是Redis Stream的默认行为，适合高写入吞吐量、对长度精度要求不高的场景，性能比精确裁剪高30%以上；
• 精确裁剪适合对Stream长度有严格要求、写入QPS不高的场景，每次写入都会额外产生裁剪的IO开销；
• 你之前删除Stream重建后问题依旧，就是因为默认近似裁剪的逻辑和Stream本身的历史配置无关，是每次调用XADD时指定的参数决定的。

内容的提问来源于stack exchange，提问作者Dolphin