如何提升Redis HyperLogLog的准确率及运行效率

首先给出明确结论：Redis原生实现的HLL不支持通过增加内存分配的方式提升准确率，但运行效率可以通过优化使用姿势实现调优，和内存分配无关。

准确率相关说明 #

Redis HLL的底层实现是固定内存占用的，单个HLL键固定占12KB，对应的标准误差为0.81%，这两个参数是源码中硬编码的，没有开放任何配置项允许用户自定义内存大小来降低误差。
如果你的业务场景对准确率要求更高，可以根据基数规模选择替代方案：

• 预估基数在百万以下：直接用Set类型存储元素，统计时用SCARD取数，准确率100%，内存随元素数量线性增长
• 预估基数极大且误差要求低于0.81%：只能自行实现自定义参数的HLL逻辑，不过需要同步配套实现增元素、计数、合并的能力，性价比极低，非极端场景不建议使用

另外需要注意：使用PFMERGE合并多个原生HLL键时，最终结果的误差依然维持在0.81%，不会因为合并操作升高，不需要额外针对合并场景做准确率优化。

运行效率调优方案 #

Redis HLL的三个操作PFADD/PFCOUNT/PFMERGE本身复杂度都是O(1)或者O(N)（N为传入的HLL键数量，和基数无关），性能已经足够高，绝大多数性能问题都是使用姿势不合理导致的，可以从以下角度优化：

• 写入优化：批量写入元素时，尽量将多个元素合并到同一条PFADD命令中调用，不要循环调用单元素写入命令，减少网络RTT开销，只要元素总大小不超过Redis命令长度限制即可
• 查询优化：如果需要高频查询多个HLL的合并计数值，不要每次都将多个键传入PFCOUNT实时合并，建议提前用PFMERGE预合并为固定的结果键，查询时直接取该结果键的数值即可
• 避免命令阻塞：不要在单条PFCOUNT/PFMERGE命令中传入超过10个HLL键，即使单个HLL只有12KB，一次性处理过多键依然会阻塞Redis主线程

内容的提问来源于stack exchange，提问作者Ram