Jedis Pipeline调用sync()前命令已执行？原因及正确用法咨询

问题说明 #

我用Jedis Pipeline批量往Redis插数据，调试时发现还没调用jedis.sync()，Redis里就已经有记录了。按我理解，管道里的命令应该要等调用sync()才会执行吧？还是会自动按固定大小分批执行？我的代码如下：

var pipeline = jedis.pipelined();
all.forEach(value -> pipeline.sadd(allPrefix, value));
grouped.forEach((key, value) -> pipeline.hset(groupedPrefix, String.valueOf(key), value));
pipeline.sync();

想问下我这么用对不对？为啥会出现提前执行的情况？

解答 #

用法是正确的 #

你的代码完全符合Jedis Pipeline的标准使用流程：先获取管道实例，批量添加待执行命令，最后调用sync()触发执行，写法没有问题。

提前出现记录的原因 #

Jedis的Pipeline并不是必须等到调用sync()才会把命令发往Redis，它内部有自动触发的缓冲区刷新机制：

• 当你不断往管道里添加命令时，这些命令会暂存在客户端的输出缓冲区中。
• 一旦缓冲区的字节数达到Jedis客户端内部的阈值（默认约8KB），或者触发了Redis服务端client-output-buffer-limit配置的限制，Jedis就会自动将当前缓冲区中的命令发送给Redis执行，这就导致部分数据在sync()调用前就已写入Redis。
• 另外，调试时如果打断点，部分调试工具可能会读取客户端的输出流，间接触发缓冲区的隐式刷新，也会造成命令提前执行。

要不要强制等到sync再执行？ #

如果业务上必须要求所有命令一次性执行，可以调整Jedis的缓冲区大小，或者确保所有命令的总字节数不超过缓冲区阈值。不过一般来说，这种分批发送是Jedis的优化策略，能减少单次发送的数据包大小、避免网络阻塞，不会影响业务逻辑——毕竟不管分批还是一次性，最终所有命令都会被执行，Pipeline减少网络往返的核心目的也能达成。

内容的提问来源于stack exchange，提问作者micobg