Redis Pipeline并行写入慢及批量数据导入优化咨询

1. 本地执行脚本是否是速度慢的元凶？部署到服务器能提速吗？ #

答案是肯定的！本地和远程Redis服务器之间的**网络延迟（RTT）**是你当前性能瓶颈的核心原因。

每次调用pipeline.execute()都会发起一次网络请求，哪怕你批量了1万条记录，本地到服务器的往返时间都会叠加到总耗时里。当你并行运行两个脚本时，不仅网络带宽会被占满，Redis服务器的连接处理也会出现排队，导致耗时直接飙升到4分钟——这完全符合网络瓶颈的表现。

如果把脚本部署到Redis所在的服务器上，网络延迟几乎为0，批量请求的响应时间会大幅缩短，单批次1万条的耗时应该能回到甚至优于你单进程本地运行的50秒，并行运行的效率也会显著提升。这是性价比最高的优化手段，建议优先尝试。

2. 当前的Redis数据加载方式是否合理？ #

你的代码思路是对的——用pipeline减少网络请求次数，但细节上有几个可以改进的地方：

• 事务参数不一致：第一次初始化pipeline时设置了transaction=False（这很好，批量导入不需要事务保证原子性），但后面重新创建pipe时没加这个参数，默认会开启事务，事务会增加Redis的处理开销，应该统一设置transaction=False。
• 冗余的判断逻辑：代码里关于剩余数据的判断分支有点重复，可以简化，避免不必要的条件检查。
• 废弃命令的使用：hmset已经是Redis官方废弃的命令了，在新版本Redis中会被移除，建议换成hset（Redis-py中的hset支持传入字典，和hmset效果完全一致）。

3. 更优的大量数据插入Redis的方法 #

除了部署到服务器和优化现有代码，还有这些能大幅提升速度的方案：

（1）使用官方的redis-cli --pipe工具 #

这是Redis官方推荐的高速批量导入方式，它会把数据转换成Redis协议格式的纯文本，通过管道直接发送给Redis，完全绕开了客户端的序列化开销，速度比Python pipeline快几个数量级。

你只需要把数据转换成符合Redis协议的格式（比如每条Hash记录对应一行：*3\r\n$4\r\nHSET\r\n$[key长度]\r\n[key]\r\n$[序列化后的字典长度]\r\n[序列化后的字典内容]），然后通过管道传入：

cat data.txt | redis-cli --pipe

（2）临时调整Redis配置 #

导入数据时临时关闭持久化，能极大减少IO开销：

• 执行CONFIG SET save ""关闭RDB持久化
• 执行CONFIG SET appendonly no关闭AOF持久化
  导入完成后再恢复原有配置，记得手动执行一次SAVE生成RDB备份。

另外还可以调整tcp-backlog、tcp-keepalive等参数，提升Redis的网络处理能力。

（3）优化Python代码 #

给你一个修正后的代码示例，解决了之前提到的问题：

def load_hashmap(data, client, keycolumn, batchsize):
    try:
        pipe = client.pipeline(transaction=False)
        n = 0
        for row in data:
            key = row[keycolumn]  # 提前提取key，减少字典查找开销
            pipe.hset(key, mapping=row)
            n += 1
            if n % batchsize == 0:
                pipe.execute()
                print(f"Data Load Batch--{n} completed at {datetime.now()}")
                pipe = client.pipeline(transaction=False)
        # 处理剩余的不足batchsize的记录
        if n % batchsize != 0:
            pipe.execute()
            print(f"Data Load Batch--{n} completed at {datetime.now()}")
    except Exception as e:
        raise Exception(str(e))

（4）控制并行度，用异步客户端 #

Redis是单线程处理命令的，过多的并行进程/线程会导致命令排队，反而拖慢速度。如果一定要并行，建议最多开2-3个进程。或者改用异步Redis客户端（比如aioredis），利用异步IO减少线程切换的开销，提升并发效率。

内容的提问来源于stack exchange，提问作者Nithin Govindaraju