如何通过单条命令将多个文件的数据批量插入Redis

你之前将多文件拼接后统一管道传输的写法，本质上还是把所有数据合并为单一流提交给Redis，和直接导入单个超大文件的效果完全一致，超过了Redis服务端对客户端单次查询缓冲区的大小限制，因此会触发相同的too large错误。

方案1：单条命令实现多文件逐个批量导入 #

不需要修改任何配置，直接通过shell遍历逐个导入每个文件即可，单条命令写法如下：

匹配所有data前缀的txt文件逐个导入 #

for f in ./data*.txt; do cat $f | redis-cli --pipe; done

如果你的文件命名没有统一规则，也可以直接指定需要导入的文件列表：

for f in data.txt data1.txt data2.txt data3.txt; do cat $f | redis-cli --pipe; done

这种写法会自动逐个加载每个文件的内容调用pipe导入，不会合并数据，自然不会触发大小超限问题。

方案2：单个文件本身体积过大的处理 #

如果单个数据文件本身就已经超过大小限制，需要先拆分文件再导入：

• 用split命令按大小拆分单个大文件，示例按每128M拆分一个文件，拆分后文件前缀为split_data_：

split -C 128m -d data.txt split_data_

• 再用方案1的循环命令导入所有拆分后的小文件即可。

方案3：调整Redis服务端缓冲区限制（可选） #

如果确实需要一次性导入超大批量数据，可以临时调整Redis的两个配置参数，导入完成后再改回原值即可：

1. 临时调整（Redis重启后失效）：

redis-cli config set client-query-buffer-limit 1gb
redis-cli config set proto-max-bulk-len 512mb

2. 永久调整需要修改redis.conf文件对应配置项后重启服务。

注意：该方案会增加Redis服务端的内存占用风险，非必要不建议修改，优先选择前两种方案更稳妥。

内容的提问来源于stack exchange，提问作者Alex