Redis定时Lua统计脚本遇BUSY错误 求优化方案及内置替代方法

我正在搭建一个Redis实例，用于接收由键值对组成的数据点，键可通过不同前缀区分类型，每个键均设置了TTL过期时间。我计划每15分钟运行一段Lua脚本，统计特定前缀键的各类数值，该脚本由Node.js的Cron任务触发。

Lua脚本代码 #

local data = redis.call('KEYS', KEYS[1] .. "*")
for i=1,#data do
  local value = 'rollup.' .. KEYS[1] .. redis.call('GET', data[i])
  if redis.call('EXISTS', value)==1 then
    redis.call('INCR', value)
  else
    redis.call('SET', value, 1)
  end
end

Node.js调度代码 #

cron.scheduleJob("*/15 * * * *", async () => {
   try {
     await redisServer.eval(fs.readFileSync("./dist/tally.lua"), 0);
   } catch (ex) {
     logger.error("Calling rollup lua failed. " + util.inspect(ex));
   }
 });

遇到的错误 #

ReplyError: BUSY Redis is busy running a script. You can only call SCRIPT KILL or SHUTDOWN NOSAVE.

我想明确：

• 这是Lua脚本的问题吗？
• 是否有更优的实现方式？比如不使用外部Lua脚本（当前脚本与set、expires、ping等常规请求共用同一端口，我还有每秒一次的心跳ping检测Redis状态）。
• Redis是否支持任务调度？有没有内置功能可实现我的需求？
• 补充：核心问题可能是Lua脚本的原子性执行——脚本运行期间其他操作无法执行，导致Redis交互请求堆积。是否有更快的统计方式？比如不使用Lua脚本，将数据拉取到Node.js端进行统计？

问题根源：Lua脚本的阻塞特性 #

你的Lua脚本确实是触发BUSY错误的核心原因：

1. KEYS命令的性能瓶颈：KEYS会遍历整个Redis键空间，数据量较大时执行时间极长。
2. 原子执行导致全局阻塞：Redis的Lua脚本是原子执行的，脚本运行期间整个实例会被锁定，所有其他请求（包括心跳PING）都无法处理，最终触发BUSY错误。
3. 循环内多次命令调用：脚本中的GET、EXISTS、INCR/SET都是独立的Redis命令，循环次数越多，脚本执行时间越长，阻塞越严重。

优化方案1：改造Lua脚本（减少阻塞时长） #

如果坚持使用Lua脚本，需从两方面优化：

• 替换KEYS为SCAN：SCAN是渐进式遍历，不会一次性阻塞Redis，但要注意控制单次遍历的COUNT参数，避免脚本超时。
• 改用哈希表存储统计结果：用HINCRBY替代单独的SET/INCR，减少键数量的同时，一次命令完成计数操作。

优化后的Lua脚本示例：

local cursor = "0"
repeat
    local result = redis.call('SCAN', cursor, 'MATCH', KEYS[1] .. "*", 'COUNT', 1000)
    cursor = result[1]
    local keys = result[2]
    for i=1,#keys do
        local val = redis.call('GET', keys[i])
        if val then
            redis.call('HINCRBY', 'rollup:' .. KEYS[1], val, 1)
        end
    end
until cursor == "0"

优化方案2：将统计逻辑移至Node.js端（彻底避免Redis阻塞） #

把数据拉取到Node.js本地处理，再批量写入Redis，完全不阻塞Redis的常规请求：

1. 用SCAN渐进式遍历指定前缀的键，每次拉取一批（比如1000个）。
2. 在Node.js端维护统计计数，最后用批量命令写入Redis。

示例代码：

async function tallyKeys(prefix) {
    let cursor = '0';
    const stats = new Map();
    do {
        const [newCursor, keys] = await redisServer.scan(cursor, 'MATCH', `${prefix}*`, 'COUNT', 1000);
        cursor = newCursor;
        if (keys.length === 0) continue;
        // 批量获取键值
        const values = await redisServer.mget(keys);
        // 本地统计计数
        values.forEach(val => {
            if (!val) return;
            stats.set(val, (stats.get(val) || 0) + 1);
        });
    } while (cursor !== '0');
    // 批量写入统计结果
    if (stats.size > 0) {
        const batch = [];
        stats.forEach((count, val) => {
            batch.push(['hincrby', `rollup:${prefix}`, val, count]);
        });
        await redisServer.multi(batch).exec();
    }
}

cron.scheduleJob("*/15 * * * *", async () => {
    try {
        await tallyKeys('your-target-prefix'); // 替换为你的目标前缀
    } catch (ex) {
        logger.error("Rollup failed. " + util.inspect(ex));
    }
});

优化方案3：利用Redis内置/扩展功能 #

• Redis Stream + 消费者组：如果数据是实时写入的，可以将数据发送到Stream，用消费者组异步处理统计，避免定时扫描键空间。
• RedisTimeSeries模块：如果是时间序列数据，该模块支持自动按指定粒度（比如15分钟）聚合统计，无需自行编写脚本或调度任务。
• 关于Redis任务调度：Redis本身没有内置的任务调度功能，你当前用Node.js Cron的方式是合理的，只需确保调度的任务不会阻塞Redis即可。

内容的提问来源于stack exchange，提问作者aggaton