Redis批量获取全量Key及对应数据性能优化求助

嘿，我来帮你捋捋怎么把这个Redis批量操作的耗时压到1秒内！先看看你当前代码的几个潜在瓶颈，再给你针对性的优化方案：

现有代码的核心问题 #

你现在是先通过SCAN把所有key全捞到本地数组，再一次性发起pipeline请求，这个过程会产生额外的内存开销和循环等待时间，而且默认的SCAN参数可能导致循环次数过多，增加Redis和PHP之间的通信往返次数。

具体优化方案 #

• 优化SCAN的COUNT参数：
  默认的SCAN每次返回的key数量不多，你可以手动指定COUNT参数（比如COUNT 1000，根据你的Redis实例性能调整），让每次SCAN返回更多key，减少do-while的循环次数，降低通信开销。

• SCAN与GET并行处理：
  不要等所有key都扫完再去批量GET，而是每次SCAN拿到一批key，就立刻用pipeline获取对应的值，这样能减少本地内存占用，还能让Redis的处理更连贯。

• 优化JSON解析效率：
  如果你的业务允许，试试把json_decode($value)改成json_decode($value, true)返回数组，数组的处理速度通常比对象更快；另外也可以考虑批量解析，不过PHP里这部分提升有限，主要还是前面的Redis操作优化。

• 合并重复的Job：
  你提到有两个Job每秒都在跑同样的逻辑？如果是重复任务，直接合并成一个就行，避免Redis同时处理两个相同的批量请求，能大幅降低Redis的负载。

优化后的代码示例 #

$redis = Redis::connection('report-db');
$accounts = collect();

$cursor = 0;
do {
    // 带COUNT参数的SCAN，每次返回更多key
    $result = $redis->scan($cursor, 'COUNT', 1000);
    $cursor = $result[0];
    $currentKeys = $result[1];
    
    if (empty($currentKeys)) {
        continue;
    }
    
    // 拿到当前批次的key后立刻发起pipeline请求
    $pipe = $redis->pipeline();
    foreach ($currentKeys as $key) {
        $pipe->get($key);
    }
    $currentResults = $pipe->execute();
    
    // 解析当前批次的数据并合并到集合
    $currentAccounts = collect($currentResults)->map(function ($value) {
        // 转数组比转对象更快，根据业务调整
        return json_decode($value, true);
    });
    $accounts = $accounts->merge($currentAccounts);
    
} while ($cursor != 0);

额外小建议 #

• 检查你的Redis实例性能：如果Redis本身负载很高（比如CPU使用率高），那先优化Redis的配置或者实例规格，比如增加内存、调整持久化策略等。
• 试试用KEYS命令？不过仅限数据量稳定在5000条的场景，因为KEYS会阻塞Redis单线程，如果你的数据量后续会增长，还是必须用SCAN。但5000条的话，KEYS的速度会比SCAN快很多，不过要注意在业务低峰期或者确认不会阻塞其他请求的情况下用。

备注：内容来源于stack exchange，提问作者Sina Ghafarian