负载均衡环境下Azure Redis Cache频繁触发RedisTimeoutException求助

问题背景 #

在负载均衡环境运行应用，使用共享Azure Redis Cache服务，连接池大小设为50，频繁遭遇RedisTimeoutException，异常详情如下：

RedisTimeoutException
Timeout performing EXISTS (60000ms), next: GET vstfs:///Classification/TeamProject/b81283a0-baf4-46df-a616-fbdd9d387034##CheckOutFiles, inst: 6, qu: 0, qs: 0, aw: False, bw: Inactive, rs: ReadAsync, ws: Idle, in: 0, serverEndpoint: mr4devops.redis.cache.windows.net:6380, mc: 1/1/0, mgr: 10 of 10 available, clientName: inteGREAT.Web.UI.v2_IN_1(SE.Redis-v2.6.66.47313), IOCP: (Busy=0,Free=1000,Min=4,Max=1000), WORKER: (Busy=151,Free=32616,Min=4,Max=32767), v: 2.6.66.47313 (Please take a look at this article for some common client-side issues that can cause timeouts: https://stackexchange.github.io/StackExchange.Redis/Timeouts)   
at StackExchange.Redis.ConnectionMultiplexer.ExecuteSyncImpl[T](Message message, ResultProcessor`1 processor, ServerEndPoint server, T defaultValue) in /_/src/StackExchange.Redis/ConnectionMultiplexer.cs:line 1867   
at StackExchange.Redis.RedisDatabase.KeyExists(RedisKey key, CommandFlags flags) in /_/src/StackExchange.Redis/RedisDatabase.cs:line 811

关键异常指标分析 #

• WORKER线程: Busy=151，Min=4。线程池最小线程数配置过低，突发请求时线程扩容存在延迟，导致命令等待超时。
• 命令超时: EXISTS命令耗时60秒仍未完成，排除客户端队列阻塞（qu=0, qs=0），问题大概率出在客户端线程调度或Redis服务端性能。
• 连接管理器: mgr=10/10可用，mc=1/1/0，说明连接池未耗尽，但需确认ConnectionMultiplexer是否全局复用。

解决办法 #

1. 调整.NET线程池最小线程数 #

线程池默认最小线程数（MinWorkerThreads/MinIOCPThreads）为4，无法应对负载均衡环境下的突发请求。在应用启动时增加以下配置：

// 根据服务器CPU核心数调整，建议设为核心数*25以上
ThreadPool.SetMinThreads(200, 200);

也可通过app.config/web.config配置：

<configuration>
  <system.net>
    <settings>
      <servicePointManager>
        <defaultConnectionLimit>100</defaultConnectionLimit>
      </servicePointManager>
    </settings>
  </system.net>
  <runtime>
    <Thread_UseAllCpuGroups enabled="true"/>
    <GCCpuGroup enabled="true"/>
    <gcServer enabled="true"/>
  </runtime>
</configuration>

2. 确保Redis连接全局复用 #

StackExchange.Redis的ConnectionMultiplexer必须全局单例，禁止每次请求创建新实例。示例代码：

public static class RedisCache
{
    private static readonly Lazy<ConnectionMultiplexer> _lazyConnection = new Lazy<ConnectionMultiplexer>(() =>
    {
        return ConnectionMultiplexer.Connect("your-azure-redis-connection-string");
    });

    public static ConnectionMultiplexer Connection => _lazyConnection.Value;
    public static IDatabase Db => Connection.GetDatabase();
}

3. 优化Redis命令与数据结构 #

• 检查超时key的大小，若value过大（超过100KB），拆分数据结构或压缩存储。
• 针对热点key（如示例中的vstfs:///...##CheckOutFiles），添加本地缓存（如MemoryCache），减少Redis访问频次。
• 避免在Redis执行耗时命令（如KEYS、HGETALL），改用SCAN或分批读取。

4. 排查Azure Redis服务端状态 #

• 登录Azure门户，查看Redis监控指标：
  • CPU使用率：若持续超过80%，说明服务端资源不足，考虑升级缓存层级（共享层→标准层）。
  • 内存使用率：若接近阈值，调整maxmemory-policy为allkeys-lru，清理过期或冷数据。
  • 连接数：确认总连接数（所有应用实例连接池之和）未超过Azure Redis的配额限制。

5. 调整StackExchange.Redis客户端配置 #

• 升级客户端到最新版本，旧版本可能存在线程调度或连接管理bug。
• 调整超时参数（仅作为临时缓解，优先解决根本问题）：

  var config = new ConfigurationOptions
  {
      EndPoints = { "mr4devops.redis.cache.windows.net:6380" },
      SyncTimeout = 10000, // 缩短同步超时，避免长时间阻塞
      ConnectTimeout = 5000,
      AbortOnConnectFail = false, // 连接失败时自动重试
      PoolSize = 50 // 根据实际并发调整，避免超过Redis配额
  };
  

内容的提问来源于stack exchange，提问作者Hassan Ahmed Baig