EKS中Node.js应用扩容至20-30 Pod时Redis连接超时问题求助

我在Amazon EKS上运行Node.js应用，连接单节点的Amazon ElastiCache Redis实例（节点类型cache.t3.micro）。安全规则配置正确，Pod数量在4-10个时能正常连接Redis，但扩容到20-30个时出现连接超时错误。

Node.js应用Redis连接代码片段：

const redisClient = require("redis");

const initRedisClient = async () => {
    try {
        info(`connecting to redis client`);
        let connectionClient = redisClient.createClient({
            url : `redis://${redisUrl}:6379`
        });
        connectionClient.on("error",(err) => {
            console.log("error",err);
            throw new Error(err?.message);
        });
        connectionClient.on("connect",function () {
            console.log("redis connected successfully!");
            // storeData("WAIT_TIME","5",false,0);
            // storeData("BUFFER_TIME","2",false,0); 
        })
        await connectionClient.connect();
        client = connectionClient;
        return client;
    } catch (error) {
        console.log(error?.message);
        console.log(error?.message);
        return {
            type : "error",
            message : error?.message
        };
    }
}

环境详情 #

• Node.js版本：14.x
• Redis客户端库/版本：Redis 4.1.0
• ElastiCache Redis节点类型：cache.t3.micro（引擎版本7.1.0）
• 集群配置：单节点集群

错误现象：仅在Pod扩容至20-30个时出现Redis连接超时，初始连接及Pod数量较少时无异常。

已尝试操作 #

• 验证安全规则与网络连接，配置均正确
• 确认Redis实例运行正常，单个Pod可正常访问

排查与解决建议 #

1. 检查Redis连接数限制 #

cache.t3.micro实例的默认最大客户端连接数为1000，但实际受限于实例的内存和CPU资源。当Pod数量达到20-30个时，每个Pod创建独立连接会快速耗尽可用连接数：

• 执行redis-cli CONFIG GET maxclients查看当前最大连接数
• 执行redis-cli INFO clients查看当前已使用连接数，确认是否接近上限

2. 启用Redis连接池 #

当前代码每个Pod创建独立客户端，无连接池导致连接数爆炸。修改代码引入连接池：

const redisClient = require("redis");
const { createPool } = require('generic-pool');

const initRedisClient = async () => {
    try {
        info(`initializing redis connection pool`);
        // 创建连接池
        const pool = createPool({
            create: async () => {
                const client = redisClient.createClient({ url: `redis://${redisUrl}:6379` });
                await client.connect();
                return client;
            },
            destroy: async (client) => {
                await client.quit();
            }
        }, {
            max: 8,  // 每个Pod的最大连接数
            min: 2,  // 最小空闲连接数
            idleTimeoutMillis: 30000 // 空闲连接超时回收
        });
        return pool;
    } catch (error) {
        console.log(error?.message);
        return { type: "error", message: error?.message };
    }
}

// 使用示例：从池获取连接
// const pool = await initRedisClient();
// const client = await pool.acquire();
// await client.set('key', 'value');
// pool.release(client);

3. 检查ElastiCache实例资源瓶颈 #

cache.t3.micro资源有限，大量连接可能导致CPU或内存过载：

• 查看CloudWatch指标：CPUUtilization、FreeableMemory、NetworkBytesIn/Out，确认是否有资源耗尽情况
• 若资源使用率过高，升级实例类型（如cache.t3.small）

4. 优化Redis客户端配置 #

增加超时重试、启用TCP保活，避免短暂波动或连接被断开：

let connectionClient = redisClient.createClient({
    url: `redis://${redisUrl}:6379`,
    socket: {
        connectTimeout: 5000, // 连接超时5秒
        reconnectStrategy: (retries) => Math.min(retries * 100, 3000), // 重试间隔递增，最大3秒
        keepAlive: 300 // TCP保活300秒
    }
});

5. 检查EKS节点网络限制 #

每个EC2节点有TCP连接数上限，Pod过多可能耗尽节点端口或连接数：

• 在EKS节点上执行netstat -an | grep 6379 | wc -l，查看已建立的Redis连接数是否接近节点上限
• 若节点资源不足，增加EKS节点数量或升级节点类型

内容的提问来源于stack exchange，提问作者Hey.Its_RJ