GKE至Redis Memorystore间歇性连接问题排查求助

问题现象 #

自12月13日下午2点（GMT+8）起，运行在GKE Autopilot Pod上的PHP Laravel应用频繁出现Redis连接中断或超时，触发以下错误：

• RedisException: Redis server 10.X.X.X:6379 went away
• RedisException: Connection timed out
• RedisException: read error on connection to 10.X.X.X:6379
• ErrorException: Redis::get(): send of 43 bytes failed with errno=32 Broken pipe
• ErrorException: Redis::lPush(): send of 6076 bytes failed with errno=32 Broken pipe

复现特征 #

该问题仅在部分Redis连接中间歇性出现，从堆栈跟踪分析可排除应用代码bug导致。

已排查信息 #

• 应用使用php-redis驱动连接Redis，此前无连接异常，近4天无新部署或代码变更；
• 确认Redis服务器状态健康，CPU、内存实际使用率距上限有超60%余量；GKE工作负载的CPU、内存也有合理余量；
• 尝试重新部署应用、重启GKE Pod后，问题仍未解决；
• 在GKE Pod上通过redis-cli手动连接Redis时，偶尔出现高延迟情况，连接耗时达4-5秒，属于异常状态。

疑似根源方向 #

1. GKE集群自身问题
2. GKE与Redis之间的网络连接问题
3. Redis Memorystore服务问题

内容的提问来源于stack exchange，提问作者l33t