AWS ElastiCache垂直扩容写入数据出现ReadOnlyError如何解决

错误原因 #

AWS ElastiCache非集群模式垂直扩容的流程中，会先启动更高配置的新节点完成数据同步，随后执行主从切换：原主节点降级为只读副本，新节点升级为主节点，同时主节点域名的DNS记录会更新指向新主IP。

ReadOnlyError的根本诱因来自redis-py 3.5.3版本的默认行为：

• 客户端初始化时仅对配置的master域名做一次DNS解析，后续所有请求都复用解析到的IP建立长连接
• 扩容主从切换完成后，旧主IP对应的节点已被设置为只读，客户端缓存的DNS结果未更新，继续向旧IP发送写请求就会触发报错
• 等旧连接超时断开后，客户端重连时会重新解析DNS拿到新主IP，请求就会自动恢复正常

Golang脚本无报错的原因 #

该差异由不同语言Redis客户端的默认配置差异导致，Golang生态常用的Redis客户端（如go-redis）默认逻辑和redis-py 3.x存在明显区别：

• 默认对连接池设置短的空闲回收时间，连接定期重建时会自动刷新DNS解析结果
• 内置主从切换场景的错误重试逻辑，遇到只读错误会自动重建连接重发请求
• 内置DNS缓存时间更短，能更快感知到主节点域名的IP变更

修复方案 #

以下为按优先级排序的可落地修复方案：

• 新增只读错误的重试和连接重置逻辑
  捕获ReadOnlyError时主动断开现有连接池的所有连接，强制重连时刷新DNS解析，可直接修改异常处理逻辑：

  except redis.exceptions.ReadOnlyError as re:
      print(datetime.now(), "Error:", type(re), re)
      flag = True
      # 断开所有现有连接，下次请求会自动重连并刷新DNS
      r.connection_pool.disconnect()
  

• 调整Redis客户端配置，优化连接回收策略
  初始化客户端时添加连接空闲超时、TCP保活参数，避免长连接长期复用旧DNS解析结果：

  import socket
  
  def get_redis_client():
      return redis.Redis(
          host=Config.master_host,
          db=Config.redis_db,
          socket_connect_timeout=Config.socket_conn_timeout,
          # 新增配置项
          socket_keepalive=True,
          socket_keepalive_options={
              socket.TCP_KEEPIDLE: 10,
              socket.TCP_KEEPINTVL: 3,
              socket.TCP_KEEPCNT: 3
          },
          max_idle_time=30 # 连接空闲超过30秒自动回收
      )
  

• 升级redis-py到4.x以上版本
  4.x版本优化了DNS解析逻辑，支持自动刷新DNS，也内置了更完善的可重试错误处理机制，可大幅降低这类问题出现的概率。
• 业务侧添加通用重试逻辑
  针对扩容、节点故障这类临时性错误，给写请求添加最多3次的指数退避重试，避免偶发错误影响业务运行。

内容的提问来源于stack exchange，提问作者Akshit Sadana