部署在AWS Lightsail容器服务的Node.js应用丢失RDS Postgres连接排查

问题背景 #

我有一个基于Express的Node.js应用，通过Docker部署在AWS Lightsail容器服务上，使用knex连接AWS RDS Postgres数据库，出现以下异常：

• 连接通常正常运行约2天，有时在执行迁移后，Lightsail上的应用无法连接RDS；
• 起初本地非Docker化应用、本地Docker化应用及DBeaver仍可连接RDS，但一段时间后这些连接也会失效，此时完全无法访问RDS数据库；
• 尝试过重建Lightsail VPC与默认VPC的对等连接、重新配置安全组入站规则、创建新数据库等操作后，本地连接恢复，但Lightsail上的应用仍无法连接。

已完成的排查操作 #

• 确认DATABASE_URL正确，与本地可用的连接字符串一致；
• 确认AWS RDS数据库已开启公网访问；
• RDS安全组已配置Lightsail VPC CIDR规则，甚至设置了IPv4和IPv6全开放规则；
• 重启过RDS数据库；
• 新增的RDS数据库仍无法从Lightsail连接。

应用日志错误信息 #

[23/Oct/2022:16:28:42] Error: connect ECONNREFUSED 127.0.0.1:5432
[23/Oct/2022:16:28:42] at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1148:16)

当前疑问 #

• 错误中显示连接127.0.0.1是否异常？（已设置ssl: false）
• 问题常出现在回滚并重新执行29次迁移及数据填充后，怀疑过最大连接数问题，但无法解释当前本地可连接而Lightsail不行的情况；
• 是否需要配置Docker允许5432端口出站？
• 故障时通常无法访问任何RDS数据库；
• 回滚到之前正常的版本可行，但不知道如何下载镜像进一步排查；
• 不确定维护窗口是否相关，目前已超过24小时Lightsail仍无法连接，怀疑是AWS网络层或Docker网络配置问题；
• 不知道如何针对Lightsail容器应用使用AWS可达性分析器。

遗漏的排查点 #

1. 容器内环境变量与配置验证 #

• 通过Lightsail控制台的容器终端功能进入实例shell，执行echo $DATABASE_URL，确认容器内实际加载的连接字符串是否正确，排查变量未注入、被覆盖的情况；
• 检查knex配置文件，确认是否存在硬编码的localhost/127.0.0.1配置，覆盖了环境变量中的RDS地址。

2. 容器网络解析与路由测试 #

• 在容器内执行nslookup <RDS_ENDPOINT>，验证RDS地址是否能正确解析，排查DNS解析失败导致回环到本地的问题；
• 执行nc -zv <RDS_IP> 5432或telnet <RDS_IP> 5432，直接测试容器到RDS端口的连通性；
• 检查Lightsail VPC的路由表，确认是否添加了RDS所在默认VPC的路由条目，且状态为活跃。

3. AWS网络层深层限制排查 #

• 检查RDS所在子网的NACL（网络访问控制列表），确认是否同时允许**入站（来自Lightsail VPC CIDR的5432端口）和出站（到Lightsail VPC CIDR的任意端口）**流量；
• 使用AWS VPC Reachability Analyzer：
  1. 进入VPC控制台的Reachability Analyzer模块；
  2. 源选择Lightsail容器实例对应的网络接口；
  3. 目标选择RDS数据库的网络接口；
  4. 协议选TCP，端口填5432，执行分析后根据结果定位故障点（如路由缺失、安全组拦截等）。

4. RDS连接状态与配置核查 #

• 查看CloudWatch中RDS的数据库连接数指标，确认是否达到max_connections上限；
• 检查RDS参数组中的max_connections值，对比容器应用的knex连接池配置（pool.max），排查连接池过载导致的拒绝连接。

5. 容器镜像与部署排查 #

• 通过Lightsail CLI拉取旧版本镜像分析：
  1. 执行aws lightsail get-container-images --service-name <你的服务名>获取镜像信息；
  2. 用docker pull <镜像名>拉取本地，对比新旧镜像的knex配置、启动脚本差异；
• 检查容器启动日志，确认迁移操作是否修改了数据库连接配置，导致后续启动指向本地。

6. 容器网络配置细节 #

• 确认容器的网络模式，若使用自定义网络，检查是否允许出站到5432端口；
• 在容器内执行iptables -L（需容器有足够权限），排查是否存在限制出站流量的规则。

7. Lightsail容器服务状态核查 #

• 检查Lightsail容器服务的部署状态，确认是否存在部署失败、容器重启异常；
• 尝试重新部署容器服务（而非仅重启容器），确保配置完全生效。

内容的提问来源于stack exchange，提问作者einSelbst