Airflow连接Postgres时出现Connection Timed Out错误如何解决

报错详情：

sqlalchemy.exc.OperationalError: (psycopg2.OperationalError) could not connect to server: Connection timed out
    Is the server running on host “hostname.domain.com” (99.999.999.99) and accepting
    TCP/IP connections on port 77777?

匹配触发特征的可能成因 #

• 早间网络峰值拥塞：早间通常是各类批量任务集中调度的高峰，Airflow worker节点与数据库之间的网络链路带宽被占满、TCP重传率飙升，第一次任务尝试刚好撞上流量峰值导致超时，后续重试时峰值回落即可正常连接。可核查对应时间段内两端服务器的网卡带宽、TCP重传指标验证。
• 数据库连接池耗尽：早间大量任务同时发起数据库连接申请，超出数据库配置的最大连接数上限，新连接请求排队超时。第一次尝试失败后重试时，部分已完成的任务已经释放连接，即可成功获取连接。可核对报错时间段内数据库的活跃连接数、连接等待队列指标，和数据库max_connections配置对比验证。
• 弹性Worker冷启动异常：如果使用KubernetesExecutor、CeleryKubernetesExecutor这类支持弹性扩缩容的执行器，早间批量任务触发时需要新启动worker实例，实例刚启动时网络配置、DNS解析还未初始化完成，第一次发起连接就会超时，实例完全启动后重试即可正常运行。可核查报错任务对应的worker启动时间与任务触发时间的间隔是否过短验证。
• 内网DNS解析延迟：早间大量调度任务同时触发内网DNS解析请求，DNS服务器负载过高导致hostname.domain.com解析超时，后续重试时本地已经生成DNS缓存即可正常解析。可在worker节点上配置数据库域名与IP的hosts绑定，观察后续任务运行情况验证。
• 数据库侧定时任务抢占资源：数据库可能配置了早间运行的重负载定时任务，比如全量备份、索引重建、冷数据归档等，这类任务会占用大量CPU、IO资源，导致数据库无法及时响应新的TCP连接请求，待定时任务执行完成后数据库恢复响应，重试即可成功。可排查数据库侧早间同时段运行的任务列表验证。

内容的提问来源于stack exchange，提问作者cluis92