重启Heroku Dynos后Redis SSL连接报错5分钟自动恢复问题排查

问题描述 #

我在Heroku上部署了Redis/Celery/Python(Dash)应用，运行约1个月无异常。最近更新后变更了数据存储凭证，现在每次重启dyno都会出现如下SSL连接错误，持续约5分钟后自动恢复：

kombu.exceptions.OperationalError: Error 8 connecting to ec2-44-208-193-34.compute-1.amazonaws.com:19130. EOF occurred in violation of protocol (_ssl.c:1129).

我的Celery配置代码：

import ssl
from celery import Celery

celery_app = Celery(
    __name__,
    broker = "rediss://:*@ec2-44-208-193-34.compute-1.amazonaws.com:19130/0",
    backend = "rediss://:*@ec2-44-208-193-34.compute-1.amazonaws.com:19130/1",
    broker_use_ssl = {
        'ssl_cert_reqs': ssl.CERT_NONE
     },
     redis_backend_use_ssl = {
        'ssl_cert_reqs': ssl.CERT_NONE
     }
)

可能原因 #

• DNS解析延迟：重启dyno后，新进程需要时间解析Redis实例的EC2域名，初始连接时DNS缓存未生效，导致SSL握手失败。
• SSL协议/加密套件不匹配：新凭证对应的Redis实例可能要求特定SSL版本或加密套件，当前配置未明确指定，初始协商失败后，后续自动重试时协商成功。
• Celery连接重试策略不足：默认重试机制在启动阶段未立即触发有效重试，需等待系统自动重试周期。

解决方法 #

1. 明确指定SSL版本与加密套件 #

在SSL配置中添加协议版本和加密套件，强制使用兼容的SSL参数：

broker_use_ssl = {
    'ssl_cert_reqs': ssl.CERT_NONE,
    'ssl_version': ssl.PROTOCOL_TLSv1_2,
    'ciphers': 'DEFAULT:@SECLEVEL=1'
},
redis_backend_use_ssl = {
    'ssl_cert_reqs': ssl.CERT_NONE,
    'ssl_version': ssl.PROTOCOL_TLSv1_2,
    'ciphers': 'DEFAULT:@SECLEVEL=1'
}

2. 配置Celery启动阶段重试 #

开启启动时自动重试，并调整重试参数，确保DNS解析完成前持续尝试连接：

celery_app.conf.update(
    broker_connection_retry_on_startup=True,
    broker_connection_max_retries=15,
    broker_retry_delay=3  # 每3秒重试一次
)

3. 使用Heroku环境变量替代硬编码URL #

直接使用Heroku提供的REDIS_URL环境变量，避免硬编码地址，Heroku会自动处理实例的DNS和凭证更新：

import os
from celery import Celery
import ssl

redis_url = os.environ.get('REDIS_URL').replace('redis://', 'rediss://')
celery_app = Celery(
    __name__,
    broker=redis_url,
    backend=f"{redis_url}/1",
    broker_use_ssl={'ssl_cert_reqs': ssl.CERT_NONE},
    redis_backend_use_ssl={'ssl_cert_reqs': ssl.CERT_NONE}
)

4. 预解析Redis域名（可选） #

在应用启动前手动解析Redis域名，提前缓存IP地址，规避初始DNS延迟：

import socket
import ssl
from celery import Celery

# 预解析域名
redis_host = 'ec2-44-208-193-34.compute-1.amazonaws.com'
redis_ip = socket.gethostbyname(redis_host)

# 用IP替换域名构建连接地址
broker_url = f'rediss://:*@{redis_ip}:19130/0'
backend_url = f'rediss://:*@{redis_ip}:19130/1'

celery_app = Celery(
    __name__,
    broker=broker_url,
    backend=backend_url,
    broker_use_ssl={'ssl_cert_reqs': ssl.CERT_NONE},
    redis_backend_use_ssl={'ssl_cert_reqs': ssl.CERT_NONE}
)

内容的提问来源于stack exchange，提问作者nasdas asdas