Jenkins任务中Docker容器间歇性连接失败问题求助

AI 小北

2026-7-12

问题分析与解决方案

核心问题

间歇性出现的连接拒绝错误，本质是app1容器启动后，内部服务还未完全就绪（端口未进入监听状态），就启动app2并执行了依赖连接的任务。docker run -d仅负责启动容器进程，不会等待容器内的业务服务初始化完成，当app1启动存在耗时波动（比如依赖的底层服务偶尔延迟）时，就会触发这个问题。

排查思路

验证端口监听状态：失败时进入app1容器执行 netstat -tulpn | grep 3006 或 ss -tulpn | grep 3006，确认端口是否处于LISTEN状态。若未监听，直接坐实服务启动延迟的问题。
检查app1启动日志：执行 docker logs app1，查看服务启动流程中是否有初始化耗时波动、依赖资源加载延迟的情况。
复现超时场景：在脚本中临时添加连接测试循环，观察是否能稳定复现问题。

解决方案

方案1：添加服务就绪等待逻辑

在获取app1 IP后，增加循环等待，直到能成功连接3006端口再启动app2。修改后的脚本如下：

#!/bin/bash -e

# 创建Docker网络
docker network create mynetwork

# 启动app1
docker run -d --name app1 --network=mynetwork -p 3006:3006 --env-file .app1vars 12345678.dkr.ecr.us-east-1.amazonaws.com/app1:latest docker/start-server.sh

# 更新app2环境变量
newip=$(docker container inspect -f '{{ .NetworkSettings.Networks.mynetwork.IPAddress }}' app1)
sed -i "s/1.1.1.1/$newip/" .app1vars

# 等待app1服务就绪
echo "Waiting for app1 to be ready on $newip:3006..."
max_attempts=30
attempt=1
while [ $attempt -le $max_attempts ]; do
    if nc -z $newip 3006; then
        echo "app1 is ready"
        break
    fi
    echo "Attempt $attempt/$max_attempts: app1 not ready, waiting 2s..."
    sleep 2
    attempt=$((attempt+1))
done

# 超时处理
if [ $attempt -gt $max_attempts ]; then
    echo "Error: app1 failed to start within $((max_attempts*2))s"
    docker logs app1
    exit 1
fi

# 启动app2并执行任务
docker run -d --name app2 --network=mynetwork -p 3003 --env-file .app1vars 12345678.dkr.ecr.us-east-1.amazonaws.com/app2:latest docker/start-server.sh
docker exec app2 rake sometask

注：若容器内无nc，可替换为curl -f http://$newip:3006/health（需app1提供健康检查接口）。

方案2：利用Docker健康检查

给app1添加健康检查配置，脚本中等待容器进入健康状态：

修改app1的Dockerfile，添加健康检查：

HEALTHCHECK --interval=2s --timeout=1s --retries=15 CMD nc -z localhost 3006 || exit 1

脚本中添加等待逻辑：

# 等待app1健康
echo "Waiting for app1 to be healthy..."
while true; do
    health_status=$(docker inspect -f '{{ .State.Health.Status }}' app1)
    if [ "$health_status" = "healthy" ]; then
        echo "app1 is healthy"
        break
    fi
    echo "app1 status: $health_status, waiting 2s..."
    sleep 2
done

方案3：用容器名称替代IP通信（更优雅）

同一Docker网络内，容器可以直接通过名称解析通信，无需依赖IP。修改.app1vars中app1的地址为app1（替换原dummy IP 1.1.1.1），脚本可简化为：

#!/bin/bash -e

docker network create mynetwork

docker run -d --name app1 --network=mynetwork -p 3006:3006 --env-file .app1vars 12345678.dkr.ecr.us-east-1.amazonaws.com/app1:latest docker/start-server.sh

# 等待app1就绪
echo "Waiting for app1 to be ready on app1:3006..."
max_attempts=30
attempt=1
while [ $attempt -le $max_attempts ]; do
    if nc -z app1 3006; then
        echo "app1 is ready"
        break
    fi
    echo "Attempt $attempt/$max_attempts: app1 not ready, waiting 2s..."
    sleep 2
    attempt=$((attempt+1))
done

if [ $attempt -gt $max_attempts ]; then
    echo "Error: app1 failed to start within $((max_attempts*2))s"
    docker logs app1
    exit 1
fi

docker run -d --name app2 --network=mynetwork -p 3003 --env-file .app1vars 12345678.dkr.ecr.us-east-1.amazonaws.com/app2:latest docker/start-server.sh
docker exec app2 rake sometask

内容的提问来源于stack exchange，提问作者Sean