Kubernetes环境下Jenkins Slave离线问题排查求助

从你描述的现象（Pod反复创建又变为Completed，Jenkins提示slave离线）和日志里的java.lang.IllegalStateException: Pod has terminated containers: default/default-amd64-g5bgh (jnlp)来看，核心问题是jnlp容器启动后很快就终止了，导致Jenkins无法和slave建立连接，进而反复触发重新创建Pod的逻辑。下面是具体的排查方向和解决方法：

1. 检查JNLP容器的命令/参数配置 #

你Pod模板里的jnlp容器设置了：

command='/bin/sh -c', args='cat'

这个配置会让容器启动后执行cat命令，而cat在没有标准输入的情况下会立即退出，直接导致容器终止，Pod进入Completed状态。这是最可能的原因。

解决方法：

• 如果你使用的是官方Jenkins slave镜像（或者基于官方镜像自定义的），请移除自定义的command和args配置，让容器使用镜像默认的启动命令（通常是启动jnlp客户端连接Jenkins master）。
• 如果必须自定义命令，确保命令能让容器持续运行并完成Jenkins slave的注册，比如使用类似：

  command: "java"
  args: ["-jar", "/usr/share/jenkins/slave.jar", "-jnlpUrl", "<Jenkins master的jnlp地址>", "-secret", "<slave的secret>"]
  

  注意：<Jenkins master的jnlp地址>和<secret>通常由Jenkins Kubernetes插件自动注入，不需要手动填写，所以建议优先使用镜像默认命令。

2. 验证Jenkins Master与Slave的网络连通性 #

即使容器配置正确，如果slave Pod无法连接到Jenkins master的JNLP端口，容器也会因为无法注册而退出。

排查步骤：

• 找到Jenkins master的JNLP端口（默认是50000），确认这个端口在Kubernetes集群内是可达的。
• 临时启动一个测试Pod，进入容器后执行telnet <jenkins-master-service-name> 50000，检查是否能连通。
• 如果Jenkins master是通过Ingress暴露的，确保JNLP端口已经通过NodePort或者LoadBalancer暴露给集群内的Pod。

3. 检查自定义Slave镜像的正确性 #

你的镜像myregistry:8500/jenkins-slave:latest可能存在问题：

• 镜像中是否包含Jenkins slave的JNLP客户端（比如slave.jar）？
• 是否安装了Java环境？因为JNLP客户端需要Java来运行。
• 容器运行用户是否有足够的权限执行JNLP客户端？

排查步骤：

• 使用docker run -it myregistry:8500/jenkins-slave:latest bash进入镜像，检查是否存在slave.jar（通常在/usr/share/jenkins/或类似路径），并尝试手动运行java -jar slave.jar看是否报错。
• 查看镜像的Dockerfile，确认是否正确安装了Java和Jenkins slave依赖。

4. 查看Pod的详细日志 #

通过查看jnlp容器的日志，可以获取更直接的错误信息：

kubectl logs <pod-name> jnlp

如果容器启动后有报错（比如无法连接master、找不到jar包等），日志会给出明确提示，帮助定位问题。

内容的提问来源于stack exchange，提问作者Pensu