Kubernetes集群中Heartbeat报no such host错误排查求助

从你的描述来看，这个问题的核心矛盾点特别清晰——Heartbeat容器里用curl能正常访问目标服务，但它自身的ICMP/HTTP监控却一直报“no such host”，而且相同配置在Docker Swarm里完全正常运行，这说明问题十有八九出在Kubernetes的DNS配置或者Heartbeat的运行上下文上。下面是一步步的排查思路和可能的解决办法：

1. 先确认Heartbeat Pod的DNS策略与配置 #

Kubernetes里的Pod默认会继承集群的DNS配置，但如果自定义了Pod配置，可能会修改DNS策略，导致集群内服务名解析异常。

• 检查Heartbeat的Deployment/StatefulSet配置：
  确认是否设置了dnsPolicy字段，正常情况下集群内服务解析应该用默认的ClusterFirst策略，如果被改成了None或者Default，就会出现解析问题。配置示例：

  spec:
    dnsPolicy: ClusterFirst  # 确保这个配置存在，且未被修改为其他值
  

• 进入Heartbeat容器查看DNS配置文件：
  执行以下命令检查容器内的/etc/resolv.conf，正常情况下应该包含集群DNS服务的地址（比如CoreDNS的ClusterIP，通常是10.96.0.10），并且搜索域包含你的命名空间：

  kubectl exec -it <heartbeat-pod-name> -- cat /etc/resolv.conf
  

  正常输出应该类似：

  nameserver 10.96.0.10
  search default.svc.cluster.local svc.cluster.local cluster.local
  options ndots:5

2. 检查Heartbeat监控配置中的服务名写法 #

你提到无法解析crm-proxy这类服务，需要确认配置里的服务名是否符合Kubernetes的域名规则：

• Kubernetes集群内服务的完整域名格式是：<service-name>.<namespace>.svc.cluster.local
• 如果目标服务和Heartbeat在同一个命名空间，只写crm-proxy理论上能解析，但如果Pod的DNS搜索域配置不全，可能需要写完整域名。比如把监控配置里的服务名替换为完整域名测试：

  - type: http
    urls: ["http://crm-proxy.default.svc.cluster.local:8080"]
  

  也可以直接用目标服务的ClusterIP测试，排除域名解析本身的问题。

3. 检查ICMP监控的运行权限（针对ICMP类型的监控失败） #

ICMP监控需要容器拥有NET_RAW权限，因为ICMP属于网络层协议，默认Kubernetes Pod没有这个权限，这可能导致ICMP监控失败，且错误信息被误导为“域名解析失败”：

• 查看你的Heartbeat配置，是否给Pod添加了必要的权限：

  spec:
    containers:
    - name: heartbeat
      securityContext:
        capabilities:
          add:
            - NET_RAW  # 发送ICMP包必须的权限
  

4. 验证集群DNS服务的状态 #

虽然你说其他服务正常，但还是可以快速确认下集群DNS服务（CoreDNS/KubeDNS）是否正常运行：

# 查看DNS Pod状态
kubectl get pods -n kube-system -l k8s-app=coredns
# 查看DNS日志，排查是否有解析异常
kubectl logs <coredns-pod-name> -n kube-system

5. 直接测试容器内的DNS解析 #

虽然你说curl正常，但可以用nslookup或dig直接测试域名解析结果，确认容器内的DNS功能是否正常：

kubectl exec -it <heartbeat-pod-name> -- nslookup crm-proxy
kubectl exec -it <heartbeat-pod-name> -- dig crm-proxy.default.svc.cluster.local

如果这里解析正常，那问题可能出在Heartbeat自身的配置或解析逻辑上；如果解析失败，就回到第一步排查Pod的DNS配置。

总结 #

最可能的几个原因：

• Heartbeat的DNS策略配置错误，导致无法解析集群内服务域名
• ICMP监控缺少NET_RAW权限，错误信息被误导为域名解析失败
• 监控配置中的服务名未使用完整域名，且Pod的DNS搜索域配置不全

你可以按照上面的步骤逐一排查，应该能快速定位到问题所在。

内容的提问来源于stack exchange，提问作者Sarasa Gunawardhana