如何在Cloud Composer中通过API访问Kubernetes Service

问题分析 #

你遇到的Name or service not known错误，本质是Kubernetes内部服务域名<name>.svc.cluster.local无法被Cloud Composer的工作节点解析或连通，常见原因包括域名格式错误、网络隔离、端口配置问题等。

具体解决方案 #

1. 修正服务域名格式 #

Kubernetes内部服务的完整DNS格式是：

<service-name>.<namespace>.svc.cluster.local

你当前的域名缺少命名空间部分，导致DNS解析失败。比如目标服务在default命名空间下，正确的URL应该是：

url = "http://<name>.default.svc.cluster.local/tasks"

可以通过以下命令确认服务的完整DNS信息：

kubectl get svc <service-name> -n <target-namespace>

2. 验证端口配置是否正确 #

从错误信息看，请求路径被错误拼接成了/tasks:8080，说明你可能把端口号写在了路径末尾而非域名后。如果目标服务的暴露端口是8080，正确的URL应该是：

url = "http://<name>.<namespace>.svc.cluster.local:8080/tasks"

用以下命令确认服务的端口配置：

kubectl describe svc <service-name> -n <target-namespace>

重点查看Ports字段的Port（集群内部访问端口）值。

3. 检查网络连通性 #

• 同一集群场景：确保Cloud Composer的工作节点与目标服务在同一个Kubernetes集群，且目标服务所在命名空间的NetworkPolicy允许Composer节点的IP段访问该服务。可以临时禁用NetworkPolicy测试：

  kubectl delete networkpolicy <policy-name> -n <target-namespace>
  

• 跨集群场景：如果Cloud Composer和目标服务在不同GKE集群，需配置VPC对等连接，确保两个集群的网络能互相访问。

4. 测试DNS解析有效性 #

在Cloud Composer的工作节点Pod中执行DNS解析测试，确认服务域名能正常解析：

# 找到Airflow worker Pod名称
kubectl get pods -n <composer-namespace> | grep worker
# 进入Pod执行nslookup
kubectl exec -it <worker-pod-name> -n <composer-namespace> -- nslookup <name>.<namespace>.svc.cluster.local

如果解析失败，检查集群的CoreDNS组件是否正常运行：

kubectl get pods -n kube-system | grep coredns

5. 临时替代方案：使用ClusterIP直接访问 #

如果DNS解析问题无法快速解决，可以直接使用服务的ClusterIP访问：

1. 获取服务的ClusterIP：

   kubectl get svc <service-name> -n <target-namespace> -o jsonpath='{.spec.clusterIP}'
   

2. 修改代码中的URL：

   url = "http://<cluster-ip>:<port>/tasks"
   

内容的提问来源于stack exchange，提问作者emilk