本地K8s Docker部署Python Pub/Sub发布器无法发消息 报DNS解析超时错误
故障根因快速定位
从提供的报错堆栈可以直接判定,本次故障和服务账号权限完全无关:gRPC客户端在发起请求阶段就卡在了域名解析环节,根本没有完成网络建连,自然走不到后续的权限校验逻辑。
核心报错原文指向的问题是:pubsub.googleapis.com:443 的DNS查询超时,客户端在120秒重试窗口内都没拿到域名对应的IP地址。
分步排查与修复方案
1. 先验证Pod内部的网络基础能力
进入本地K8s的对应Pod内做基础网络探测,不要先改代码:
- 进入Pod的命令:
kubectl exec -it <你的Pod名称> -- bash - 在Pod内执行两项基础检查:
- 域名解析校验:运行
getent hosts pubsub.googleapis.com,如果没有返回对应的IP段,说明Pod内的DNS配置完全失效 - 出口连通性校验:运行
curl -I https://pubsub.googleapis.com,如果连接超时,说明当前集群所在的网络环境没有到Google海外服务的直连通道
常见的该类故障场景: - 本地K8s的CoreDNS默认把所有域名转发到了公司内网DNS,内网DNS没有公网解析能力
- Docker守护进程的默认DNS配置被修改为不可达的内网地址
- 本地所在网络没有访问Google服务的出口路由
- 域名解析校验:运行
2. 修正代码中的隐性配置错误
现有代码存在两处容易引发后续故障的格式问题,在网络打通后也需要修正:
- 代码中
topic_id = "mytopic "的字符串末尾带了一个多余空格,从报错堆栈可以看到实际请求的topic路径为projects/myaccount /topics/mytopic,项目ID、topic ID位置都存在尾随空格,会直接导致资源找不到的错误 - 服务账号的权限是正常的,但要确认key.json是和app.py打包在同一个镜像内,且运行时有读取权限,不要挂载错误路径导致密钥加载失败
修正后的配置示例:
project_id = "你的GCP项目ID(无任何空格)" topic_id = "控制台已创建的Topic名称(无任何空格)"
3. 对应场景修复网络问题
根据第一步的探测结果匹配解决方案:
- 如果是DNS配置问题:修改K8s的CoreDNS配置,将公网域名的转发规则指向可达的公网DNS服务器;检查Docker的daemon.json配置,移除不可达的上游DNS设置
- 如果是网络出口不通:为本地K8s集群配置可访问Google服务的代理通道,临时验证时可以在应用启动前注入代理环境变量,快速验证链路是否正常:
import os # 放在import pubsub_v1之前设置代理 os.environ["http_proxy"] = "可访问Google的代理地址:端口" os.environ["https_proxy"] = "可访问Google的代理地址:端口" - 验证阶段建议先只发送1条测试消息,不要直接跑10条消息的批量发送逻辑,避免重试日志过多干扰问题定位。
内容的提问来源于stack exchange,提问作者Al Hennessey
相关产品推荐
相关产品推荐

