生产环境Google Cloud PubSub持续抛出TimeoutError问题求助

问题场景 #

首次在生产K8s集群部署基于Google Cloud PubSub的Python服务，采用Docker打包、K8s部署，代码完全遵循官方示例：

os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = config["GOOGLE_APPLICATION_CREDENTIALS"]
project_id = "abc"
topic_id = "asd"
self._publisher = pubsub_v1.PublisherClient()
self._topic_path = self._publisher.topic_path(project_id, topic_id)
log_info_json = json.dumps({"id": 1})
publish_future = self._publisher.publish(self._topic_path, log_info_json.encode("utf-8"))
publish_future.result(timeout=5)

本地运行正常，但K8s环境持续出现TimeoutError，已开放*.googleapis.com和*.google.com网络权限，且在Pod内验证了GOOGLE_APPLICATION_CREDENTIALS文件中的链接可访问。

排查与解决步骤 #

• 验证gRPC端口连通性
  Google Cloud PubSub Python客户端默认使用gRPC协议，依赖443端口通信。在Pod内执行以下命令测试连通性：

  nc -zv pubsub.googleapis.com 443
  # 或用grpcurl测试gRPC服务可用性
  grpcurl -plaintext pubsub.googleapis.com:443 list google.pubsub.v1.Publisher
  

  如果端口不通，需检查K8s网络策略、云服务商防火墙是否放行443端口出站流量。

• 检查DNS解析
  在Pod内执行nslookup pubsub.googleapis.com，确认域名能正确解析到GCP的IP地址。若解析失败，需排查K8s集群的DNS配置（如CoreDNS是否正常运行）。

• 调整客户端超时与重试策略
  生产环境网络可能存在波动，当前5秒超时过短，可延长超时时间并配置重试策略：

  from google.api_core.retry import Retry
  import grpc
  
  # 配置针对连接错误、超时的重试策略
  retry_policy = Retry(
      initial=0.1,
      total=10,  # 总重试时长10秒
      multiplier=2,
      predicate=lambda exc: isinstance(exc, (grpc.RpcError, TimeoutError))
  )
  
  self._publisher = pubsub_v1.PublisherClient(retry=retry_policy)
  publish_future = self._publisher.publish(
      self._topic_path, 
      log_info_json.encode("utf-8"),
      retry=retry_policy
  )
  publish_future.result(timeout=10)  # 延长超时至10秒
  

• 确认服务账号权限
  在Pod内直接用gcloud命令测试发布权限，排除权限问题：

  # 确认当前身份
  gcloud auth list
  # 测试发布消息
  gcloud pubsub topics publish projects/abc/topics/asd --message "test"
  

  若发布失败，需为服务账号绑定roles/pubsub.publisher角色。

• 检查集群网络配置（针对GCP GKE）
  如果是GKE集群，确认是否启用了Private Google Access（允许私有网络内的Pod直接访问GCP服务），或配置了Cloud NAT确保Pod能正常访问公网。

内容的提问来源于stack exchange，提问作者DYX