Google VM定时创建Dataproc集群凌晨遇ServerNotFoundError问题求助

碰到这种跨区域调度+特定时段掉链子的情况，我大概率会先往区域间网络链路的时段性波动或者Google服务端的低峰维护这两个方向去排查，结合你的场景，具体原因可能有这几个：

1. 跨大西洋网络链路的时段性拥堵/抖动 #

UTC凌晨1点这个时间点，欧洲区域（europe-west1-d）处于业务低峰，但美国中部（us-central1-f）到欧洲的跨大西洋网络链路，可能刚好撞上运营商的夜间维护窗口，或者其他跨区域任务集中触发导致的流量潮汐。这种情况下，DNS解析请求或者API调用会出现超时，最终抛出ServerNotFoundError。而到了UTC上午9点，欧洲进入工作时段，链路流量调度更合理，维护也基本结束，请求就能正常到达目标服务端。

2. Google服务端的区域低峰时段维护/负载调整 #

Google的全球云服务通常会在目标区域的低峰时段（比如欧洲的凌晨，对应UTC凌晨1-3点左右）进行后台维护、负载均衡调整或者容量扩容。这段时间里，europe-west1-d区域的Dataproc控制平面或者API网关可能会有临时的服务不可用、限流或者路由波动，导致你的创建请求失败。而美区的任务因为目标区域是us-west/us-east，它们的维护窗口和你任务的启动时间错开，所以没出现异常。

3. 发起任务的VM存在时段性DNS/网络异常 #

虽然你的VM之前稳定运行了6个月，但也不排除在UTC凌晨1点左右，VM的DNS缓存失效、本地网络栈出现临时异常，导致无法正常解析www.googleapis.com。不过这种情况一般重启VM就能解决，而你是重启任务就正常，所以这个原因的可能性相对低一些，但可以作为排查方向。

几个实用的排查和解决办法： #

• 调整任务启动时间：把cron任务的启动时间从UTC凌晨1点改成更早（比如UTC凌晨0点）或者更晚（比如UTC凌晨4点），避开可能的链路拥堵或维护窗口，观察是否还会出现失败。
• 添加自动重试逻辑：在cron脚本里给gcloud命令加上重试机制，避免单次失败就终止任务，示例脚本如下：

  # 最多重试3次，每次间隔5分钟
  retry_count=0
  max_retries=3
  while [ $retry_count -lt $max_retries ]; do
    gcloud dataproc clusters create ${name} --zone ${zone} --master-machine-type n1-standard-4 --master-boot-disk-size 100 --num-workers ${n_workers} --worker-machine-type n1-standard-16 --worker-boot-disk-size 64 --num-worker-local-ssds 1 --project ${proj_name}
    if [ $? -eq 0 ]; then
      echo "Cluster created successfully"
      exit 0
    fi
    retry_count=$((retry_count+1))
    echo "Creation failed, retrying in 5 minutes (attempt $retry_count/$max_retries)..."
    sleep 300
  done
  echo "Failed after $max_retries retries"
  exit 1
  

• 排查VM的网络日志：在us-central1-f的VM上查看系统日志（比如/var/log/syslog）或者DNS服务日志（比如journalctl -u systemd-resolved），看看UTC凌晨1点左右是否有www.googleapis.com的解析失败记录。
• 改用同区域调度：如果业务允许，把cron任务迁移到europe-west1-d区域的VM上运行，彻底避免跨区域网络的影响，稳定性会大幅提升。

内容的提问来源于stack exchange，提问作者Dmitry Tsesarev