WandB运行初始化时频繁出现非确定性ConnectionError网络错误

原因分析 #

• GCP网络环境限制：GCP部分区域网络可能存在出站流量间歇性波动，或防火墙规则对WandB的API域名（api.wandb.ai、wandb.ai）访问有临时限制，导致初始化后通信中断。
• WandB版本兼容性：0.13.7版本存在已知的网络通信稳定性问题，部分场景下初始化成功后会触发后续连接重试。
• 重试逻辑覆盖不全：当前代码的retry装饰器仅捕获ConnectionError，但WandB的CommError包含更多网络相关异常类型，未被纳入重试范围。
• 网络代理/SSL异常：GCP环境中默认代理或SSL证书配置异常，会导致WandB与服务器的TLS连接间歇性失败。

解决方案 #

1. 升级WandB版本 #

执行命令升级到最新稳定版，修复旧版本的网络稳定性缺陷：

pip install --upgrade wandb

2. 优化重试逻辑 #

修改initialize_run方法的重试装饰器，同时捕获wandb.CommError并调整重试策略：

@retry(
    stop=stop_after_attempt(10),  # 增加重试次数提升成功率
    wait=wait_exponential(multiplier=1, min=2, max=10),  # 指数退避等待，避免频繁重试触发限流
    retry=retry_if_exception_type((ConnectionError, wandb.CommError)),
)

3. 配置GCP网络规则 #

• 确保GCP虚拟机防火墙规则允许出站访问443端口（HTTPS），目标包含api.wandb.ai和wandb.ai的IP范围。
• 若使用VPC私有网络，检查云NAT或私有访问连接配置，确保能稳定访问公网服务。

4. 显式配置WandB网络参数 #

在代码中添加超时、重试次数等配置，增强通信鲁棒性：

# 在wandb.init前添加环境变量配置
os.environ.setdefault("WANDB_TIMEOUT", "30")  # 设置30秒连接超时
os.environ.setdefault("WANDB_MAX_RETRIES", "10")  # 设置最大重试次数
os.environ.setdefault("WANDB_SSL_VERIFY", "true")  # 确保SSL验证正常

5. 启用离线模式（备选方案） #

若网络问题无法短期解决，可启用离线模式暂存数据，后续再同步：

# 修改wandb.init参数启用离线模式
self.run = wandb.init(mode="offline", **params)
# 后续同步命令（本地执行）
# wandb sync ./wandb/offline-run-xxx

验证步骤 #

1. 升级版本后重新运行代码，观察是否仍出现频繁重试循环。
2. 通过curl https://api.wandb.ai测试GCP实例到WandB服务器的网络连通性。
3. 查看WandB本地日志（路径：./wandb/latest-run/wandb.log），获取更详细的错误细节。

内容的提问来源于stack exchange，提问作者Mahdi Jafari