运行MedSegDiff训练脚本遇TCPStore格式字符串不匹配错误求助

问题根源 #

报错的核心原因是TORCHELASTIC_RESTART_COUNT环境变量的值包含未转义的}字符——虽然你贴出的代码中f-string写法本身没问题，但如果attempt变量（即环境变量的值）自带}，就会触发格式字符串解析不匹配的错误。

解决方案 #

• 检查并修正环境变量值
  先确认当前环境中TORCHELASTIC_RESTART_COUNT的内容，确保它是纯数字，没有{或}这类特殊字符：

  • Linux/macOS终端执行：echo $TORCHELASTIC_RESTART_COUNT
  • Windows命令行执行：echo %TORCHELASTIC_RESTART_COUNT%
    若发现异常字符，直接重置为纯数字：
  • Linux/macOS：export TORCHELASTIC_RESTART_COUNT=0
  • Windows：set TORCHELASTIC_RESTART_COUNT=0

• 显式转换环境变量类型
  修改rendezvous.py中的代码，强制将环境变量值转为整数，过滤非数字干扰：

  if _torchelastic_use_agent_store():
      # 强制转为整数，避免异常字符破坏格式字符串
      attempt = int(os.environ["TORCHELASTIC_RESTART_COUNT"])
      tcp_store = TCPStore(hostname, port, world_size, False, timeout)
      return PrefixStore(f"/worker/attempt_{attempt}", tcp_store)
  else:
      start_daemon = rank == 0
      return TCPStore(
          hostname, port, world_size, start_daemon, timeout, multi_tenant=True
      )
  

• 禁用TorchElastic Agent Store
  如果你的训练不需要多尝试重启功能，直接在运行脚本前设置环境变量跳过该逻辑，走TCPStore默认分支：

  • Linux/macOS：export TORCHELASTIC_USE_AGENT_STORE=0 && python scripts/segmentation_train.py --data_dir ./data/TrainDataset --out_dir ./outdata/direction --image_size 256 --num_channels 128 --class_cond False --num_res_blocks 2 --num_heads 1 --learn_sigma True --use_scale_shift_norm False --attention_resolutions 16 --diffusion_steps 1000 --noise_schedule linear --rescale_learned_sigmas False --rescale_timesteps False --lr 1e-4 --batch_size 8
  • Windows：set TORCHELASTIC_USE_AGENT_STORE=0 && python scripts/segmentation_train.py --data_dir ./data/TrainDataset --out_dir ./outdata/direction --image_size 256 --num_channels 128 --class_cond False --num_res_blocks 2 --num_heads 1 --learn_sigma True --use_scale_shift_norm False --attention_resolutions 16 --diffusion_steps 1000 --noise_schedule linear --rescale_learned_sigmas False --rescale_timesteps False --lr 1e-4 --batch_size 8

内容的提问来源于stack exchange，提问作者LaaPn