Ray[tune]适配PyTorch时报ray.cloudpickle.dumps TypeError问题求助

• 序列化失败核心原因：Ray Tune执行时需要将训练函数及其依赖的所有变量序列化后分发到不同worker节点，你的代码中大量引用了全局作用域的不可序列化变量，包括但不限于train_dataset、val_dataset、weightedSampler、criterion、sw（TensorBoard writer）、device、提前定义的resnet18实例等，这些变量无法被cloudpickle正常序列化，直接触发报错。
• 低级逻辑错误：training_function中初始化SGD优化器的代码在resnet18实例化之前，调用resnet18.parameters()时变量还未定义，即使解决序列化问题也会直接报错。
• 检查点逻辑错误：train函数中判断加载检查点时使用的checkpoint变量未定义，你定义的参数是checkpoint_dir，直接使用if checkpoint:会触发未定义变量报错。
• 路径冲突问题：模型、检查点保存使用固定路径，多trial并行时会出现文件覆盖冲突，导致训练结果异常。
• 参数调用错误：tune.run调用时没有显式指定config参数名，旧版本Ray Tune可能无法正确识别传入的配置。

1. 所有训练相关的变量、实例全部放到training_function内部定义，杜绝引用全局变量：
   • 数据集、采样器、损失函数、device、TensorBoard writer、模型实例、优化器全部在训练函数内部初始化
   • 如果数据集较大重复加载开销高，可以用Ray的对象存储ray.put()上传数据集，再在训练函数内部用ray.get()获取，避免重复序列化
2. 调整training_function内的代码顺序，先实例化模型，再初始化优化器，修正后的示例逻辑如下：

def training_function(config):
    # 所有变量内部定义
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    resnet18 = models.resnet18(pretrained=False).to(device)
    resnet18.fc = nn.Linear(512, 29).to(device)
    sgd = optim.SGD(resnet18.parameters(), lr=config['lr'], momentum=config['mom'], nesterov=config['nest'])
    train_dataloader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=False, sampler=weightedSampler)
    val_dataloader = torch.utils.data.DataLoader(val_dataset, batch_size=64, shuffle=True)
    criterion = nn.CrossEntropyLoss()
    sw = SummaryWriter(log_dir=tune.get_trial_dir())
    # 后续训练逻辑

3. 修正train函数的检查点判断逻辑，把if checkpoint:改为if checkpoint_dir is not None:
4. 保存文件时使用tune.get_trial_dir()获取当前trial的专属目录拼接路径，避免覆盖，示例：

save_path = os.path.join(tune.get_trial_dir(), "best_res18_1.pt")
torch.save(resnet18.state_dict(), save_path)

5. 调用tune.run时显式指定参数，根据你的硬件配置分配资源，示例：

analysis = tune.run(
    training_function,
    config=config,
    resources_per_trial={"cpu": 2, "gpu": 1} # 按需调整CPU核数和GPU卡数
)

6. 调试阶段可以在代码最开头加以下配置，打印具体无法序列化的变量名，方便精准定位：

import ray
ray.init(runtime_env={"env_vars": {"RAY_PICKLE_VERBOSE_DEBUG": "1"}})

7. 如果是在Jupyter Notebook环境下运行出现该问题，建议改成Python脚本执行，Notebook的全局作用域捕获逻辑更容易触发序列化失败。

内容的提问来源于stack exchange，提问作者CtrlMj