PyTorch实现嵌套元优化时触发inplace操作RuntimeError如何解决？

你遇到的RuntimeError是元优化场景下的常见错误，核心诱因有两个：

1. 内层循环更新权重时修改了参与计算图构建的原始Parameter对象，破坏了PyTorch反向传播所需的张量版本校验；
2. 代码存在低级API调用错误、命名冲突、逻辑位置错误等问题。

• 修正API调用错误：将外层循环末尾的loss_meta.step()改为优化器的step()方法，避免将优化器方法误调用在损失张量上；同时将内层循环里的optim.zero_grad()移到外层元损失计算前，避免提前清空元参数的梯度。
• 修复命名冲突：不要将优化器变量命名为optim，会覆盖你导入的torch.optim模块，建议改名为meta_optim。
• 调整内层参数更新逻辑：不要直接复用模型原始的Parameter对象，每轮外层循环开始时克隆一份新的参数副本用于内层更新；用torch.autograd.grad显式计算内层梯度，替代反向传播到原始Parameter的写法，避免修改原始参数的梯度属性；字符串比较用!=替代is not，避免身份匹配导致的逻辑错误。
• 不要修改原始模型的参数对象：内层更新的参数直接存在独立的字典里，完全通过_stateless.functional_call做前向，切断和原始模型参数的依赖，避免inplace修改问题。

import torch
from torch import nn, optim
from torch.utils.data import Dataset, DataLoader
from torch.nn.utils import _stateless

class MyDataset(Dataset):
    def __init__(self, N):
        self.N = N
        self.x = torch.rand(self.N, 10)
        self.y = torch.randint(0, 3, (self.N,))
    def __len__(self):
        return self.N
    def __getitem__(self, idx):
        return self.x[idx], self.y[idx]

class MyModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(10, 10)
        self.fc2 = nn.Linear(10, 3)
        self.relu = nn.ReLU()
        self.alpha = nn.Parameter(torch.randn(1))
        self.beta = nn.Parameter(torch.randn(1))
    def forward(self, x):
        y = self.relu(self.fc1(x))
        return self.fc2(y)

epochs = 20
N = 100
dataset = DataLoader(dataset=MyDataset(N), batch_size=10)
model = MyModel()
loss_func = nn.CrossEntropyLoss()
# 修复命名冲突，元优化器专门优化alpha
meta_optim = optim.Adam([model.alpha], lr=1e-3)

for i in range(epochs):
    model.train()
    train_loss = 0
    # 每轮外层循环初始化内层参数副本，不修改原始模型参数
    params = {k: v.clone() for k, v in model.named_parameters()}
    for batch_idx, (x, y) in enumerate(dataset):
        logits = _stateless.functional_call(model, params, x)
        loss_inner = loss_func(logits, y)
        # 显式计算内层参数梯度，保留计算图用于元梯度回传
        inner_param_names = [k for k in params.keys() if k != 'alpha' and k != 'beta']
        inner_params = [params[k] for k in inner_param_names]
        grads = torch.autograd.grad(loss_inner, inner_params, create_graph=True)
        train_loss += loss_inner.item()
        # 无inplace修改，直接生成新的参数张量存入字典
        for name, param, grad in zip(inner_param_names, inner_params, grads):
            params[name] = param - model.alpha * grad

    print('Train Epoch: {}\tLoss: {:.6f}'.format(i, train_loss / N))
    # 元优化步骤
    meta_optim.zero_grad()
    # 此处可替换为独立的元验证集数据，效果更好
    logits = _stateless.functional_call(model, params, x)
    loss_meta = loss_func(logits, y)
    loss_meta.backward()
    meta_optim.step()

内容的提问来源于stack exchange，提问作者Blade