如何在HuggingFace Transformers的BERT预训练模型中移除层以进行微调？

架构老林

2026-8-14

移除BERT预训练模型编码层的简便方法

你可以利用PyTorch ModuleList 支持切片的特性，直接简化代码，无需手动循环构建新的ModuleList：

import copy

def trim_bert_layers(model, num_layers_to_keep):
    # 深拷贝原模型避免修改原始模型
    trimmed_model = copy.deepcopy(model)
    # 直接切片保留指定数量的前N层
    trimmed_model.bert.encoder.layer = trimmed_model.bert.encoder.layer[:num_layers_to_keep]
    return trimmed_model

补充说明：

如果你的num_layers_to_keep是具体的层索引列表（比如要保留第0、2、3层），可以用列表推导式快速构建新的ModuleList，写法比你原来的代码更紧凑：
```
trimmed_model.bert.encoder.layer = nn.ModuleList(
    [trimmed_model.bert.encoder.layer[i] for i in num_layers_to_keep]
)
```
若不需要保留原模型，可跳过深拷贝直接修改原模型，进一步简化：
```
model.bert.encoder.layer = model.bert.encoder.layer[:num_layers_to_keep]
```
你提到的LayerDrop是训练阶段随机丢弃层的策略，和微调前固定移除指定层的需求场景不同，且仅部分模型支持，直接修改层列表的方式对所有BERT类预训练模型都通用。