能否在复用预训练BERT权重的同时使用自定义注意力层？

完全可行，复用预训练BERT权重是这类定制化语义匹配任务的常规操作，能大幅降低训练资源消耗，无需从头训练整个模型。

你的代码思路是合理的：

config = BertConfig.from_pretrained(pretrained_model_name)
self.pretrained_model = BertModel.from_pretrained(pretrained_model_name, config=config)
self.pretrained_model.encoder = MyCustomBertEncoder(config)

通过加载预训练模型的配置和基础权重，再替换默认的Encoder层为自定义实现，模型中未修改的部分（如词嵌入层、池化层等）都能直接复用预训练权重，仅需针对自定义的注意力逻辑进行微调。

需要注意几个关键点：

• 自定义MyCustomBertEncoder时，必须严格对齐原BERT Encoder的输入输出维度，避免出现维度不匹配的报错。
• 自定义注意力层时，建议仅修改注意力分数的计算逻辑（也就是你提到的和相似度矩阵相乘的操作），保留原注意力层的残差连接、层归一化等组件，这样能更好地适配预训练权重的数据分布，加快模型收敛。
• 训练阶段建议采用分层微调策略：先固定预训练的词嵌入层及非自定义层的权重，只训练自定义注意力层；待模型性能稳定后，再逐步放开部分底层或中层的权重进行微调，平衡效果和训练成本。

你后续在MyCustomBertEncoder中实现带相似度矩阵加权的自注意力逻辑是核心，只要保证自定义层的接口与原BERT Encoder一致，就能完成无缝替换。

内容的提问来源于stack exchange，提问作者Blockchain Kid