微调BERT sentence transformer模型的优化参数范围相关疑问

• 默认配置下，你描述的这类句子对相似度微调任务会优化整个模型的全部可训练参数，并非仅更新BERT的最后一层参数。
• 官方教程的默认示例代码没有对BERT的任意层做冻结处理，初始化优化器时直接传入model.parameters()获取模型所有可训练参数，包含BERT的嵌入层、全部Transformer编码层、以及模型后接的可训练模块（如果有自定义的投影层、带参数的池化层等），无参数的均值池化操作本身没有参数需要更新。
• 如果你希望仅微调BERT最后一层，需要手动添加参数冻结逻辑：遍历BERT的层参数，将除最后一层外的所有参数的requires_grad属性设置为False，再将过滤后的参数传入优化器即可，官方默认没有内置这个限制。
• 全参数微调适合训练数据量充足的场景，效果通常更好；如果数据集规模较小，担心过拟合，可以选择仅微调顶层参数，或是使用LoRA等轻量级微调方案。

内容的提问来源于stack exchange，提问作者Fiori