移除未使用层微调BERT模型的实现方法与相关学习资源咨询

1. BERT各层结构学习资源 #

• 原始论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》，完整定义了标准BERT的层级结构：底层为token嵌入、位置嵌入、segment嵌入三个嵌入子层，往上堆叠12层（基础版）Transformer编码器，每层包含多头自注意力、前馈网络两个核心子层，附加残差连接与层归一化，顶层为预训练任务对应的CLS分类头、池化层，各层的作用、参数规模都有明确说明。
• 主流预训练模型库的官方实现文档，包括TensorFlow Hub、Hugging Face Transformers库的内置BERT实现说明，会标注各层变量的命名规则、层级从属关系，你代码中使用的TF Hub版本BERT的变量命名规范也可以在对应文档中查到。

2. 层移除、权重管理相关学习资源 #

• TensorFlow Keras自定义层开发官方文档，明确说明了_trainable_weights、_non_trainable_weights的管理规则，以及加载预训练模型后筛选、修改可训练参数集合的标准实现方法，你当前代码中移除未使用层、更新可训练变量的逻辑都符合Keras自定义层的规范。
• 预训练模型轻量化、适配下游任务的技术分享内容，有大量移除预训练冗余层（比如你代码中过滤掉的/cls/相关变量，就是预训练阶段的下一句预测任务头，大部分下游分类任务不需要使用）、冻结指定层参数的实操案例。

3. 微调层数选择相关学习资源 #

• BERT微调专项研究论文，比如《How to Fine-Tune BERT for Text Classification?》等，对不同任务规模、不同场景下微调层数的效果、性能对比做了系统实验，通用的选择逻辑为：小数据集场景仅微调顶部2-3层编码器+池化层即可，避免过拟合；大数据集场景可以增加微调层数甚至全量微调，充分适配下游任务；计算资源有限的场景可以仅微调顶部任务头+池化层，兼顾效果与效率。
• 工业界NLP落地的经验分享内容，包含不同业务场景下微调层数的选型实践，可以结合自身的数据集大小、计算资源、效果要求调整参数。

你提供的BERT自定义微调层实现代码如下：

BERT_PATH = "https://tfhub.dev/google/bert_uncased_L-12_H-768_A-12/1"
MAX_SEQ_LENGTH = 512

class BertLayer(tf.keras.layers.Layer):
  def __init__(self, bert_path, n_fine_tune_encoders=10, **kwargs,):
    self.n_fine_tune_encoders = n_fine_tune_encoders
    self.trainable = True
    self.output_size = 768
    self.bert_path = bert_path
    super(BertLayer, self).__init__(**kwargs)     
  def build(self, input_shape):
    self.bert = tf_hub.Module(self.bert_path,
                              trainable=self.trainable, 
                              name=f"{self.name}_module")
    # Remove unused layers
    trainable_vars = self.bert.variables
    trainable_vars = [var for var in trainable_vars 
                              if not "/cls/" in var.name]
    trainable_layers = ["embeddings", "pooler/dense"]

    # Select how many layers to fine tune
    for i in range(self.n_fine_tune_encoders+1):
        trainable_layers.append(f"encoder/layer_{str(10 - i)}")

    # Update trainable vars to contain only the specified layers
    trainable_vars = [var for var in trainable_vars
                              if any([l in var.name 
                                          for l in trainable_layers])]

    # Add to trainable weights
    for var in trainable_vars:
        self._trainable_weights.append(var)
    for var in self.bert.variables:
        if var not in self._trainable_weights:# and 'encoder/layer' not in var.name:
            self._non_trainable_weights.append(var)
    print('Trainable layers:', len(self._trainable_weights))
    print('Non Trainable layers:', len(self._non_trainable_weights))

    super(BertLayer, self).build(input_shape)
 
  def call(self, inputs):  
    inputs = [K.cast(x, dtype="int32") for x in inputs]
    input_ids, input_mask, segment_ids = inputs
    bert_inputs = dict(input_ids=input_ids, 
                       input_mask=input_mask, 
                       segment_ids=segment_ids)
    
    pooled = self.bert(inputs=bert_inputs, 
                       signature="tokens", 
                       as_dict=True)["pooled_output"]

    return pooled

  def compute_output_shape(self, input_shape):
    return (input_shape[0], self.output_size)

model = build_model(bert_path=BERT_PATH, max_seq_length=MAX_SEQ_LENGTH, n_fine_tune_encoders=10)

内容的提问来源于stack exchange，提问作者user11619814