微调BERT情感分类模型后，如何提取所有层的特征表示？

你说得没错，**必须修改model_fn**才能获取BERT所有编码器层的特征。原因很简单：默认的model_fn_builder生成的函数，只会返回与情感分类任务直接相关的输出（比如logits、预测标签），并不会保留编码器各层的中间特征。

为什么model.get_all_encoder_layers()之前没生效？ #

你调用这个方法本身是对的，但问题在于你没有把这些层的输出纳入model_fn的返回结果中。默认的model_fn在预测模式下，只会打包任务相关的预测结果，不会把中间层特征传递出来。

修改方案：自定义model_fn的预测输出 #

你需要调整model_fn的逻辑，让它在PREDICT模式下，把所有编码器层的特征也包含到返回的predictions字典里。下面是具体的修改步骤：

1. 在model_fn中获取并保存所有编码器层输出
   在构建完BERT模型后，调用model.get_all_encoder_layers()拿到所有层的特征，然后把它加入到预测结果中：

   def model_fn_builder(...):
       def model_fn(features, labels, mode, params):
           # 原有的模型构建逻辑...
           model = modeling.BertModel(
               config=config,
               is_training=is_training,
               input_ids=input_ids,
               input_mask=input_mask,
               token_type_ids=token_type_ids)
           
           # 获取所有编码器层的特征
           all_encoder_layers = model.get_all_encoder_layers()
           
           # 原有的分类头逻辑（保持不变）
           output_layer = model.get_pooled_output()
           hidden_size = output_layer.shape[-1].value
           output_weights = tf.get_variable(
               "output_weights", [num_labels, hidden_size],
               initializer=tf.truncated_normal_initializer(stddev=0.02))
           output_bias = tf.get_variable(
               "output_bias", [num_labels], initializer=tf.zeros_initializer())
           logits = tf.matmul(output_layer, output_weights, transpose_b=True)
           logits = tf.nn.bias_add(logits, output_bias)
           predicted_labels = tf.argmax(logits, axis=-1)
           
           # 修改PREDICT模式的返回逻辑：添加所有层特征
           if mode == tf.estimator.ModeKeys.PREDICT:
               predictions = {
                   'label_ids': labels,
                   'predicted_labels': predicted_labels,
                   'logits': logits,
                   # 新增：把所有编码器层特征加入结果
                   'all_encoder_layers': all_encoder_layers
               }
               return tf.estimator.EstimatorSpec(mode=mode, predictions=predictions)
           
           # 原有的TRAIN和EVAL模式逻辑保持不变...
       return model_fn
   

2. 提取特征的方式
   修改完model_fn后，当你调用estimator.predict()时，每个返回的结果字典里都会包含all_encoder_layers字段，它是一个列表，每个元素对应BERT某一层的输出张量（形状为[batch_size, sequence_length, hidden_size]）：

   predict_input_fn = bert.run_classifier.input_fn_builder(
       features=test_features,
       seq_length=MAX_SEQ_LENGTH,
       is_training=False,
       drop_remainder=False)
   
   for result in estimator.predict(predict_input_fn):
       # 获取第0层到第11层（base版BERT共12层）的特征
       first_layer_features = result['all_encoder_layers'][0]
       last_layer_features = result['all_encoder_layers'][-1]
       # 按需处理特征（比如转换为numpy数组）
       first_layer_np = first_layer_features.numpy()
   

注意事项 #

• 如果你使用的是基于tf.estimator的BERT实现（对应早期Hugging Face TensorFlow版本），get_all_encoder_layers()返回的是TensorFlow张量，需要调用.numpy()转换为可操作的数组。
• 这些中间层特征不会被保存到模型文件中，只会在预测阶段实时计算并返回。

内容的提问来源于stack exchange，提问作者Salvatore Greco