如何在Keras层中间添加新输入，实现师生模型？

你需要用Keras函数式API来实现这个结构——Sequential确实只适合线性堆叠的简单模型，而函数式API专门用来处理多输入、分支复用这类复杂模型，完全匹配你的需求。下面是具体的实现步骤和代码示例：

1. 定义教师模型（生成单词权重） #

教师模型的核心是接收句子输入，输出每个单词的权重（针对分类任务的关键词权重）。这里假设你已经完成了文本预处理（分词、序列填充），词汇表大小为vocab_size，序列长度为seq_len，嵌入维度为embedding_dim：

import tensorflow as tf
from tensorflow.keras.layers import Input, Embedding, Dense, Activation
from tensorflow.keras.models import Model

# 教师模型输入：预处理后的句子序列
teacher_input = Input(shape=(seq_len,), name="teacher_sentence")
# 嵌入层：将单词转为向量
embedding_layer = Embedding(vocab_size, embedding_dim)(teacher_input)
# 生成单词权重：每个位置输出一个权重，通过softmax归一化（确保权重和为1）
weight_logits = Dense(1)(embedding_layer)
word_weights = Activation("softmax", axis=1)(weight_logits)

# 封装教师模型
teacher_model = Model(inputs=teacher_input, outputs=word_weights, name="teacher_model")

2. 定义学生模型（结合句子+教师权重） #

学生模型需要两个输入：原始句子，以及教师输出的单词权重。这里可以复用教师的嵌入层（也可以单独定义，按需选择），然后通过Multiply层将权重与词向量相乘，强化关键单词的影响：

from tensorflow.keras.layers import Multiply, GlobalAveragePooling1D

# 学生模型的两个输入
student_sentence_input = Input(shape=(seq_len,), name="student_sentence")
teacher_weight_input = Input(shape=(seq_len, 1), name="teacher_weights")

# 复用教师的嵌入层（参数共享，减少训练成本）
student_embedding = embedding_layer(student_sentence_input)
# 将权重与词向量相乘，实现关键单词加权
weighted_embedding = Multiply()([student_embedding, teacher_weight_input])

# 后续分类网络：这里用全局平均池化+全连接层做二分类（仇恨言论检测）
pooled_features = GlobalAveragePooling1D()(weighted_embedding)
classification_output = Dense(1, activation="sigmoid", name="hate_speech_pred")(pooled_features)

# 封装学生模型
student_model = Model(
    inputs=[student_sentence_input, teacher_weight_input],
    outputs=classification_output,
    name="student_model"
)

3. 构建联合训练模型（可选） #

如果需要同时训练教师和学生模型，可以把两者整合成一个联合模型，输入仅需原始句子，输出包含教师权重和学生分类结果：

# 联合模型输入
combined_input = Input(shape=(seq_len,), name="combined_sentence")
# 教师模型输出权重
teacher_out = teacher_model(combined_input)
# 学生模型接收句子+教师权重，输出分类结果
student_out = student_model([combined_input, teacher_out])

# 封装联合模型
combined_model = Model(
    inputs=combined_input,
    outputs=[teacher_out, student_out],
    name="teacher_student_combined"
)

# 编译模型：自定义损失和权重（按需调整）
combined_model.compile(
    optimizer="adam",
    loss={"teacher_model": "mse", "student_model": "binary_crossentropy"},
    loss_weights={"teacher_model": 0.3, "student_model": 0.7}  # 调整两个任务的权重占比
)

关键说明 #

• 如果你已经预训练好教师模型，可以固定其权重（teacher_model.trainable = False），只训练学生模型，这就是模型蒸馏的典型用法。
• Multiply层会自动广播权重维度（(batch, seq_len, 1) → (batch, seq_len, embedding_dim)），确保每个词向量都能乘上对应的权重。
• 教师模型的损失可以根据你的需求调整：如果有标注的关键单词权重，用MSE；如果是自监督引导，可以设计和学生分类任务关联的损失。

内容的提问来源于stack exchange，提问作者Minimum