如何在单计算图上实现多BERT二分类以节省推理时间

完全不需要部署4个独立二分类器，你提出的复用底层计算模块的思路完全可行，之前尝试的多分类、多标签方案效果不达预期，核心是任务目标和方案设计不匹配，和计算图合并本身没有关系。

具体可落地的实现逻辑如下：

• 先拆分公共共享层与任务专属层：将BERT预处理模块、BERT前N层（BERT-base结构通常前8~10层为通用语义表征层，适合共享）抽为公共主干，所有输入仅需在主干做一次前向计算，即可得到通用语义表征，这一步能减少70%以上的重复计算量，是推理提速的核心。
• 为4组配对二分类任务搭建独立分支：每个分支的结构和你之前独立训练二分类器的后半段完全对齐，即接对应要微调的BERT后几层、顶层二分类Dense层，每个分支只负责输出「基准类vs某一目标类」的二分类得分，分支之间参数完全独立，互不干扰。
• 训练阶段用掩码损失避免任务间干扰：不需要用keras.switch这类特殊算子，直接用多输出模型的损失掩码机制即可。训练时可以将4个配对任务的数据集按采样比例组成混合批次，每个样本仅在自身所属任务的对应分支计算二分类交叉熵损失，其余3个分支的损失直接乘0掩码屏蔽，梯度仅回传到共享主干和当前任务分支，更新逻辑和独立训练4个二分类器完全一致，不会出现效果折损。
• 推理阶段单次前向输出所有结果：输入样本仅需跑一次公共主干得到通用表征，再将表征分别传入4个任务分支，一次前向就能得到4组配对比对的得分，相比跑4次独立BERT二分类模型，推理速度可提升3~4倍。

之前尝试的多分类、多标签方案效果不如独立二分类器，本质是任务目标错配：多分类强制模型学习5个类别之间的全局互斥决策边界，会把classA vs classB这类你不需要的分类边界纳入优化目标，反而干扰「样本与基准类比对」的核心判断；多标签则默认4个配对标签可以同时成立，和每个配对任务单独做二分类决策的逻辑不符，自然达不到独立二分类器的效果。

如果担心共享主干带来精度波动，可以先做层敏感度测试找速度和精度的平衡点：比如从共享前8层开始测试，若精度和独立模型有差距就减少共享层数（比如降到共享前6层），若精度完全对齐就增加共享层数进一步提速，完全不需要退回4个独立二分类器的方案。

内容的提问来源于stack exchange，提问作者cedivad