关于ELECTRA论文实现与训练的若干技术疑问

问题1：步数统计中的“Step”具体指什么？是1个epoch还是1个minibatch？ #

这里的Step指的是一个minibatch的训练迭代，也就是模型用一批数据完成一次前向传播+反向参数更新的完整过程。Epoch则是指遍历完整个训练数据集的次数，一个Epoch包含的Step数量等于训练集总样本数除以batch size（结果向上取整）。

问题2：论文表1显示ELECTRA-SMALL与BERT-SMALL均有14M参数，但ELECTRA包含基于BERT的生成器和判别器模块，为何参数数量一致？ #

ELECTRA的生成器是小型化的BERT模型（通常尺寸仅为判别器的1/4），而判别器才是和同规格BERT（比如BERT-SMALL）参数规模一致的模型。论文表1里统计的14M参数是判别器的参数总量，生成器的参数是额外的，但因为ELECTRA在下游任务中仅使用判别器，所以论文选择用判别器的参数规模和BERT的总参数做对比，这样的对标方式更贴合实际应用场景。

问题3：生成器和判别器的架构具体是什么？二者均基于BERT还是其他结构？ #

二者都基于BERT的Transformer Encoder架构，具体细节如下：

• 生成器：是一个小型的BERT模型，采用双向Transformer Encoder结构，核心任务是掩码语言建模（MLM）。它的层数、隐藏层维度通常远小于判别器（比如判别器是12层时，生成器可能仅为3层）。
• 判别器：结构与同规格的BERT完全一致，同样是双向Transformer Encoder，核心任务是替换检测（Replaced Token Detection, RTD）——判断输入序列中的每个token是原始真实token还是被生成器替换的伪造token。

问题4：生成器与判别器之间存在采样步骤，如何通过该步骤反向传播梯度？ #

你的猜测是正确的：判别器的梯度不会反向传播至生成器，二者是分开训练的，具体流程为：

1. 固定判别器参数，训练生成器：基于掩码语言建模损失更新生成器的参数，让生成器学会生成接近真实的替换token。
2. 固定生成器参数（或使用当前训练状态的生成器），将其生成的替换序列作为判别器的输入，基于替换检测损失更新判别器的参数。
   由于采样步骤是从生成器的输出分布中选取token的非可微操作，梯度无法通过该步骤回传到生成器，因此二者的训练过程是解耦的，仅在每轮训练中，生成器的输出会作为判别器的输入数据。

内容的提问来源于stack exchange，提问作者Srinjoy Mukherjee