BERT模型神经元（units）数量相关技术问题：查询与估算方法

1. BERT各版本的神经元数量 #

BERT的神经元（即隐藏单元）数量因版本而异：

• BERT-base：单编码器层的核心隐藏单元数为768；若统计所有12层编码器的核心单元总数，为 768 × 12 = 9216；算上前馈网络（FFN）中间层的话，每层FFN有768×4=3072个单元，12层总共有3072×12=36864个。
• BERT-large：单编码器层的核心隐藏单元数为1024；24层编码器的核心单元总数为 1024 × 24 = 24576；每层FFN中间层有1024×4=4096个单元，24层总共有4096×24=98304个。

日常讨论中，默认的BERT神经元数量通常指单编码器层的核心隐藏单元数（base为768，large为1024）。

2. 神经元数量的估算方法 #

首先明确：神经元是模型中负责特征计算的单元，和可训练参数（权重、偏置）不是同一概念——参数是神经元之间的连接权重，神经元是计算节点。

估算步骤如下：

• 先确认目标BERT版本的基础配置：hidden_size（核心隐藏层维度）和num_hidden_layers（编码器层数），这两个是所有BERT变体的标配参数。
• 核心特征神经元：每个编码器层的注意力输出、层归一化后的隐藏层，都包含hidden_size个神经元，所有层的这类神经元总数为：hidden_size × num_hidden_layers。
• FFN模块神经元：每个编码器层的FFN有一个中间扩张层，维度固定为4 × hidden_size，这部分的神经元总数为：4 × hidden_size × num_hidden_layers。
• 全模型总神经元数：将上述两部分相加，即 5 × hidden_size × num_hidden_layers。

举个例子，BERT-base的总神经元数为 5×768×12=46080，包含核心层的9216个和FFN中间层的36864个。

内容的提问来源于stack exchange，提问作者Celso França