神经网络输出层行为疑惑：nunique()+1可行而nunique()报错？

处理多分类数据集时遇到以下问题：

• 目标类别包含0至10（缺少9），共10个唯一值
• 输出层神经元设为y_train.nunique()时，sparse_categorical_crossentropy报错，提示标签值10超出[0,10)范围
• 设为y_train.nunique()+1时训练正常

咨询两个问题：

1. 当前输出层配置（y_train.nunique()+1）是否正确？
2. 输出层神经元数需等于目标唯一值数量的理解是否正确？

可行代码 #

model = Sequential() # Not talking about this
model.add(Dense(32, activation='relu', input_dim = X_train.shape[1])) # Not talking about this
model.add(Dense(16, activation='relu')) # Not talking about this
model.add(Dropout(0.2)) # Not talking about this
model.add(Dense(16, activation='relu')) # Not talking about this
model.add(Dense(y_train.nunique()+1, activation='softmax')) # This is the output layer and this is what I am talking about
          
model.compile(loss='sparse_categorical_crossentropy', optimizer=Adam(learning_rate = 0.01), metrics=['accuracy']) # Not talking about this
model.summary() # Not talking about this

报错代码 #

model = Sequential() # Same as above
model.add(Dense(32, activation='relu', input_dim = X_train.shape[1])) # Same as above
model.add(Dense(16, activation='relu')) # Same as above
model.add(Dropout(0.2)) # Same as above
model.add(Dense(16, activation='relu')) # Same as above
model.add(Dense(y_train.nunique(), activation='softmax')) # This is the output layer and this is what I am talking about
          
model.compile(loss='sparse_categorical_crossentropy', optimizer=Adam(learning_rate = 0.01), metrics=['accuracy']) # Same as above
model.summary() # Same as above

报错信息 #

Detected at node sparse_categorical_crossentropy/SparseSoftmaxCrossEntropyWithLogits/SparseSoftmaxCrossEntropyWithLogits defined at (most recent call last):
  File "<frozen runpy>", line 198, in _run_module_as_main
...

  File "c:\<redacted>\Projects\<redacted>\Lib\site-packages\keras\src\backend.py", line 5775, in sparse_categorical_crossentropy

Received a label value of 10 which is outside the valid range of [0, 10).  Label values: 5 0 3 3 1 8 10 4 3 1 0 0 1 3 5 6 10 6 10 8 4 6 6 6 1 2 7 10 8 0 4 8
     [[{{node sparse_categorical_crossentropy/SparseSoftmaxCrossEntropyWithLogits/SparseSoftmaxCrossEntropyWithLogits}}]] [Op:__inference_train_function_737445]

问题1：当前输出层配置是否正确？ #

当前用y_train.nunique()+1的配置能正常运行，但不是最优解。原因是sparse_categorical_crossentropy要求标签值必须是从0开始的整数，且最大值必须小于输出层神经元数。你的标签里有10，当输出层神经元数为10时，有效范围是[0,10)，10不在该范围内，因此报错；设为11时，范围变为[0,11)，10符合要求，训练正常。但这种配置会多一个对应类别9的无用神经元，浪费计算资源。

更优方案是将标签重新编码为连续的0-9：比如把原标签10改为9，此时输出层神经元数直接用y_train.nunique()即可，既满足损失函数要求，又避免资源浪费。

问题2：输出层神经元数需等于目标唯一值数量的理解是否正确？ #

这个理解仅在标签是从0开始的连续整数时成立。sparse_categorical_crossentropy的核心要求是：标签的最大值必须小于输出层神经元数，而非唯一值数量等于神经元数。

如果标签不连续（比如缺少9但存在10），此时唯一值数量是10，但标签最大值是10，输出层神经元数需要至少11才能覆盖这个最大值，就会出现神经元数大于唯一值数量的情况。但这种场景下更推荐重新编码标签，让它变成连续的0到n-1（n为唯一值数量），这样就能让神经元数等于唯一值数量，符合你最初的理解。

内容的提问来源于stack exchange，提问作者Anonymous Person