Keras Embedding层input_dim参数设置与mask_zero相关问题咨询

以下是tf.keras.layers.Embedding官方文档说明：

• input_dim：整数，词汇表大小，即最大整数索引 + 1。
• mask_zero：布尔值，输入值0是否为需要掩码的特殊「填充」值，适用于接收可变长度输入的循环层。若设为True，模型后续所有层都需支持掩码，否则会抛出异常。开启mask_zero后，索引0不可用于词汇表（input_dim应等于词汇表大小 + 1）。

1. input_dim取值问题：应该设为n+1。官方明确说明input_dim是「最大整数索引 +1」，你当前的有效词汇最大索引是n，加上预留的填充位0，总共有0~n共n+1个索引值，input_dim需要覆盖所有可能出现的输入索引，所以取值为n+1。
2. mask_zero设为False的影响：填充用的0会被当成普通词汇索引处理，模型会为0生成对应的嵌入向量，并且所有后续计算（包括循环层、注意力计算、损失计算等）都会将填充位置的特征纳入计算，会引入无关噪声，误导模型学习到错误的语义关联，最终降低模型效果，序列长度差异越大负面影响越明显。
3. mask_zero=True后的input_dim调整问题：不需要再额外加1。第一问给出的n+1取值已经完全符合官方要求的「开启mask_zero后input_dim等于词汇表大小+1」的规则，词汇表大小为n，刚好匹配。如果第一问你错误将input_dim设为了n，开启mask_zero后会直接出现索引越界报错：因为input_dim为n时嵌入矩阵仅支持0~n-1的索引，你实际用到的最大有效索引是n，超出了矩阵范围，无法完成映射，严重时会直接终止训练。

内容的提问来源于stack exchange，提问作者Yandle