基于生成序列数据的同结构RNN训练：能否复现原网络权重？

咱先把结论摆得明明白白：你几乎不可能通过这种方式得到和原generated-RNN完全一致的权重。原因主要有这么几点：

• 随机性无处不在
  首先，原RNN生成序列的时候，除非你全程用argmax取确定性输出（但这种生成的序列会极度重复，毫无多样性），否则一般会用带温度的采样或随机采样，生成的序列本身就不是唯一的。其次，新RNN的初始化权重是随机的——哪怕结构完全一样，初始权重的微小差异都会让优化过程走向不同的方向。另外，训练时的batch顺序、优化器的随机成分（比如Adam的初始化状态）、甚至硬件层面的浮点运算误差，都会让最终权重产生偏差。

• 生成数据和原训练数据的分布偏差
  原generated-RNN是在真实数据上训练出来的，它生成的序列只是对真实数据分布的一个近似，不可能完全复刻真实分布的所有细节。用这个“近似版”的数据去训练新模型，拟合的是原模型的输出分布，而非原模型训练时的真实分布，自然很难对齐原模型的权重。哪怕你生成了海量数据，这个分布偏差依然存在。

• 损失函数的多局部最优解
  RNN这类模型的损失函数是高度非凸的，存在大量局部最优解。原模型收敛到的只是其中一个局部最优，而新模型从随机初始化出发，优化过程很大概率会落到另一个局部最优上——哪怕训练数据完全一致，也没法保证和原模型的权重完全重合。

• 训练细节的敏感性
  哪怕你严格复刻所有训练超参数（学习率、batch size、训练轮数等），微小的差异（比如不同GPU的浮点精度差异）都可能让最终权重出现不可忽略的差别。更别说如果生成序列的数量不够，新模型甚至可能欠拟合，连原模型的性能都达不到，更别说权重一致了。

举个直观的例子：假设原模型是训练来写小说的，它生成的小说虽然风格和训练数据像，但细节、剧情走向都是随机的。用这些生成的小说去训练新模型，新模型学到的只是原模型的“写作风格”，但不可能和原模型的权重完全一样——甚至连写出来的句子都不会完全重合。

内容的提问来源于stack exchange，提问作者Liepill Li