Phased LSTM梯度推导参考：反向传播推导笔记分享

各位好，我已经完成了 Phased LSTM（Daniel Neil、Michael Pfeiffer、Shih-Chii Liu 于2016年提出）的反向传播推导，现在把我的推导笔记分享在这里。这个推导的难度不低，希望能给在这部分遇到困难的研究者们提供一些帮助。

前提说明 #

我默认看到这份笔记的读者已经掌握了常规LSTM的反向传播方法，所以这里只展示最关键的梯度片段（也就是和普通LSTM差异最大的部分）。

重要注意事项 #

• 梯度的流向和模型图中标注的箭头方向是相反的，这点一定要留意
• Phased LSTM 采用了*Peepholes（窥视孔）*结构，和部分带窥视孔连接的标准LSTM变体类似
• 论文作者还提到了一些相关细节，大家如果深入研究实现的话，建议结合原文内容交叉参考

内容的提问来源于stack exchange，提问作者Kari