如何在TensorBoard中可视化自定义RNNCell层的直方图？

这个问题我之前调试RNN的时候也踩过坑，核心原因很简单：你在创建RNNCell实例后立刻去取histogram1，这时候tf.dynamic_rnn还没调用cell的__call__方法，所以self._histogram1还是初始化时的None，执行sess.run()自然会报类型错误。

下面给你两个实用的解决思路：

思路1：在计算图构建完成后收集摘要节点 #

既然__call__方法是在tf.dynamic_rnn执行时才会触发，那我们等这个方法跑完再去拿摘要节点就可以了：

修改Agent类的代码：

class Agent():
    def __init__(self):
        ...
        self.summary_list = []  # 用来存放所有需要监控的直方图摘要

    def predictions(self):
        cell = RNNCell()
        # 先让tf.dynamic_rnn触发cell的__call__，构建计算图
        output, last_state = tf.dynamic_rnn(cell, inputs=...)
        # 这时候cell的histogram1已经被赋值了，可以加入列表
        self.summary_list.append(cell.histogram1)
        return output

之后运行的时候，直接获取这个列表里的节点：

summary_results = sess.run(agent.summary_list, feed_dict=...)

思路2：把摘要自动加入默认集合，统一合并 #

更省心的方式是在RNNCell里把直方图摘要直接加入TensorFlow的默认摘要集合，这样不用手动管理属性，后续直接合并所有摘要即可：

修改RNNCell类：

class RNNCell(tf.nn.rnn_cell.RNNCell):
    def __init__(self):
        super(RNNCell, self).__init__()
        self._output_size = 15
        self._state_size = 15

    def __call__(self, X, state):
        network = tflearn.layers.conv_2d(X, 5, [1, 3], activation='relu', weights_init=tflearn.initializations.variance_scaling(), padding="valid")
        # 直接将直方图摘要添加到默认集合
        tf.summary.histogram("layer1_hist_summary", network)
        # 其他计算逻辑...

然后修改Agent类，提前合并所有摘要：

class Agent():
    def __init__(self):
        ...
        # 合并所有加入默认集合的摘要节点
        self.merged_summaries = tf.summary.merge_all()

    def predictions(self):
        cell = RNNCell()
        output, last_state = tf.dynamic_rnn(cell, inputs=...)
        return output

运行时直接获取合并后的摘要：

merged_summary = sess.run(agent.merged_summaries, feed_dict=...)

这样不管你在RNNCell里加多少个直方图或者其他类型的摘要，都会被自动收集合并，非常方便。

内容的提问来源于stack exchange，提问作者Ziofil