TensorFlow官方PTB语言模型脚本不生成TensorBoard的metadata.tsv问题

我之前也碰到过这个情况——早期TensorFlow官方的PTB教程脚本确实没自动生成embedding可视化必需的metadata.tsv文件，这是因为老版本的代码没包含这部分逻辑。下面给你几个实用的解决办法：

方案1：直接复用现有词汇表文件 #

PTB数据集的simple-examples/data/目录下本来就有一个vocab.txt文件，它就是训练时用的词汇表，每行一个单词，完全符合TensorBoard对metadata.tsv的格式要求。你只需要执行这条命令把它复制到训练结果目录：

cp simple-examples/data/vocab.txt results/metadata.tsv

复制完成后重启TensorBoard或者刷新页面，在Embeddings标签页里手动指定metadata文件路径为results/metadata.tsv，就能看到每个embedding向量对应的单词了。

方案2：修改代码让脚本自动生成metadata.tsv #

如果想让训练过程自动生成这个文件，可以在ptb_word_lm.py里添加一段代码，比如放在训练循环开始前或者结束后：

import os
# 读取原始词汇表并写入结果目录
vocab_path = os.path.join(FLAGS.data_path, "vocab.txt")
metadata_path = os.path.join(FLAGS.save_path, "metadata.tsv")
with open(vocab_path, 'r') as vocab_file, open(metadata_path, 'w') as meta_file:
    for line in vocab_file:
        meta_file.write(line)

这样每次训练都会自动生成匹配的metadata文件，不用手动复制了。

方案3：配置TensorBoard自动关联metadata #

要是不想每次在TensorBoard里手动指定路径，还可以修改代码中embedding的summary配置，让TensorBoard自动识别metadata：
找到脚本里定义embedding变量的部分（一般在PTBModel类的__init__方法里），添加以下配置代码：

# 假设embedding变量定义如下
embedding = tf.get_variable("embedding", [vocab_size, size])

# 添加TensorBoard projector配置
config = tf.contrib.tensorboard.plugins.projector.ProjectorConfig()
embedding_config = config.embeddings.add()
embedding_config.tensor_name = embedding.name
embedding_config.metadata_path = os.path.join(FLAGS.save_path, 'metadata.tsv')
# 将配置关联到summary writer
tf.contrib.tensorboard.plugins.projector.visualize_embeddings(tf.summary.FileWriter(FLAGS.save_path), config)

这样训练时脚本会自动把metadata路径写入TensorBoard的配置文件，启动后就能直接看到带单词标签的embedding可视化效果了。

内容的提问来源于stack exchange，提问作者alex83803