如何将Deeplearning4j训练的Word2Vec模型导出为vectors.tsv和metadata.tsv以用于TensorFlow Embedding Projector可视化？

我之前刚好处理过这个需求，Deeplearning4j没有直接提供一键导出tsv的方法，但手动写几行代码就能搞定，关键是要保证词汇和向量的顺序绝对一致，不然可视化时会对应错误。下面是具体步骤和代码示例：

1. 准备好训练完成的Word2Vec实例 #

假设你已经完成了模型训练，手里有一个Word2Vec对象：

Word2Vec trainedWord2Vec = ...; // 你的训练好的模型

2. 定义输出文件路径 #

先指定两个文件的保存位置：

String vectorsOutputPath = "./vectors.tsv";
String metadataOutputPath = "./metadata.tsv";

3. 写入metadata.tsv（词汇列表） #

这个文件里每一行对应一个词汇，第一行可以加个表头让Projector显示更清晰：

import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;
import java.util.Collection;

// 获取模型的完整词汇集合
Collection<String> vocabulary = trainedWord2Vec.getVocab().words();

// 写入metadata文件
try (BufferedWriter metaWriter = new BufferedWriter(new FileWriter(metadataOutputPath))) {
    metaWriter.write("Word\n"); // 表头，可选但推荐
    for (String word : vocabulary) {
        metaWriter.write(word + "\n");
    }
} catch (IOException e) {
    e.printStackTrace();
    // 这里可以加自定义的异常处理逻辑
}

4. 写入vectors.tsv（向量矩阵） #

遍历同样的词汇集合，把每个词对应的向量按制表符分隔写入文件，顺序必须和metadata完全一致：

try (BufferedWriter vecWriter = new BufferedWriter(new FileWriter(vectorsOutputPath))) {
    for (String word : vocabulary) {
        double[] wordVector = trainedWord2Vec.getWordVector(word);
        StringBuilder vectorLine = new StringBuilder();
        // 把向量的每个元素用制表符拼接
        for (int i = 0; i < wordVector.length; i++) {
            if (i != 0) {
                vectorLine.append("\t");
            }
            vectorLine.append(wordVector[i]);
        }
        vecWriter.write(vectorLine.toString() + "\n");
    }
} catch (IOException e) {
    e.printStackTrace();
}

注意事项 #

• 一定要保证两个文件的词汇遍历顺序完全相同，建议直接复用同一个vocabulary集合，不要重新获取两次。
• 如果你的词汇量很大（比如几十万级），写入文件可能会耗时，建议放在后台线程执行，避免阻塞主线程。
• 导出后可以打开TensorFlow Projector，分别上传这两个文件，就能看到词向量的可视化效果了。

内容的提问来源于stack exchange，提问作者Rob Audenaerde