DL4J的LSTM神经网络输出相关问题：为何采样而非取最大概率字符？

1. LSTM的输出说明 #

你对输出的理解是正确的，在该字符级文本生成场景下，DL4J的LSTM输出是和字符词典长度一致的double数组，数组每个位置的数值对应其索引绑定字符作为下一个生成字符的概率，所有数值加和趋近于1。

2. 为什么不直接选择概率最高的索引 #

直接选择最高概率索引的方案叫做贪心搜索，存在非常明显的缺陷：生成的文本重复度极高，很容易陷入连续重复短语、句式的死循环，生成内容非常死板，完全不符合自然文本的表达逻辑。
你提供的sampleFromDistribution方法实现的是多项式采样逻辑：字符被选中的概率和模型输出的概率正相关，概率越高的字符被抽中的概率越大，同时保留了小概率选中低概率字符的可能性，最终生成的文本多样性更强，更符合自然表达的特征。
代码中最多重试10次的逻辑，是为了规避浮点数精度误差导致概率加和略小于1，单次采样找不到对应索引的极端情况。

3. 获取TopN高概率字符的实现方案 #

你可以通过绑定索引和对应概率、按概率降序排序的方式获取前N个高概率字符，参考实现代码如下：

import java.util.AbstractMap;
import java.util.ArrayList;
import java.util.Comparator;
import java.util.List;
import java.util.Map;

/**
 * 从概率分布中获取前k个概率最高的字符索引
 * @param distribution 模型输出的概率分布数组
 * @param k 要获取的top数量，如2、3
 * @return 按概率从高到低排序的索引列表
 */
static List<Integer> getTopKCharIndices(double[] distribution, int k) {
    if (k <= 0 || k > distribution.length) {
        throw new IllegalArgumentException("k值非法，取值范围应为1到" + distribution.length);
    }
    // 存储 索引-对应概率 的键值对
    List<Map.Entry<Integer, Double>> indexProbPair = new ArrayList<>();
    for (int i = 0; i < distribution.length; i++) {
        indexProbPair.add(new AbstractMap.SimpleEntry<>(i, distribution[i]));
    }
    // 按概率从高到低排序
    indexProbPair.sort(Comparator.comparingDouble((Map.Entry<Integer, Double> entry) -> entry.getValue()).reversed());
    // 提取前k个索引
    List<Integer> topKIndices = new ArrayList<>();
    for (int i = 0; i < k; i++) {
        topKIndices.add(indexProbPair.get(i).getKey());
    }
    return topKIndices;
}

如果你希望兼顾多样性和生成合理性，也可以先筛选出TopK的概率值做归一化后再进行采样，避免抽到概率极低的不合理字符。

内容的提问来源于stack exchange，提问作者Miron Haletsky