如何使用训练好的char-rnn生成词汇？固定权重下如何生成不同句子？

Alright，来逐个解决你的问题，都是char-RNN生成阶段的核心点：

生成流程其实很直观，核心就是让模型基于当前输入的字符，一步步预测下一个字符，直到达到你想要的长度或者触发停止条件。具体步骤大概是这样：

• 加载模型与权重：先把训练阶段保存的模型结构和训练好的权重加载进来，确保模型处于eval()模式（关闭 dropout 这类训练时的正则化操作）。
• 初始化起始输入：把你选定的起始字符（比如单个字符、甚至一段前缀）转换成模型能处理的张量格式（比如字符对应的索引张量）。
• 循环生成字符：
  1. 把当前输入喂给模型，得到下一个字符的概率分布；
  2. 从这个概率分布里采样出下一个字符（采样方式很关键，第二个问题会细说）；
  3. 把新生成的字符拼接到结果里，同时作为下一次迭代的输入；
  4. 重复这个过程，直到生成的文本长度达标，或者遇到预设的终止符（比如换行符、特定标记）。

举个极简的代码片段（以PyTorch为例）：

import torch

# 假设你已经定义好了CharRNN模型类
model = CharRNN(vocab_size=len(vocab), hidden_size=256)
model.load_state_dict(torch.load("trained_char_rnn.pth"))
model.eval()

start_char = "W"
current_input = torch.tensor([vocab[start_char]], dtype=torch.long).unsqueeze(0)
generated_text = start_char

max_length = 50
with torch.no_grad():
    for _ in range(max_length):
        output, _ = model(current_input)
        # 从概率分布中采样（用multinomial实现随机采样）
        prob_dist = torch.softmax(output[:, -1], dim=1)
        next_char_idx = torch.multinomial(prob_dist, num_samples=1).item()
        next_char = idx2vocab[next_char_idx]
        generated_text += next_char
        current_input = torch.tensor([next_char_idx], dtype=torch.long).unsqueeze(0)

print(generated_text)

你提到的情况完全可以实现，核心原因是：char-RNN的生成是概率驱动的，而非确定性的。

训练完成后权重确实固定，但模型每次预测的是下一个字符的概率分布，而不是唯一确定的字符。如果你每次生成时都从这个概率分布里随机采样（而不是直接取概率最高的字符——也就是贪婪采样），那么即使起始字符相同，每一步都可能走向不同的分支，最终生成完全不同的句子。

比如当模型生成到"What "之后，它预测下一个字符的分布里，"i"（对应"What is..."）和"c"（对应"What can..."）都会有各自的概率值。随机采样时，这次可能选"i"，下次可能选"c"，自然就生成了不同的句子。

要注意的是，如果用贪婪采样（每次取概率最高的字符），那大概率会生成重复的、固定的文本，但只要切换成随机采样（比如用multinomial，或者带温度系数的采样——调整温度可以控制生成的随机性：温度越高，越倾向于低概率字符，随机性越强；温度越低，越接近贪婪采样），就能轻松得到多样化的结果。

内容的提问来源于stack exchange，提问作者Liepill Li