Keras中CNN文本分类模型单文档预测的维度异常问题

这个问题我太熟悉了——本质上是对Tokenizer的输入格式理解不到位导致的，咱们一步步拆解解决：

问题根源：Tokenizer的输入要求被忽略 #

Keras的Tokenizer类里的texts_to_matrix（或者texts_to_sequences）方法，要求输入是由字符串组成的列表。如果你直接传入单个字符串，Python会把这个字符串当成字符的迭代器——相当于把每个字符都当成一条独立的"文本"来处理。如果你的单条文本刚好有533个字符，自然就会生成(533, 1000)的矩阵，而不是预期的(1, 1000)。

快速解决方案：修正输入格式 #

这是最直接的修复方式，把你的单条文本包装成一个只包含它自己的列表就行：

错误示例（导致维度异常） #

# 错误：直接传入单个字符串
single_text = "需要预测的目标文本内容"
input_matrix = tokenizer.texts_to_matrix(single_text)
print(input_matrix.shape)  # 输出 (533, 1000)，完全不符合预期

正确示例（得到预期维度） #

# 正确：将单条文本放入列表中传入
single_text = "需要预测的目标文本内容"
input_matrix = tokenizer.texts_to_matrix([single_text])
print(input_matrix.shape)  # 输出 (1, 1000)，完美匹配模型输入要求

额外注意事项（避免后续踩坑） #

1. 保持Tokenizer的一致性
   预测时必须使用训练过程中拟合好的Tokenizer，绝对不能重新拟合新的Tokenizer（否则词汇表不匹配，会导致编码混乱）。训练后记得把Tokenizer保存下来：

   # 训练时保存Tokenizer
   import pickle
   with open('text_tokenizer.pkl', 'wb') as f:
       pickle.dump(tokenizer, f)
   
   # 预测时加载Tokenizer
   with open('text_tokenizer.pkl', 'rb') as f:
       tokenizer = pickle.load(f)
   

2. 对齐预处理参数
   确保预测时的预处理参数和训练时完全一致，比如texts_to_matrix的mode参数（可选值：binary/count/tfidf/freq），还有num_words等配置，否则生成的矩阵分布会和训练数据不一致，影响预测结果。

比如训练时用了：

train_matrix = tokenizer.texts_to_matrix(train_texts, mode='tfidf', num_words=1000)

那预测时必须对应：

pred_matrix = tokenizer.texts_to_matrix([single_text], mode='tfidf', num_words=1000)

内容的提问来源于stack exchange，提问作者StatguyUser