PyTorch能否使用大于1D的输入？词嵌入文本分类输入处理问题

先把你面对的输入形状理清楚 #

你现在基于词嵌入拼出来的三维张量 [n_obs, 单句最大词数, 词嵌入维度]，本质是把每个句子当成了一串带顺序的词序列，不是一堆拆碎了的独立特征。 #

两种处理路径分别适合啥 #

• 池化压成二维再喂网络的适用场景
  如果你打算用最基础的全连接MLP、传统分类器跑任务，三维张量根本喂不进去，这时候必须提前做特征压缩。最常用的就是对句里所有词的嵌入做平均池化，把每个词的100维向量求个平均，直接得到一个100维的句子级向量，堆起来就是n_obs × 100的标准二维输入。
  就拿你这个food/sports/science的三分类粗粒度任务来说，这种方式效率拉满，训练参数少、跑的快，只要主题足够明确，精度完全够用。
• 直接保留原始三维特征喂网络的适用场景
  如果你选的是专为序列设计的网络（比如1D卷积、LSTM、轻量Transformer），根本不需要提前池化。这类网络天生就能接住“批量样本数-序列长度-特征维度”的三维输入，还能抓到词和词之间的顺序关系——比如“我不喜欢吃蘑菇”和“蘑菇不喜欢我”，平均池化算出来的句子向量是一模一样的，但三维原始输入喂给序列模型，就能识别出语序差异，对带否定、修饰结构的语义抓的准多了。

几个真踩过坑的提醒 #

• 别为了凑二维输入，直接把每个句子的[词数, 词嵌入维度]矩阵硬拉平成超长一维向量喂全连接。这种做法不仅会让参数量炸掉，还完全丢了序列结构，训练慢、泛化差，完全得不偿失。
• 要是你选了序列类模型，池化操作放到模型最后一层做就行，别在数据预处理阶段就把特征压扁，给网络留足捕捉语序特征的空间。
• 对这种三分类的简单任务，别上来就堆复杂的序列模型。先用平均池化搭个最小的基线跑一遍，精度够要求就直接用，省下来的训练、调试时间，远比追求零点几个点的精度差要值。

内容的提问来源于stack exchange，提问作者CutePoison