Python加载fastai预训练HDF5权重文件失败，求解决办法

看起来你遇到的核心问题是这个后缀为.h5的模型文件并不是标准HDF5格式——fastai早期（比如DL2课程里的ULMFiT模型）的预训练模型是用PyTorch序列化保存的，只是沿用了.h5的后缀名，本质是PyTorch模型文件，所以用HDF5工具（pytables、HDF Viewer）肯定打不开。

下面是正确的Python加载方法，帮你获取堆叠LSTM最后一层的权重和词嵌入：

方法1：用PyTorch直接加载 #

首先确保你安装了对应版本的PyTorch和fastai 1.x（因为DL2课程基于fastai 1.x，不要用2.x版本，会有兼容性问题）。然后用以下代码加载：

import torch
from fastai.text import AWDLSTM

# 替换成你的模型文件路径
model_path = "bwd_wt103.h5"

# 加载模型，map_location指定为cpu如果没有GPU
model = torch.load(model_path, map_location=torch.device('cpu'))

# 查看模型结构，确认层级
print(model)

# 提取最后一层LSTM：AWDLSTM的编码器在model[0]，堆叠LSTM的layers列表最后一个就是最后一层
last_lstm_layer = model[0].lstm.layers[-1]

# 获取LSTM的权重参数，比如输入门和隐藏门的权重
weight_input = last_lstm_layer.weight_ih_l0
weight_hidden = last_lstm_layer.weight_hh_l0

# 获取词嵌入层的权重（这就是你要的词嵌入）
word_embeddings = model[0].encoder.weight

方法2：用fastai的load_learner加载 #

如果你有对应的数据文件（比如data.pkl，通常和模型放在同一目录），可以用fastai的工具更便捷地加载：

from fastai.text import load_learner

# 第一个参数是模型所在的目录，第二个是模型文件名
learn = load_learner("path/to/your/model/dir", "bwd_wt103.h5")
model = learn.model

# 同样提取最后一层LSTM和词嵌入
last_lstm = model[0].lstm.layers[-1]
word_embeddings = model[0].encoder.weight

关键说明 #

• 为什么之前的方法失败？：PyTorch序列化的文件和HDF5格式完全不同，HDF工具无法识别其文件签名，所以会报"file signature not found"或"Unsupported format"错误。
• 版本注意：一定要用fastai 1.x版本（比如pip install fastai==1.0.61），因为fastai 2.x对模型结构做了大幅改动，无法直接加载DL2课程的旧模型。

内容的提问来源于stack exchange，提问作者Rish