如何在Hugging Face中使用无预训练权重的T5模型架构？

• 基于预定义配置初始化模型
  你可以先加载T5的官方配置文件，再通过配置初始化模型，此时模型参数会被随机初始化，完全不包含预训练权重。示例代码如下：

  from transformers import T5Config, T5ForConditionalGeneration
  
  # 加载t5-base的配置（可替换为t5-small、t5-large等其他规格）
  config = T5Config.from_pretrained("t5-base")
  # 基于配置初始化无预训练权重的模型
  model = T5ForConditionalGeneration(config)
  

• 自定义模型结构初始化
  如果需要调整模型的核心结构参数（比如层数、隐藏维度），可以手动构建配置对象，再初始化模型：

  from transformers import T5Config, T5ForConditionalGeneration
  
  # 自定义T5配置参数
  custom_config = T5Config(
      vocab_size=32128,  # T5默认词汇表大小
      d_model=512,
      num_layers=6,
      num_heads=8,
      d_ff=2048,
      dropout_rate=0.1
  )
  # 用自定义配置初始化无预训练权重的模型
  custom_model = T5ForConditionalGeneration(custom_config)
  

• 适配T5其他变体
  若你需要使用T5的编码器单独模型（T5EncoderModel），方法完全一致：

  from transformers import T5Config, T5EncoderModel
  
  config = T5Config.from_pretrained("t5-base")
  encoder_model = T5EncoderModel(config)
  

以上方式得到的模型所有参数均为随机初始化，完全不依赖预训练权重，可直接用于和带预训练权重的T5模型做对比实验。

内容的提问来源于stack exchange，提问作者Chan Wing