vit-keras中除vit_b32、vit_b16外可用模型及ResNet+ViT混合模型问询

1. 其他可用模型及对应输入尺寸 #

你已经使用过的vit_b32、vit_b16属于基础的ViT-B系列模型，框架还支持以下可用模型，对应默认输入尺寸如下：

• 大参数量基础ViT系列
  • vit_l32：默认输入尺寸224×224
  • vit_l16：默认输入尺寸224×224
  • vit_h14：默认输入尺寸224×224，也支持切换为448×448高分辨率输入
• 21k数据集预训练衍生系列
  • vit_b16_21k：默认输入尺寸224×224
  • vit_b32_21k：默认输入尺寸224×224
  • vit_l16_21k：默认输入尺寸224×224
  • vit_l32_21k：默认输入尺寸224×224
  • vit_h14_21k：默认输入尺寸224×224，支持切换为448×448高分辨率输入

2. ResNet与ViT结合的混合模型支持情况 #

vit-keras确实内置了ResNet+ViT的混合结构模型，型号为vit_r50_b32，该模型的底层用ResNet50的前几层卷积网络提取局部特征，后续接标准ViT的Transformer编码器结构，默认输入尺寸为224×224，可直接通过框架接口加载，示例调用代码为vit_keras.models.vit_r50_b32(pretrained=True)。

内容的提问来源于stack exchange，提问作者RavihariL