融合Video Swin Transformer与2D-CNN特征用于视频字幕生成

要完成两类特征的拼接并适配Transformer编码器，核心是先把Video Swin的特征转换成和2D-CNN特征对齐的(batch_size, 16, 768)形状，再在特征维度拼接。具体步骤如下：

步骤1：分析特征维度含义 #

• Video Swin输出的(batch_size, 768, 4, 7, 7)：其中4是时间下采样后的维度（对应你采样的16帧，经过4倍时间压缩得到），7×7是空间特征图尺寸，768是通道数。
• 2D-CNN输出的(batch_size, 16, 768)：16是原采样帧数，768是单帧特征维度。

步骤2：转换Video Swin特征形状 #

2.1 恢复时间维度到16帧 #

用时间插值把压缩后的时间维度4恢复为16，匹配原采样帧数：

import torch
import torch.nn.functional as F

# 假设video_swin_feat是Video Swin输出的特征，形状(B, 768, 4, 7, 7)
video_swin_feat = torch.randn(2, 768, 4, 7, 7)  # 示例输入，B=2

# 调整维度顺序以适配插值逻辑，再恢复时间维度
video_swin_feat_reshaped = video_swin_feat.permute(0, 1, 3, 4, 2)  # (B, 768, 7, 7, 4)
video_swin_feat_time_up = F.interpolate(video_swin_feat_reshaped, size=16, mode='linear', align_corners=False)  # (B, 768, 7, 7, 16)
video_swin_feat_time_up = video_swin_feat_time_up.permute(0, 1, 4, 2, 3)  # 转回(B, 768, 16, 7, 7)

2.2 压缩空间维度到单帧特征 #

对每个时间步的7×7空间特征做全局平均池化，得到单帧的768维特征：

# 全局平均池化：对H和W维度做池化
video_swin_feat_frame = F.adaptive_avg_pool3d(video_swin_feat_time_up, output_size=(16, 1, 1))  # (B, 768, 16, 1, 1)
video_swin_feat_frame = video_swin_feat_frame.squeeze(-1).squeeze(-1)  # 去掉冗余维度，得到(B, 768, 16)
video_swin_feat_frame = video_swin_feat_frame.permute(0, 2, 1)  # 转置成(B, 16, 768)，和2D-CNN特征形状对齐

步骤3：特征拼接 #

把处理后的Video Swin特征和2D-CNN特征在最后一维拼接：

# 假设cnn_feat是2D-CNN输出的特征，形状(B, 16, 768)
cnn_feat = torch.randn(2, 16, 768)  # 示例输入

# 拼接特征
combined_feat = torch.cat([video_swin_feat_frame, cnn_feat], dim=-1)  # 结果形状(B, 16, 768*2)

可选优化点 #

• 如果觉得插值计算成本高，也可以用重复时间维度的方式（比如把每个时间步重复4次），但插值能更好保留时间连续性。
• 空间维度处理也可以用1x1卷积+flatten替代池化，比如用nn.Conv2d(768, 768, kernel_size=1)把空间特征映射后展平，但池化更轻量高效。

内容的提问来源于stack exchange，提问作者A_B_Y