Kinect与Vicon数据对齐方案及自编码器降维匹配可行性咨询

1. 两类数据对齐到同一标准的可行方法 #

完全可以实现对齐，通常分为时间维度和特征维度两步处理：

• 时间维度对齐：二者采样频率是整数倍关系（120Hz是30Hz的4倍），优先做时间同步：采集前可预先设置同步锚点（比如让被试做一次快速抬手的极值动作），两类数据都识别到这个动作帧作为对齐起点；之后可以对Vicon数据做下采样，每4帧取1帧和Kinect的时间戳一一对应；如果需要保留高帧率特性，也可以对Kinect数据做线性/三次样条插值上采样到120Hz，匹配Vicon的时间步密度。
• 特征维度对齐：如果需要保留原始特征的物理可解释性，可以先做语义映射，提取两类设备共有的可对应特征（比如人体关键关节的三维坐标），Vicon独有的冗余特征（如额外的标记点原始坐标、骨长校准参数等）可根据需求丢弃，或作为补充维度附加在对齐后的共有关键点序列后。

2. 自编码器编码为同维度低维特征后的等价匹配可行性 #

可以实现，但需要满足训练前提，不能直接无监督单独编码：

• 首先要求输入自编码器的两类数据已经完成时间对齐，无对应关系的时序数据编码后不存在匹配基础。
• 不能直接用分别独立训练的自编码器对两类数据编码：两类数据的特征分布、噪声特性差异极大，分开训练得到的编码空间没有对齐约束，就算维度相同也无法实现等价匹配。
• 正确的实现方式是用配对样本训练跨模态自编码器：把已经时间对齐的同时间步Kinect、Vicon数据作为配对输入，训练时同时约束两类数据编码后的低维特征距离尽可能小，且各自解码回原始模态的重构误差尽可能低，这种训练得到的同维度特征才可以实现等价匹配。
• 如果同步配对数据量较少，也可以优先选择更简单的线性映射方法（如典型关联分析CCA、偏最小二乘回归PLS）学习两类特征到公共空间的映射规则，比自编码器的可解释性更强，小样本下效果更稳定。

内容的提问来源于stack exchange，提问作者user8206055