Magenta Tone Transfer Colab的audio_features数组切片时间间隔相关问询

核心问题解答 #

• 问题1：相邻切片的默认时间间隔为4毫秒，是固定值
  底层逻辑是DDSP默认用16kHz采样率处理音频，每64个采样点计算一次特征，间隔计算公式为 64 / 16000 = 0.004秒，整个音频处理过程中这个间隔不会变动。
• 问题2：时间间隔支持自定义修改
  调用compute_audio_features方法时可以传入自定义的hop_size（帧移采样点数）和sample_rate（采样率）参数，调整这两个参数即可修改时间间隔。注意如果后续要对接官方预训练的音色转移模型，需要保证参数和模型训练时的参数一致，否则会出现推断错误；如果仅做自定义特征分析可自由调整。
• 问题3：可以直接计算得到每个元素对应的时间戳
  因为时间间隔固定，索引为i（从0开始计数）的特征对应的起始时间戳为 i * (hop_size / sample_rate)，结束时间戳为 (i+1) * (hop_size / sample_rate)，不需要额外调用接口获取。

推导路径说明 #

所有结论均来自DDSP官方仓库的源码实现，你可以自己核对：

1. 先找到ddsp/training/metrics.py文件，定位compute_audio_features函数定义，可以看到默认参数sample_rate=16000、hop_size=64，特征提取逻辑依赖spectral_ops.py里的短时傅里叶变换实现
2. 短时傅里叶变换的帧移逻辑是固定步长滑动，因此相邻切片的间隔固定，计算公式就是帧移采样点数除以采样率
3. 函数入参支持自定义传入sample_rate和hop_size，因此时间间隔可调整

内容的提问来源于stack exchange，提问作者ultraGentle