语音到语音翻译(S2ST)对于打破语言壁垒与沟通障碍非常有益。近年来业内利用自监督模型获得的离散单元,构建无文本且端到端的 S2ST 系统逐渐成为主流,但当前的S2ST模型在带噪的环境中仍然存在明显退化,并且无法翻译视觉语音(即唇动)。在这项工作提升中,火山语音团队联合浙江大学提出了AV-TranSpeech,业内首个借助视频信息的无文本语音到语音翻译(AV-S2ST)模型,通过视觉信息补充音频流,以提高系统的稳健性,并开辟了一系列应用前景,例...