声影同传功能可将您的直播音频实时翻译为多语言内容，帮助您打破语言壁垒，扩大全球观众覆盖面。该功能集成了豆包同声传译模型、多语种字幕、数字人口型和声音复刻等先进技术，能为您的观众带来沉浸式的跨语言观看体验。本文介绍如何使用声影同传功能。

功能架构

该架构图展示了声影同传在直播推流场景下的整体处理流程，主要包括以下几个环节：

1. 音源分离：从直播流中提取人声与背景音，为后续处理提供干净音源。
2. 语音识别与翻译：通过豆包同声传译模型识别人声内容，并实时翻译生成多语种字幕。
3. 声音复刻与数字人口型：声音复刻保留原声音色、优化音量并进行降噪处理。数字人口型构建与翻译语音同步的口型。
4. 音频融合：将复刻人声与背景音自然融合，提升音频整体质量。
5. 音视频合成：将处理后的音频与字幕一并生成最终输出，实现自然的多语言直播效果。

功能亮点

• 沉浸式体验：结合声音复刻与口型同步技术，输出接近真人的配音和面部动作，显著提升视频自然度。
• 多语言支持：原文支持中文、英文，译文支持中文、英文、日语、西班牙语、印尼语、葡萄牙语、法语、德语。
• 低延迟处理：适配直播场景，提供端到端的低延迟处理体验。
• 多种模式选择：支持字幕翻译、同传声音、数字人口型三种能力按需组合，满足不同业务需求。

应用场景

• 电商直播：适用于跨国电商直播，帮助商家突破语言障碍，扩大海外市场。
• 会议直播：适用于产品发布会、教育培训、国际会议及海外嘉宾演讲等多种场景，提升跨语言沟通效率。
• 赛事直播：适用于海外赛事转播及国内赛事出海，满足实时转播需求，助力赛事内容全球传播。

计费说明

声影同传的计费从任务开始推流时启动，至任务结束推流时停止。详见声影同传计费。

前提条件

• 已开通视频直播服务。
• 如需体验声影同传 Demo，请完成以下准备：
  • 确保网络连接稳定，以保障音视频数据的连续传输。
  • 根据开播方式准备相应内容：
    • 本地开播：连接良好的摄像头和麦克风。
    • 上传视频：MP4 格式的视频文件，大小不超过 100 MB。
    • 拉取直播流：有效的直播拉流地址，支持 HLS、FLV 或 RTMP 格式。可通过地址生成器生成。
• 如需创建同传任务，请完成以下准备：
  • 源流地址：用于拉取原始直播流，支持 RTMP、FLV 格式。可通过地址生成器生成拉流地址，并确保域名、AppName 和 StreamName 与原始直播流的推流地址一致。

    说明

    原始直播流的推流地址可从直播平台获取，也可通过地址生成器生成。

  • 转推地址：用于推送经过同传处理的新直播流，支持 RTMP 格式。可从直播平台获取或通过地址生成器生成推流地址。

    说明

    如需拉取经过同传处理的新直播流，可通过地址生成器生成拉流地址，并确保域名、AppName 和 StreamName 与转推地址一致。

体验声影同传 Demo

完成以下步骤，体验声影同传效果。如果效果符合预期，可通过创建同传任务，实现同传直播。详见创建同传任务。

1. 登录视频直播控制台。

2. 在左侧导航栏，选择声影同传。

3. 单击声影同传 Demo。

4. 按需选择以下任一开播方式。

   开播方式	说明
   本地开播	适用于通过本地设备（摄像头、麦克风）进行直播，并即时进行声影同传处理的场景。例如，在线教学、直播会议等。
   上传视频	适用于对已有的本地视频文件（例如录制好的课程、宣传片等）进行声影同传处理的场景。
   拉取直播流	适用于从外部直播源（例如其他直播平台的直播流、CDN 回源流等）拉取内容，并进行实时声影同传处理的场景。
   演示直播 Demo	适用于快速了解和体验声影同传功能效果，可直接进入预览模式，无需额外配置。这是一个便捷的预览工具。

5. 根据选择的开播方式，配置同传参数。

   说明

   如选择演示直播 Demo 开播方式，可直接进入预览模式，无需进行以下配置。

   配置项	适用开播方式	说明	配置详情
   翻译模式	本地开播、上传视频、拉取直播流	选择声影同传的处理方式，不同模式有不同的效果和延迟。	翻译+声音复刻+口型：翻译语音、复刻音色并同步口型，提供沉浸式体验。 翻译+声音复刻：翻译语音、复刻音色，但不调整口型。 仅翻译字幕：仅将语音翻译为字幕显示在画面中。
   语言	本地开播、上传视频、拉取直播流	选择源语言和目标翻译语言。	源语种：选择输入视频的原始语言，支持选择中文和英文。 翻译为：选择翻译后的目标语言，支持选择中文和英文。
   本地设备	本地开播	选择音视频输入设备。	摄像头：从列表中选择要使用的摄像头设备。 麦克风：从列表中选择要使用的麦克风设备。
   本地文件	上传视频	上传待处理的本地视频文件。	选择上传视频，支持 MP4 格式，文件大小不超过 100 MB。
   拉流地址	拉取直播流	输入直播流的播放地址。	输入 HLS、FLV 或 RTMP 格式的有效直播拉流地址。 说明 地址中不可直接包含多字节编码字符（如中文字符）。如需包含，必须对这些字符进行 URL 编码（URL-encode）。
   体验时长	本地开播、上传视频、拉取直播流	选择需要体验功能的时长。	选择 10、60 或 120 分钟的体验时长，任务将在所选时长结束后自动停止。

6. 单击页面底部的开始体验，开始同传。
   
   其中，

   • 源画面区域将显示原始输入。
   • 输出画面区域在声影同传处理完成后会自动开始播放。
   • 在播放过程中，您可以点击暂停或开始按钮来控制播放。
     在同传任务进行过程中，可以随时单击页面底部的停止体验，停止同传处理。

创建同传任务，实现同传直播

在转推时间段内，当直播源开始推流时，同传任务会自动拉取该直播流进行同传处理，并将经过同传处理的新直播流推送到指定的转推地址，从而实现在转推地址上直播同传处理后的内容。例如，您可以使用 OBS 开播，创建同传任务后，在抖音上直播同传处理后的内容。

完成以下步骤，创建同传任务。

1. 登录视频直播控制台。

2. 在左侧导航栏，选择声影同传。

3. 单击新建任务。

4. 在弹窗中，完成以下配置并单击创建。
   

   配置项	说明
   标题	任务标题。该标题在所有运行中的任务中必须唯一。
   转推时间	设置任务的开始和结束时间，即任务运行中的时间段。 在该时间段内，当直播源开始推流时，任务会自动拉取该直播流进行同传处理，并将经过同传处理的新直播流推送至转推地址。 当任务结束或拉流失败时，转推自动停止。 说明 转推时间跨度最长不超过 7 天。
   源流地址	从该地址拉取原始直播流，并进行同传处理。 说明 地址中不可直接包含多字节编码字符（如中文字符）。如需包含，必须对这些字符进行 URL 编码（URL-encode）。
   转推地址	同传任务会将经过同传处理的新直播流推送到该地址。 说明 地址中不可直接包含多字节编码字符（如中文字符）。如需包含，必须对这些字符进行 URL 编码（URL-encode）。
   选择模式	按需选择以下模式。 声影同传：字幕、同传音频与画面完全同步，支持数字人口型功能。适用于对同步性和沉浸感要求较高的会议直播等场景。该模式会产生一定延迟。 实时同传：延迟低，但画面可能与字幕、同传音频不同步。适用于对延迟敏感的赛事直播等场景。
   播出延迟	配置播出延迟时长，以保证同传声音和字幕的翻译处理完成。请根据页面提示配置延迟时长。 说明 在实时同传模式下，建议设置为 2-3 秒延迟，画面可基本与字幕、同传音频同步，效果更佳。
   翻译语言	选择原文和译文的语言。
   数字人口型	是否开启数字人口型功能。开启后，人物口型将与翻译后的语音同步，提升直播的沉浸感。 说明 此功能仅在声影同传模式下，且已开启同传声音功能时才支持开启。
   同传声音	是否开启同传声音功能。开启后，将提供带有音色复刻效果的翻译语音。 实时同传模式下，您还可以调整原声音量，实现同传声音与原声的混合播放。
   字幕配置	是否开启字幕功能。开启后，将在画面上显示字幕。 支持配置原文和译文字幕的展示行数、边距、样式、关键词库等。按照页面提示设置关键词库后，译文会严格按照词库进行翻译。
   预览效果	按照界面提示，在线测试字幕效果。

   直播源开始推流后，任务开始推流至转推地址。

5. （可选）在任务列表中单击预览，进入视频预览页面，查看同传处理完成的画面。
   
   您可以随时通过单击开启翻译或关闭翻译来控制同传功能，此操作不会中断转推。

   • 关闭翻译：转推未经同传处理的原始内容。
   • 开启翻译：转推同传处理后的内容。
     例如，在一场面向国内观众的直播中，您可以在海外嘉宾发言时开启翻译，在其发言结束后再关闭翻译。