本文档介绍如何通过WebSocket协议实时访问同传大模型 (AST)服务，主要包含鉴权相关、协议详情、常见问题和使用Demo四部分。支持s2s（Speech-to-Speech），s2t（Speech-to-Text），目前支持支持克隆本身说话人的音色，支持中英互译。

AST 服务使用的接口地址是：wss://openspeech.bytedance.com/api/v4/ast/v2/translate

鉴权

在 websocket 建连的 HTTP 请求头（Header 中）添加以下信息

websocket 握手成功后，会返回 Response header

建连 HTTP 请求头示例

GET /api/v4/ast/v2/translate 
Host: openspeech.bytedance.com
X-Api-App-Key: 123456789
X-Api-Access-Key: your-access-key
X-Api-Resource-Id: volc.service_type.10053

# 返回 Header
X-Tt-Logid: 202407261553070FACFE6D19421815D605

Protobuf

protos.tar.gz

未知大小

构建方法：下载并解压上面的gzip压缩包后，参考其中的HOWTO.md教程

目前有Go，Python, Java语言的构建教程，此压缩包为Go的示例教程， Python, Java语言的构建教程直接打包在下方Client Demo中，请直接下载获取。

Client Demo

Go：

ast_go_client.zip

未知大小

ast_python_client.zip

未知大小

ast_java_client.zip

未知大小

交互流程

WebSocket 二进制协议

WebSocket protobuf传输数据。

Event 字段描述

发送端 Event Type:

接收端 Event Type:

请求流程

发送端

建立连接-StartSession

根据 WebSocket 协议本身的机制，client 会发送 HTTP GET 请求和 server 建立连接做协议升级。
需要在其中根据身份认证协议加入鉴权签名头。设置方法请参考鉴权。
WebSocket 建立连接后，发送的第一个请求是 建联 request。请求体字段说明：

参数示例：

Request中的request_meta.session_id为必填字段，不可缺省

{
  "request_meta": {
      "session_id": "xxxxxxxx-xxxxxxxxxx-xxxxxxx-xxxxxxxxxx"
  }
  "event": event.Type_StartSession,
  "user": {
    "uid": "388808088185088",
    "did": "xxxxxx"
  },
  "source_audio": {
    "format": "wav",
    "rate": 16000,
    "bits": 16,
    "channel": 1,
  },
  "target_audio": {
    "format": "pcm",
    "rate": 48000
  },
  "request": {
    "mode": "s2s",
    "source_language": "zh",
    "target_language": "en",
    "corpus": {
      "hot_words_list": ["xxxxx","xxxxx"],
      "glossary_list": {
          "xxxxx": "yyy",
          "zzzzz": "www",
      },
    }
  }
}

发送音频数据-TaskRequest

Client 发送 建连请求后，再发送包含音频数据的 TaskRequest。音频应采用建立连接request 中指定的格式（音频格式、编解码器、采样率、声道）。二进制数据放在protobuf 的request体内部
例如在流式语音识别中如果每次发送 100ms 的音频数据，那么data中的 内容 就是 100ms 的音频数据。
注意：需要等到收到服务端响应的SessionStarted后再发参数包及音频包

• 具体的参数字段见下表：

参数示例：

{
  "event": event.Type_TaskRequest,
  "source_audio": {
    "data": "ff\xa2\xfe*\xfeB\xfe\xa3\xfe\x9c\xff\xe2\x0"
  }
}

更新参数-ConfigUpdate

用于在session中更新语料/干预词等
参数示例：

{
  "event": event.Type_UpdateConfig,
  "request": {
    "mode": "s2s",     // 注意：当前不支持在会话中切换语言及mode，如需切换，请重新建立连接
    "corpus": {    // 用于在中间包修改热词和术语列表
      "hot_words_list": [],
      "glossary_list": {},
    }
  }
}

结束session-FinishSession

单独的结束事件，不带音频，在要发送的音频全部发送完毕后发送
参数示例：

{
  "event": event.FinishSession
}

服务端

Client 发送请求，服务端都会返回response。格式具体见protobuf定义，具体关键字段说明如下：

接收到建联成功-SessionStarted

响应示例：

{
  "event": event.Type_SessionStarted
}

原文开始-SourceSubtitleStart

标记原文开始发送，包含开始时间戳(startTime), 说话人切换信号(如开启相关功能)

{
  "event": event.Type_SourceSubtitleStart,
  "start_time": xxx,
  "spk_chg": false    //默认为false，如果检测到此句说话人发生切换，那么为true
}

原文数据-SourceSubtitleResponse

发送音频，要求16khz,16bit,单通道wav/pcm, 建议80ms一包

{
  "event": event.Type_SourceSubtitleResponse,
  "text": "xxx"   //原文文本
}

原文结束-SourceSubtitleEnd

{
  "event": event.Type_SourceSubtitleEnd,
  "start_time": xxx,
  "end_time": xxx,
  "text": "xxx"
}

译文开始-TranslationSubtitleStart

{
  "event": event.Type_TranslationSubtitleStart,
  "start_time": xxx,
  "spk_chg": false    //默认为false，如果检测到此句说话人发生切换，那么为true
}

译文数据-TranslationSubtitleResponse

{
  "event": event.Type_TranslationSubtitleResponse,
  "text": "xxx"
}

译文结束-TranslationSubtitleEnd

{
  "event": event.Type_TranslationSubtitleEnd,
  "start_time": xxx,
  "end_time": xxx,
  "text": "xxx"
}

TTS开始-TTSSentenceStart

{
  "event": event.Type_TTSSentenceStart,
  "start_time": xxx
}

TTS数据-TTSResponse

音频数据：data (音频数据，按设置的target_audio格式返回)，

{
  "event": event.Type_TTSResponse,
  "data": "xxx"
}

TTS结束-TTSSentenceEnd

{
  "event": event.Type_TTSSentenceEnd,
  "data": "xxx",
  "start_time": xxx,
  "end_time": xxx
}

计量计费-UsageResponse

{
  "event": event.Type_UsageResponse,
  "responseMeta": {
    "session_id": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
    "status_code": 20000000,             // 成功的状态码
    "message": "OK",
    "billing": {                         // 计费详情
      "items": [
        {
          "unit": "output_text_tokens",  //  API调用token, 文本输出
          "quantity": 15.0               // 消耗的token量
        },
        {
          "unit": "output_audio_tokens",  // API调用token, 音频输出
          "quantity": 11.0                // 消耗的token量
        },
        {
          "unit": "input_audio_tokens",  // API调用token，音频输入
          "quantity": 4.0                // 消耗的token量
        }
      ],
      "duration_msec": 640            // 音频的持续时间,单位：毫秒
    }
  }
}

会话正常结束-SessionFinished

{
  "event": event.Type_SessionFinished
}

会话失败-SessionFailed

{
  "event": event.Type_SessionFailed
}

返回AudioMuted

vad检测到静音时会响应静音事件，第一次响应为静音2s后，之后每静音约1s返回一次wen

{
  "event": event.Type_Type_AudioMuted,
  "muted_duration_ms": xxx //单位ms, 表示静音了多久，存在误差，不是精确值
}

Error message from server

当 server 发现无法解决的二进制/传输协议问题时，将发送 Error message from server 消息（例如，client 以 server 不支持的序列化格式发送消息）。格式见前文response_meta字段：

错误码