本文档介绍如何通过WebSocket协议实时访问大模型流式语音识别服务 (ASR)，主要包含鉴权相关、协议详情、常见问题和使用Demo四部分。
双向流式模式使用的接口地址是 wss://openspeech.bytedance.com/api/v3/sauc/bigmodel
流式输入模式使用的接口地址是 wss://openspeech.bytedance.com/api/v3/sauc/bigmodel_nostream
两者都是每输入一个包返回一个包，双向流式模式会尽快返回识别到的字符，速度较快。
流式输入模式会在输入音频达到15s或发送最后一包（负包）后返回识别到的结果，准确率更高。

在 websocket 建连的 HTTP 请求头（Header 中）添加以下信息

websocket 握手成功后，会返回这些 Response header。强烈建议记录X-Tt-Logid（logid）作为排错线索。

// 建连 HTTP 请求头示例
GET /api/v3/sauc/bigmodel
Host: openspeech.bytedance.com
X-Api-App-Key: 123456789
X-Api-Access-Key: your-access-key
X-Api-Resource-Id: volc.bigasr.sauc.duration
X-Api-Connect-Id: 随机生成的UUID

## 返回 Header
X-Tt-Logid: 202407261553070FACFE6D19421815D605

交互流程

WebSocket 二进制协议

WebSocket 使用二进制协议传输数据。协议的组成由至少 4 个字节的可变 header、payload size 和 payload 三部分组成，其中 header 描述消息类型、序列化方式以及压缩格式等信息，payload size 是 payload 的长度，payload 是具体负载内容，依据消息类型不同 payload 内容不同。
需注意：协议中整数类型的字段都使用大端表示。

header 数据格式

header 字段描述

请求流程

建立连接

根据 WebSocket 协议本身的机制，client 会发送 HTTP GET 请求和 server 建立连接做协议升级。
需要在其中根据身份认证协议加入鉴权签名头。设置方法请参考鉴权。

发送 full client request

WebSocket 建立连接后，发送的第一个请求是 full client request。格式是：

• Header： 前文描述的 4 字节头。
• Payload size： 是按 Header 中指定压缩方式压缩 payload 后的长度，使用大端表示。
• Payload： 包含音频的元数据以及 server 所需的相关参数，一般是 JSON 格式。具体的参数字段见下表：

参数示例：

{
    "user": {
        "uid": "388808088185088"
    },
    "audio": {
        "format": "wav",
        "rate": 16000,
        "bits": 16,
        "channel": 1,
        "language": "zh-CN"
    },
    "request": {
        "model_name": "bigmodel",
        "enable_itn": false,
        "enable_ddc": false,
        "enable_punc": false，
        "corpus": {
            "boosting_table_id": "通过自学习平台配置热词的词表id",
            }
    }
}

发送 audio only request

Client 发送 full client request 后，再发送包含音频数据的 audio-only client request。音频应采用 full client request 中指定的格式（音频格式、编解码器、采样率、声道）。格式如下：

Payload 是使用指定压缩方法，压缩音频数据后的内容。可以多次发送 audio only request 请求，例如在流式语音识别中如果每次发送 100ms 的音频数据，那么 audio only request 中的 Payload 就是 100ms 的音频数据。

full server response

Client 发送的 full client request 和 audio only request，服务端都会返回 full server response。格式如下：

Payload 内容是包含识别结果的 JSON 格式，字段说明如下：

{
  "audio_info": {"duration": 10000},
  "result": {
      "text": "这是字节跳动， 今日头条母公司。",
      "utterances": [
        {
          "definite": true,
          "end_time": 1705,
          "start_time": 0,
          "text": "这是字节跳动，",
          "words": [
            {
              "blank_duration": 0,
              "end_time": 860,
              "start_time": 740,
              "text": "这"
            },
            {
              "blank_duration": 0,
              "end_time": 1020,
              "start_time": 860,
              "text": "是"
            },
            {
              "blank_duration": 0,
              "end_time": 1200,
              "start_time": 1020,
              "text": "字"
            },
            {
              "blank_duration": 0,
              "end_time": 1400,
              "start_time": 1200,
              "text": "节"
            },
            {
              "blank_duration": 0,
              "end_time": 1560,
              "start_time": 1400,
              "text": "跳"
            },
            {
              "blank_duration": 0,
              "end_time": 1640,
              "start_time": 1560,
              "text": "动"
            }
          ]
        },
        {
          "definite": true,
          "end_time": 3696,
          "start_time": 2110,
          "text": "今日头条母公司。",
          "words": [
            {
              "blank_duration": 0,
              "end_time": 3070,
              "start_time": 2910,
              "text": "今"
            },
            {
              "blank_duration": 0,
              "end_time": 3230,
              "start_time": 3070,
              "text": "日"
            },
            {
              "blank_duration": 0,
              "end_time": 3390,
              "start_time": 3230,
              "text": "头"
            },
            {
              "blank_duration": 0,
              "end_time": 3550,
              "start_time": 3390,
              "text": "条"
            },
            {
              "blank_duration": 0,
              "end_time": 3670,
              "start_time": 3550,
              "text": "母"
            },
            {
              "blank_duration": 0,
              "end_time": 3696,
              "start_time": 3670,
              "text": "公"
            },
            {
              "blank_duration": 0,
              "end_time": 3696,
              "start_time": 3696,
              "text": "司"
            }
          ]
        }
      ]
   },
  "audio_info": {
    "duration": 3696
  }
}

Error message from server

当 server 发现无法解决的二进制/传输协议问题时，将发送 Error message from server 消息（例如，client 以 server 不支持的序列化格式发送消息）。格式如下：

• Header： 前文描述的 4 字节头。
• Error message code： 错误码，使用大端表示。
• Error message size： 错误信息长度，使用大端表示。
• Error message： 错误信息。

示例

示例：客户发送 3 个请求

下面的 message flow 会发送多次消息，每个消息都带有版本、header 大小、保留数据。由于每次消息中这些字段值相同，所以有些消息中这些字段省略了。
Message flow:

• client 发送 "Full client request"
  • version: b0001 (4 bits)
  • header size: b0001 (4 bits)
  • message type: b0001 (Full client request) (4bits)
  • message type specific flags: b0000 (use_specific_pos_sequence) (4bits)
  • message serialization method: b0001 (JSON) (4 bits)
  • message compression: b0001 (Gzip) (4bits)
  • reserved data: 0x00 (1 byte)
  • payload size = Gzip 压缩后的长度
  • payload: json 格式的请求字段经过 Gzip 压缩后的数据
• server 响应 "Full server response"
  • version: b0001
  • header size: b0001
  • message type: b1001 (Full server response)
  • message type specific flags: b0001 (none)
  • message serialization method: b0001 (JSON 和请求相同)
  • message compression: b0001 (Gzip 和请求相同)
  • reserved data: 0x00
  • sequence: 0x00 0x00 0x00 0x01 (4 byte) sequence=1
  • payload size = Gzip 压缩后数据的长度
  • payload: Gzip 压缩后的响应数据
• client 发送包含第一包音频数据的 "Audio only client request"
  • version: b0001
  • header size: b0001
  • message type: b0010 (audio only client request)
  • message type specific flags: b0000 (用户设置正数 sequence number)
  • message serialization method: b0000 (none - raw bytes)
  • message compression: b0001 (Gzip)
  • reserved data: 0x00
  • payload size = Gzip 压缩后的音频长度
  • payload: 音频数据经过 Gzip 压缩后的数据
• server 响应 "Full server response"
  • message type: 0b1001 - Full server response
  • message specific flags: 0b0001 (none)
  • message serialization: 0b0001 (JSON, 和请求相同)
  • message compression 0b0001 (Gzip, 和请求相同)
  • reserved data: 0x00
  • sequence data: 0x00 0x00 0x00 0x02 (4 byte) sequence=2
  • payload size = Gzip 压缩后数据的长度
  • payload: Gzip 压缩后的响应数据
• client 发送包含最后一包音频数据（通过 message type specific flags) 的 "Audio-only client request"，
  • message type: b0010 (audio only client request)
  • message type specific flags: b0010 (最后一包音频请求)
  • message serialization method: b0000 (none - raw bytes)
  • message compression: b0001 (Gzip)
  • reserved data: 0x00
  • payload size = Gzip 压缩后的音频长度
  • payload: Gzip 压缩后的音频数据
• server 响应 "Full server response" - 最终回应及处理结果
  • message type: b1001 (Full server response)
  • message type specific flags: b0011 (最后一包音频结果)
  • message serialization method: b0001 (JSON)
  • message compression: b0001 (Gzip)
  • reserved data: 0x00
  • sequence data: 0x00 0x00 0x00 0x03 (4byte) sequence=3
  • payload size = Gzip 压缩后的 JSON 长度
  • payload: Gzip 压缩后的 JSON 数据
• 如处理过程中出现错误信息，可能有以下错误帧的返回
  • message type: b1111 (error response)
  • message type specific flags: b0000 (none)
  • message serialization method: b0001 (JSON)
  • message compression: b0000 (none)
  • reserved data: 0x00
  • Error code data: 0x2A 0x0D 0x0A2 0xff (4byte) 错误码
  • payload size = 错误信息对象的 JSON 长度
  • payload: 错误信息对象的 JSON 数据

错误码

单工演示demo，即发送和接收均在同一个线程或者协程中，整体识别速度可能会略慢。配置下面两行即可运行：

# access token
header["X-Api-Access-Key"] = ""
# app id
header["X-Api-App-Key"] = ""

simplex_websocket_demo.py

未知大小