Google Speech-to-Text无限流式识别多请求后时间戳偏移问题求解

问题根因 #

官方示例中bridging_offset默认基于本地系统时间差计算，没有考虑音频采集调度延迟、请求发起的IO延迟，且残留音频时长计算精度不足，多请求叠加后误差逐步放大。

优化方案 #

1. 替换偏移计算逻辑，完全基于音频字节数折算时长 #

抛弃本地时间参与偏移计算的逻辑，所有时长统计完全用实际传输的音频字节数折算，避免系统调度带来的误差：

• 先根据你的音频参数计算每秒音频对应的字节数，公式为：
  每秒字节数 = 采样率 * 位深 / 8 * 声道数
  例：16kHz采样、16位位深、单声道的音频，每秒字节数为16000 * 2 * 1 = 32000
• 定义全局累计偏移变量global_total_offset，记录已经完成识别的音频总时长，所有新请求返回的时间戳都需要叠加该偏移值
• 上一个请求的残留音频拼接到新请求头部时，桥接偏移直接用残留音频字节数折算：bridging_offset = len(残留音频字节) / 每秒字节数

2. 调整请求截断逻辑 #

• 不要卡API的4分钟硬限制切请求，提前1-2秒主动终止当前请求，避免API强制截断导致残留音频长度不可控
• 切请求的时机对齐音频chunk边界，不要在单个音频帧中间截断，避免折算时长出现精度损失

3. 小误差兜底校准 #

每个新请求返回的前2秒识别结果先做临时缓存，等is_final为True的稳定结果返回后，和上一个请求最后一个识别词的结束时间做比对，如果差值超过200ms，直接以上一个词的结束时间为基准校准前几个词的时间戳，修正极小概率出现的精度误差。

核心代码修改示例 #

# 全局累计偏移量，单位：秒
global_total_offset = 0.0
# 按实际音频参数配置：采样率16k、16位位深、单声道
AUDIO_BYTES_PER_SECOND = 16000 * 2 * 1

def stream_generator(steam_obj, last_request_residual_audio):
    global global_total_offset
    total_bytes_this_request = 0
    # 先发送上一轮残留的音频
    if last_request_residual_audio:
        total_bytes_this_request += len(last_request_residual_audio)
        yield last_request_residual_audio
    # 正常发送实时采集的音频
    while stream_obj.is_active:
        chunk = stream_obj.read_chunk()
        total_bytes_this_request += len(chunk)
        yield chunk
    # 请求结束后更新全局偏移：扣除本次残留音频的时长，避免重复计算
    residual_duration = len(stream_obj.residual_audio) / AUDIO_BYTES_PER_SECOND
    global_total_offset += (total_bytes_this_request / AUDIO_BYTES_PER_SECOND) - residual_duration

# 识别结果处理逻辑
def handle_response(response):
    for result in response.results:
        if not result.is_final:
            continue
        for word in result.alternatives[0].words:
            # 叠加全局偏移得到准确的全局时间戳
            corrected_start = word.start_time.total_seconds() + global_total_offset
            corrected_end = word.end_time.total_seconds() + global_total_offset
            print(f"词汇：{word.word}, 开始时间：{corrected_start}, 结束时间：{corrected_end}")

内容的提问来源于stack exchange，提问作者Rayhan Memon