SFTranscriptionSegment的timestamp在模拟器与真机表现不一致，无法返回秒值

问题分析 #

你在使用Speech框架实现实时语音转文字时，遇到真机与模拟器上SFTranscriptionSegment.timestamp表现不一致的问题：真机实时识别阶段返回的timestamp是0.0~0.04的小数值，仅在录音停止后才返回正确的秒级时间；而模拟器在录音过程中就能返回符合预期的秒级timestamp。这是因为实时识别返回的临时结果中，timestamp尚未完成全局时间校准，仅当结果标记为isFinal时，框架才会更新为基于录音起始点的秒级时间戳。

解决方案 #

1. 依赖isFinal标记的结果获取准确时间戳 #

Speech框架在检测到语音停顿（或录音停止）时，会返回isFinal = true的识别结果，此时的SFTranscriptionSegment.timestamp是基于录音起始点的准确秒级数值。你可以在处理结果时，仅针对isFinal为true的结果进行语音块拆分：

nonisolated private func recognitionHandler(audioEngine: AVAudioEngine, result: SFSpeechRecognitionResult?, error: Error?) {
    guard let result = result else { return }
    
    if result.isFinal {
        // 处理最终结果，此时segments的timestamp为准确秒级
        processSpeechSegments(result.bestTranscription.segments)
        // 若需要继续识别，可重启音频引擎（根据你的业务逻辑调整）
        restartAudioRecognitionIfNeeded(audioEngine: audioEngine)
    } else {
        // 临时结果仅用于实时显示转录文本，忽略timestamp
        updateLiveTranscription(result.bestTranscription.formattedString)
    }
    
    if let error = error {
        audioEngine.stop()
        audioEngine.inputNode.removeTap(onBus: 0)
        // 处理错误逻辑
    }
}

2. 优化识别请求参数，提升停顿检测准确性 #

调整SFSpeechAudioBufferRecognitionRequest的参数，让框架更精准地检测语音停顿，提前返回isFinal的结果：

let request = SFSpeechAudioBufferRecognitionRequest()
request.shouldReportPartialResults = true // 允许返回临时结果用于实时显示
request.taskHint = .dictation // 针对自然语言听写优化，更易检测停顿
request.automaticallyEndpointSpeech = true // 自动检测语音结束
request.endpointDetectionSensitivity = .medium // 调整停顿敏感度，可按需选low/high

3. 确保音频引擎配置正确 #

真机上音频硬件的格式差异可能导致时间戳计算错误，需使用音频输入节点的原生格式配置tap：

let audioEngine = AVAudioEngine()
let inputNode = audioEngine.inputNode
let recordingFormat = inputNode.outputFormat(forBus: 0) // 使用硬件原生格式避免不兼容

inputNode.installTap(onBus: 0, bufferSize: 1024, format: recordingFormat) { buffer, time in
    request.append(buffer)
}

4. 规避无效timestamp的通用处理 #

对于临时结果中出现的0.0或极小值timestamp，可通过过滤逻辑跳过：

func processSpeechSegments(_ segments: [SFTranscriptionSegment]) {
    let validSegments = segments.filter { segment in
        segment.timestamp > 0.1 // 过滤极小值，阈值可根据实际场景调整
    }
    // 基于有效片段拆分语音块
}

总结 #

真机上实时识别的临时结果timestamp未经过全局时间校准，仅isFinal结果中的timestamp才是准确的秒级数值。通过依赖isFinal标记、优化识别请求参数和音频配置，即可实现与模拟器一致的语音块拆分功能。

内容的提问来源于stack exchange，提问作者hurb