集成OpenAI与Eleven Labs的语音助手AI输出出现嘶嘶声求助

1. 对齐音频采样率与播放参数 #

Eleven Labs API返回的音频有固定采样率（常见44100Hz/48000Hz），若播放时采样率不匹配会直接导致失真和嘶嘶声：

• 在convert_text_to_speech函数中，从API响应头或返回的音频元数据中提取真实采样率，避免硬编码。
• 使用simpleaudio播放时，严格匹配采样率参数：

import numpy as np
import simpleaudio as sa

# 从Eleven Labs获取的音频数据与真实采样率
audio_data = np.array(..., dtype=np.int16)
sample_rate = 44100  # 替换为实际获取的采样率

# 正确执行播放
play_obj = sa.play_buffer(audio_data, 1, 2, sample_rate)
play_obj.wait_done()

2. 修复流式音频的字节解析逻辑 #

流式响应的字节拼接或类型转换错误会引入噪声：

• 确保完整拼接流式响应的字节块，避免截断或冗余数据。
• 转换numpy数组时指定正确的np.int16类型（对应16位PCM音频标准）：

import requests

def convert_text_to_speech(text, api_key, voice_id):
    url = f"https://api.elevenlabs.io/v1/text-to-speech/{voice_id}/stream"
    headers = {"xi-api-key": api_key}
    data = {"text": text, "model_id": "eleven_monolingual_v1"}
    
    response = requests.post(url, headers=headers, json=data, stream=True)
    audio_bytes = b""
    for chunk in response.iter_content(chunk_size=1024):
        if chunk:
            audio_bytes += chunk
    
    # 转换为标准16位PCM格式的numpy数组
    audio_data = np.frombuffer(audio_bytes, dtype=np.int16)
    # 从响应头提取采样率（部分场景需解析Content-Type字段）
    sample_rate = 44100 if "44100" in response.headers.get("Content-Type", "") else 48000
    return audio_data, sample_rate

3. 调整Eleven Labs语音生成参数 #

通过API参数优化语音输出质量，减少随机噪声：

• 在请求中添加voice_settings参数，微调stability和similarity_boost（范围0-1）：

data = {
    "text": text,
    "model_id": "eleven_monolingual_v1",
    "voice_settings": {
        "stability": 0.7,
        "similarity_boost": 0.8
    }
}

• 提高stability可降低语音中的随机波动噪声，similarity_boost提升语音与目标音色的匹配度，需根据实际效果微调。

4. 添加音频后处理降噪 #

若上述方法仍有残留噪声，使用专业降噪库处理：

• 安装noisereduce库后，对音频数据进行降噪处理：

import noisereduce as nr

def denoise_audio(audio_data, sample_rate):
    # 取音频前0.5秒作为噪声样本（可根据实际场景调整）
    noise_sample = audio_data[:int(sample_rate * 0.5)]
    reduced_noise = nr.reduce_noise(y=audio_data, y_noise=noise_sample, sr=sample_rate)
    # 转回int16格式以适配simpleaudio播放
    return reduced_noise.astype(np.int16)

• 在获取音频数据后调用该函数，再传入播放逻辑。

5. 排除播放设备问题 #

嘶嘶声可能来自硬件或系统设置：

• 切换不同音频输出设备测试，排除硬件故障。
• 关闭系统音频增强功能（如虚拟环绕声、音效增强）。

内容的提问来源于stack exchange，提问作者Dane