如何直接将PyDub AudioSegment对象传入pyannote.audio Pipeline以跳过临时文件导出步骤？

嗨，我完全懂你不想折腾临时文件的烦恼——既要生成还要事后清理，确实挺繁琐的。其实pyannote.audio的Pipeline除了接受本地文件路径，还支持直接处理内存中的音频数据，我们可以通过两种实用方法把PyDub的AudioSegment直接传进去，彻底绕开临时文件的环节。

方法一：将AudioSegment转换为numpy数组传入 #

PyDub的AudioSegment可以导出原始音频数据，我们把它转换成numpy数组（搭配采样率参数），pyannote的Pipeline能直接识别这种格式的输入。具体实现步骤如下：

1. 从AudioSegment中提取采样率、声道数等核心参数
2. 将原始字节数据转换为numpy数组，并调整为pyannote要求的浮点格式与维度顺序
3. 把数组和采样率打包成字典，直接传给Pipeline处理

代码示例：

from pydub import AudioSegment
import torch
import numpy as np
from pyannote.audio import Pipeline

# 初始化pipeline（保留你的原有配置）
pipeline = Pipeline.from_pretrained(
    "pyannote/speaker-diarization-3.1",
    use_auth_token="hf_#####"
)
pipeline.to(torch.device("cuda"))

# 加载音频到AudioSegment（保留你的原有逻辑）
audio = AudioSegment.from_file(file_path)

# 核心转换逻辑
# 提取音频基础参数
sample_rate = audio.frame_rate
num_channels = audio.channels
sample_width = audio.sample_width

# 将原始字节数据转换为numpy数组
# 多数音频是16位采样，对应int16类型；如果是24/32位可调整为int32
dtype = np.int16 if sample_width == 2 else np.int32
audio_array = np.frombuffer(audio.raw_data, dtype=dtype)

# 调整维度为(声道数, 样本数)，并转换为pyannote默认的float32格式（归一化到[-1,1]区间）
audio_array = audio_array.reshape((num_channels, -1)).astype(np.float32) / 32768.0

# 构造pipeline可直接识别的输入字典
audio_input = {
    "waveform": torch.from_numpy(audio_array),
    "sample_rate": sample_rate
}

# 直接传入pipeline完成语音分离
diarization = pipeline(audio_input)

这种方法直接操作原始音频数据，跳过了WAV格式的编解码过程，速度会更快一些。

方法二：用BytesIO模拟内存文件传入 #

如果你更习惯贴近原有导出逻辑的写法，可以用Python的io.BytesIO在内存中模拟一个WAV文件对象，pipeline同样能正常读取处理：

代码示例：

from pydub import AudioSegment
import torch
import io
from pyannote.audio import Pipeline

# 初始化pipeline（保留你的原有配置）
pipeline = Pipeline.from_pretrained(
    "pyannote/speaker-diarization-3.1",
    use_auth_token="hf_#####"
)
pipeline.to(torch.device("cuda"))

# 加载音频到AudioSegment（保留你的原有逻辑）
audio = AudioSegment.from_file(file_path)

# 在内存中生成WAV格式的字节流
audio_buffer = io.BytesIO()
audio.export(audio_buffer, format="wav")
audio_buffer.seek(0)  # 把文件指针移到开头，确保pipeline能从头读取

# 直接传入内存文件对象给pipeline
diarization = pipeline(audio_buffer)

这种方式和你原来的临时文件逻辑最接近，但数据全程在内存中流转，不会生成实际的本地文件，自然也不需要后续清理操作。

两种方法都能满足你的需求，你可以根据自己的代码习惯选择使用。

备注：内容来源于stack exchange，提问作者Chau Loi