如何处理双USB麦克风数据？搭建简易波束成形系统技术问询

DevOps 小满

2026-5-26

Hey there! 恭喜你已经搞定了双USB麦克风的硬件连接，这可是搭建波束成形系统的关键第一步！我看到你的代码写了一半，callback2还没完成，而且当前的音频采集逻辑有几个需要调整的地方，同时我也会给你补上延迟求和波束成形的核心实现——这是最适合入门的波束成形算法。

先修正音频采集的核心问题

你的当前代码有两个明显的坑，先帮你填上：

格式不匹配：你定义的FORMAT是pyaudio.paInt16（16位整数），但回调里却用np.fromstring(in_data, 'Float32')解析数据，这会直接导致音频数据乱码，必须对应成int16类型。
双麦克风同步问题：分开用两个独立的回调函数几乎没法保证两个麦克风的采集完全同步，更好的方案是用线程同步采集，或者如果你的USB设备支持多通道输入，直接用单流采集两个通道的信号。

下面是修正后的同步采集代码（先记得用注释里的代码获取你的麦克风设备索引）：

import numpy as np
import pyaudio
import threading
from scipy.signal import correlate

# 全局缓冲区存储两个麦克风的采集数据，加锁保证线程安全
mic_buffer1 = []
mic_buffer2 = []
data_lock = threading.Lock()

# 音频参数，根据你的麦克风调整
FORMAT = pyaudio.paInt16
CHANNELS = 1
SAMPLE_RATE = 44100
CHUNK_SIZE = 1024

def mic_collector(device_idx, target_buffer):
    """单个麦克风的采集线程函数"""
    audio_interface = pyaudio.PyAudio()
    stream = audio_interface.open(
        format=FORMAT,
        channels=CHANNELS,
        rate=SAMPLE_RATE,
        input=True,
        input_device_index=device_idx,
        frames_per_buffer=CHUNK_SIZE
    )

    print(f"麦克风 {device_idx} 开始采集...")
    try:
        while True:
            # 读取一帧音频数据
            raw_data = stream.read(CHUNK_SIZE)
            # 解析为16位整数数组
            audio_samples = np.frombuffer(raw_data, dtype=np.int16)
            # 线程安全地写入缓冲区
            with data_lock:
                target_buffer.extend(audio_samples)
    except KeyboardInterrupt:
        print(f"麦克风 {device_idx} 停止采集")
    finally:
        stream.stop_stream()
        stream.close()
        audio_interface.terminate()

# --------------------------
# 先执行这段代码获取麦克风设备索引
# --------------------------
# audio_interface = pyaudio.PyAudio()
# for idx in range(audio_interface.get_device_count()):
#     print(f"设备索引 {idx}: {audio_interface.get_device_info_by_index(idx)['name']}")
# audio_interface.terminate()

# 替换成你实际的两个麦克风设备索引
mic1_idx = 0
mic2_idx = 1

# 启动两个采集线程
thread_mic1 = threading.Thread(target=mic_collector, args=(mic1_idx, mic_buffer1))
thread_mic2 = threading.Thread(target=mic_collector, args=(mic2_idx, mic_buffer2))

thread_mic1.start()
thread_mic2.start()

延迟求和波束成形核心实现

延迟求和（Delay-and-Sum）是最适合入门的波束成形算法，核心思路是通过对齐两个麦克风的信号，增强目标方向的声音，抑制其他方向的噪声。步骤如下：

计算两个麦克风信号的互相关，找到时间差（TDOA）
根据时间差对齐其中一个信号
将对齐后的信号求和输出

下面是实现代码：

def delay_and_sum_beamform(signal1, signal2, sample_rate):
    """
    延迟求和波束成形
    返回: 波束成形后的信号, 计算得到的延迟样本数
    """
    # 计算两个信号的互相关
    cross_correlation = correlate(signal1, signal2, mode='full')
    # 找到互相关峰值对应的延迟样本数
    delay_samples = np.argmax(cross_correlation) - len(signal1) + 1

    # 根据延迟对齐两个信号
    if delay_samples > 0:
        # 麦克风2的信号更晚到达，给麦克风1的信号补前导零对齐
        aligned_signal1 = np.pad(signal1, (delay_samples, 0), mode='constant')[:len(signal2)]
        aligned_signal2 = signal2
    else:
        # 麦克风1的信号更晚到达，给麦克风2的信号补前导零对齐
        aligned_signal2 = np.pad(signal2, (-delay_samples, 0), mode='constant')[:len(signal1)]
        aligned_signal1 = signal1

    # 延迟求和，避免溢出转换为float32处理
    beamformed_signal = (aligned_signal1.astype(np.float32) + aligned_signal2.astype(np.float32)) / 2
    # 转换回int16格式（如果需要保存为WAV）
    beamformed_signal = np.clip(beamformed_signal, -32768, 32767).astype(np.int16)
    return beamformed_signal, delay_samples

# --------------------------
# 示例：当采集到足够数据后执行波束成形
# --------------------------
# 等待采集足够数据（比如10帧）
import time
time.sleep(2)

with data_lock:
    # 截取相同长度的最新数据
    if len(mic_buffer1) >= CHUNK_SIZE*10 and len(mic_buffer2) >= CHUNK_SIZE*10:
        sig1 = np.array(mic_buffer1[-CHUNK_SIZE*10:])
        sig2 = np.array(mic_buffer2[-CHUNK_SIZE*10:])

# 执行波束成形
beamformed_sig, delay = delay_and_sum_beamform(sig1, sig2, SAMPLE_RATE)
print(f"计算得到的延迟样本数: {delay}，对应时间延迟: {delay/SAMPLE_RATE*1000:.2f}ms")

# 可选：保存波束成形后的音频到WAV文件
import wave
with wave.open("beamformed_output.wav", 'wb') as wf:
    wf.setnchannels(CHANNELS)
    wf.setsampwidth(pyaudio.PyAudio().get_sample_size(FORMAT))
    wf.setframerate(SAMPLE_RATE)
    wf.writeframes(beamformed_sig.tobytes())

几个实用的注意事项

时钟漂移问题：独立的USB麦克风有各自的时钟，长时间采集会出现数据长度不一致的情况，建议定期重新计算延迟，或者使用支持硬件同步的麦克风阵列。
实时处理优化：如果要做实时波束成形，可以在采集线程里每读取一帧就处理一帧，而不是积累大量数据，这样能降低延迟。
噪声抑制增强：可以在波束成形前对原始信号做降噪处理（比如维纳滤波），进一步提升效果。

内容的提问来源于stack exchange，提问作者Jae Yun Yoo