TensorFlow中音频与张量互转：WAV加载及频谱图转音频咨询

嘿，我来帮你理清TensorFlow里音频与张量互转的全流程，包括你关心的频谱图转回音频的实现——这部分我之前做过不少语音相关的项目，踩过一些小坑，分享给你：

一、直接将WAV音频文件加载为张量 #

完全可以直接把WAV文件加载成TensorFlow张量，用tf.audio.decode_wav就能搞定，它会自动解析WAV的采样率和音频数据。

举个简单的示例：

import tensorflow as tf

# 读取WAV文件内容
audio_file = tf.io.read_file("your_audio.wav")
# 解码为张量和采样率
audio_tensor, sample_rate = tf.audio.decode_wav(audio_file)

# 查看结果：audio_tensor的形状是 [采样点数, 声道数]，比如单声道就是 [N, 1]
print(f"音频张量形状: {audio_tensor.shape}")
print(f"采样率: {sample_rate.numpy()}")

如果需要批量加载多个WAV文件，推荐用tf.data.Dataset来高效处理：

# 批量加载目录下的所有WAV文件
dataset = tf.data.Dataset.list_files("path/to/wavs/*.wav")

def load_audio(file_path):
    audio_file = tf.io.read_file(file_path)
    audio_tensor, sample_rate = tf.audio.decode_wav(audio_file)
    # 可以统一采样率或者调整声道数，比如转单声道
    audio_tensor = tf.squeeze(audio_tensor, axis=-1)  # 转单声道：[N]
    return audio_tensor, sample_rate

dataset = dataset.map(load_audio)

二、将张量转回WAV音频文件 #

把张量转回WAV文件也很直接，用tf.audio.encode_wav即可，但要注意几个关键点：

• 音频张量需要是int16类型（WAV常用的16位编码格式）
• 要指定正确的采样率
• 张量形状需要是[采样点数, 声道数]（单声道就是[N,1]，如果是[N]的话要扩展维度）

示例代码：

# 假设你已经有了音频张量audio_tensor（float32类型，范围[-1, 1]）
# 先把float32转成int16（因为WAV用16位整数存储）
audio_int16 = tf.cast(audio_tensor * 32767, tf.int16)  # 32767是int16的最大值

# 如果是单声道的一维张量，要扩展成[N,1]的形状
if len(audio_int16.shape) == 1:
    audio_int16 = tf.expand_dims(audio_int16, axis=-1)

# 编码为WAV格式的二进制数据
wav_data = tf.audio.encode_wav(audio_int16, sample_rate=sample_rate)

# 保存到文件
tf.io.write_file("output_audio.wav", wav_data)

三、频谱图转回音频的实现方法 #

这部分是你重点关心的，音频转频谱图一般用短时傅里叶变换（STFT），转回的话分两种情况：保留相位信息和只有幅度谱（需要估计相位）。

1. 保留相位信息的频谱图转回 #

如果你的频谱图是包含复数信息（幅度+相位）的STFT结果，直接用tf.signal.inverse_stft就能还原音频：

import tensorflow as tf

# 先模拟音频转STFT的过程（假设你已经有audio_tensor）
frame_length = 512
frame_step = 128
fft_length = 512

# 计算STFT：得到复数频谱，形状为 [frames, fft_bins]
stft = tf.signal.stft(
    signals=audio_tensor,
    frame_length=frame_length,
    frame_step=frame_step,
    fft_length=fft_length
)

# ------------------- 这里是你的处理逻辑，比如修改频谱图 -------------------

# 用逆STFT转回音频
reconstructed_audio = tf.signal.inverse_stft(
    stfts=stft,
    frame_length=frame_length,
    frame_step=frame_step,
    fft_length=fft_length
)

# 还原后的音频可能有微小的幅度偏差，可以归一化到[-1,1]
reconstructed_audio = tf.clip_by_value(reconstructed_audio, -1.0, 1.0)

2. 只有幅度谱的情况（用Griffin-Lim算法估计相位） #

很多时候我们只保存频谱图的幅度（比如可视化用的梅尔频谱图），这时候相位丢失了，需要用Griffin-Lim算法来估计相位，从而还原音频。TensorFlow内置了tf.signal.griffinlim函数来实现：

# 假设你已经有了幅度谱magnitude_spec（形状为 [frames, fft_bins]）
# 注意：幅度谱需要是复数形式的模，或者直接传入幅度值（函数会自动处理）

# 用Griffin-Lim迭代估计相位并还原音频
reconstructed_audio = tf.signal.griffinlim(
    magnitudes=magnitude_spec,
    frame_length=frame_length,
    frame_step=frame_step,
    fft_length=fft_length,
    iterations=100  # 迭代次数，次数越多越接近原音频，但计算越慢
)

# 同样归一化处理
reconstructed_audio = tf.clip_by_value(reconstructed_audio, -1.0, 1.0)

如果是梅尔频谱图，还要先把梅尔谱转回到线性频谱（用梅尔逆变换），再用Griffin-Lim：

# 假设你有梅尔频谱图mel_spec，以及梅尔滤波器组
num_mel_bins = 80
sample_rate = 16000

# 构建梅尔滤波器组
mel_filterbank = tf.signal.linear_to_mel_weight_matrix(
    num_mel_bins=num_mel_bins,
    num_spectrogram_bins=fft_length//2 + 1,
    sample_rate=sample_rate,
    lower_edge_hertz=80.0,
    upper_edge_hertz=7600.0
)

# 梅尔谱转回线性幅度谱
linear_magnitude = tf.matmul(mel_spec, tf.transpose(mel_filterbank))

# 再用Griffin-Lim还原音频
reconstructed_audio = tf.signal.griffinlim(
    magnitudes=linear_magnitude,
    frame_length=frame_length,
    frame_step=frame_step,
    fft_length=fft_length,
    iterations=100
)

小提示 #

• 转频谱图和转回时，frame_length、frame_step、fft_length这些参数必须完全一致，否则还原的音频会失真。
• Griffin-Lim算法还原的音频和原音频会有一定差异，迭代次数越多差异越小，但计算成本也越高，一般50-200次足够。

内容的提问来源于stack exchange，提问作者Ricardo Reimao