FFmpeg生成HLS流时画面分屏、音频失真问题求助

核心问题根源 #

画面分块、音频失真的本质问题是FFmpeg输入的音视频数据格式/尺寸不匹配、时间戳不同步，或管道传输时帧数据对齐错误，导致编码解析异常。

分步修复步骤 #

1. 统一视频帧的尺寸与像素格式 #

cv2读取的帧默认是BGR格式，且若帧宽高为奇数，会触发FFmpeg编码错误导致画面分块：

• 强制将帧尺寸调整为偶数分辨率（如1280×720）
• 转换BGR为FFmpeg兼容的RGB格式，避免色彩空间不匹配

修改代码中帧处理逻辑：

# 强制调整为偶数分辨率
frame = cv2.resize(frame, (1280, 720))
# 转换BGR到RGB色彩空间
frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
# 写入管道前确保数据是连续字节流
process.stdin.write(frame_rgb.tobytes())
process.stdin.flush()

2. 修正FFmpeg命令参数 #

必须明确指定输入的音视频格式参数，避免FFmpeg自动推断出错：

ffmpeg -y \
# 视频输入配置：raw格式、RGB24像素、1280×720分辨率、30fps
-f rawvideo -vcodec rawvideo -pix_fmt rgb24 -s 1280x720 -r 30 -i pipe:0 \
# 音频输入配置：32位浮点、44.1kHz采样率、双声道
-f f32le -ar 44100 -ac 2 -i pipe:1 \
# 编码配置：H264视频、AAC音频，适配HLS
-c:v libx264 -preset fast -crf 23 -c:a aac -b:a 128k \
# HLS输出配置：2秒分段、保留最近10个分段、自动清理旧分段
-hls_time 2 -hls_list_size 10 -hls_flags delete_segments output.m3u8

3. 严格对齐音视频时间戳 #

音视频数据量不匹配会导致时间轴错位，引发音频失真：

• 计算每帧视频对应的音频样本数：以30fps、44.1kHz采样率为例，每帧对应44100 // 30 = 1470个样本
• 确保每次写入的音频数据量与视频帧数严格对应，避免管道数据堆积

4. 保证管道写入的原子性 #

避免部分写入导致帧数据损坏：

# 确保完整写入一帧视频数据
total_bytes = frame_rgb.nbytes
written_bytes = 0
while written_bytes < total_bytes:
    chunk = frame_rgb.tobytes()[written_bytes:]
    written_bytes += process.stdin.write(chunk)
process.stdin.flush()

# 写入对应时长的音频数据
audio_samples_per_frame = 44100 // 30
audio_chunk = audio_array[current_sample:current_sample+audio_samples_per_frame]
process.stdin.write(audio_chunk.tobytes())
process.stdin.flush()
current_sample += audio_samples_per_frame

5. 排查FFmpeg错误日志 #

查看FFmpeg的stderr输出，里面会明确提示编码错误（如缓冲区大小不匹配、格式不兼容），根据提示快速定位问题，例如：

[rawvideo @ 0x123456] Invalid buffer size, packet size 12345 < expected 2764800 (1280x720x3)

内容的提问来源于stack exchange，提问作者Kaustubh Sonawane