使用OpenCV和rembg处理视频帧去背景无效的问题求助

核心原因 #

rembg的remove()函数返回的是4通道RGBA格式图像（包含透明通道），但你通过cv2.VideoWriter创建的输出视频是基于原视频的3通道BGR格式，直接写入4通道帧会导致编码异常，最终输出视频中该区间帧无法正确呈现去背景效果。

修复步骤 #

1. 转换RGBA图像为3通道BGR格式

大部分视频格式不支持透明通道，需将去背景后的RGBA图像转换为3通道BGR，同时给透明区域填充背景色（示例用白色）：

• 需导入numpy处理图像通道合并
• 通过Alpha通道区分前景和背景，将透明区域替换为指定背景色

2. 修正帧计数逻辑（可选但关键）

cv2.CAP_PROP_POS_FRAMES返回的是下一次要读取的帧序号，并非当前已读取的帧号，直接用它判断会导致帧区间偏移，建议维护独立的帧计数器精准控制处理区间。

完整修复代码 #

import cv2
import numpy as np
from rembg import remove

# 读取输入视频
video = cv2.VideoCapture("D:\\frontloaderShort.mp4")
# 获取视频宽高与原帧率
w = int(video.get(cv2.CAP_PROP_FRAME_WIDTH))
h = int(video.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = video.get(cv2.CAP_PROP_FPS)

# 创建输出视频写入器（3通道BGR格式）
videoOut = cv2.VideoWriter(
    'FrontLoaderOut.avi',
    cv2.VideoWriter_fourcc('M','J','P','G'),
    fps,
    (w, h)
)
    
start_frame = 200
end_frame = 230
frame_count = 0

while True:
    success, frame = video.read()
    if not success:
        break
    frame_count += 1
    
    if start_frame <= frame_count <= end_frame:
        print('处理去背景')
        # 执行去背景操作
        bg_removed = remove(frame)
        # 拆分RGBA通道
        bgr = bg_removed[:, :, :3]
        alpha = bg_removed[:, :, 3]
        # 创建白色背景画布
        bg = np.full((h, w, 3), 255, dtype=np.uint8)
        # 合并前景与背景：alpha为0时显示背景，否则显示前景
        result = np.where(alpha[..., None] == 0, bg, bgr)
        # 预览并写入处理后的帧
        cv2.imshow("Frame", result)
        videoOut.write(result)
    else:
        print('保留原背景')
        cv2.imshow("Frame", frame)
        videoOut.write(frame)
    
    # 按ESC键可提前退出预览
    if cv2.waitKey(1) & 0xFF == 27:
        break

# 释放资源
video.release()
videoOut.release()
cv2.destroyAllWindows()

额外排查点 #

• 确认start_frame和end_frame在视频总帧数范围内：可通过video.get(cv2.CAP_PROP_FRAME_COUNT)查看总帧数
• 单独验证rembg功能：取单帧调用remove()后保存为图片，确认去背景效果正常
• 尝试更换编码器：如果MJPG编码有问题，可替换为cv2.VideoWriter_fourcc(*'XVID')或cv2.VideoWriter_fourcc(*'MP4V')（对应输出MP4格式）

内容的提问来源于stack exchange，提问作者jport