如何为视频添加透明背景？Python代码维度不匹配报错求助

问题概述 #

使用Python结合OpenCV、TensorFlow、MoviePy库为视频添加透明背景时，触发维度不匹配的ValueError，报错信息如下：

1/1 [==============================] - 3s 3s/step
(1280, 720, 3)
(5120, 720, 4)
Traceback (most recent call last):
  File "/Users/sotsys207/Downloads/Remove-Background-from-Video-using-TensorFlow-main/run.py", line 90, in <module>
    final_frame = masked_frame + background_mask
ValueError: operands could not be broadcast together with shapes (1,1280,720,3) (5120,720,4) 

报错原因分析 #

从报错的形状信息可以定位两个核心错误：

1. 多余的Batch维度：masked_frame被错误添加了Batch维度（形状(1,1280,720,3)），与无Batch维度的background_mask无法对齐。
2. 错误的通道拼接方向：background_mask在**高度方向（axis=-3）**重复拼接4次，导致高度变为原尺寸的4倍（1280×4=5120），同时错误生成4通道，与masked_frame的3通道不匹配。

修复步骤 #

• 移除多余的Batch维度：删除masked_frame = np.expand_dims(masked_frame, axis=0)这一行，让masked_frame保持原帧的(h, w, 3)形状。
• 正确构建RGBA格式的透明帧：将RGB原图转为RGBA四通道格式，用模型输出的mask控制Alpha通道——前景区域Alpha设为255（完全不透明），背景区域设为0（完全透明）。

完整修复代码 #

import os
os.environ["TF_CPP_MIN_LOG_LEVEL"] = "2"

import numpy as np
import cv2
import tensorflow as tf
from tensorflow.keras.utils import CustomObjectScope
from metrics import dice_loss, dice_coef, iou
from moviepy.editor import ImageSequenceClip

""" Global parameters """
H = 512
W = 512

""" Creating a directory """
def create_dir(path):
    if not os.path.exists(path):
        os.makedirs(path)

if __name__ == "__main__":
    """ Seeding """
    np.random.seed(42)
    tf.random.set_seed(42)

    """ Directory for storing files """
    create_dir("processed_videos")
    create_dir("frames")

    """ Loading model: DeepLabV3+ """
    with CustomObjectScope({'iou': iou, 'dice_coef': dice_coef, 'dice_loss': dice_loss}):
        model = tf.keras.models.load_model("model.h5")

    """ Video Path """
    video_path = "videos/in1.mp4"

    """ Reading frames """
    vs = cv2.VideoCapture(video_path)
    _, frame = vs.read()
    h, w, _ = frame.shape
    vs.release()

    cap = cv2.VideoCapture(video_path)
    idx = 0
    while True:
        ret, frame = cap.read()
        if ret == False:
            cap.release()
            break

        h, w, _ = frame.shape
        ori_frame = frame
        frame = cv2.resize(frame, (W, H))
        frame = np.expand_dims(frame, axis=0)
        frame = frame / 255.0

        mask = model.predict(frame)[0]
        mask = cv2.resize(mask, (w, h))
        mask = mask > 0.5
        mask = mask.astype(np.uint8)  # 转为0/255的uint8格式
        mask = np.expand_dims(mask, axis=-1)

        # 将原图转为RGBA格式，新增Alpha通道
        rgba_frame = cv2.cvtColor(ori_frame, cv2.COLOR_BGR2RGBA)
        # 用mask设置Alpha通道：前景不透明，背景透明
        rgba_frame[:, :, 3] = mask * 255

        # 保存带透明背景的PNG帧
        cv2.imwrite(f"frames/{idx}.png", rgba_frame)
        idx += 1

    # 用MoviePy将PNG序列合成带透明的WebM视频（支持透明格式）
    clip = ImageSequenceClip("frames", fps=30)
    clip.write_videofile("processed_videos/output_transparent.webm", codec="vp9")

关键说明 #

• OpenCV视频输出限制：OpenCV的VideoWriter不支持带透明通道的视频格式（如AVI、MP4），因此建议先保存PNG序列，再用MoviePy合成支持透明的WebM格式视频。
• Mask处理优化：将mask转为uint8格式（0/255），直接作为Alpha通道的值，避免浮点运算的精度问题。

内容的提问来源于stack exchange，提问作者Anonymous