图像平均法提取前景掩码异常：仅获人物轮廓而非填充区域

我正在进行一项入门实践项目，旨在提取图像中的变化特征。思路是对视频所有帧取平均，使颜色趋近于背景（使用Mall数据集）。已通过2000帧平均得到无人物的背景图，代码如下：

import os
import cv2
import numpy as np
import matplotlib.pyplot as plt

img_names = sorted([os.path.join('mall_dataset/frames', f) for f in os.listdir('mall_dataset/frames')])[1:]
h, w, c = cv2.imread(img_names[0]).shape
accumulated = np.zeros((h, w, c), dtype=np.float64)
for fname in img_names:
  accumulated += cv2.imread(fname).astype(np.float64)
avg = accumulated / len(img_names)
avg = np.clip(avg, 0, 255).astype(np.uint8) - np.ones((h, w, c), dtype=np.uint8) * 5
plt.imshow(avg)

预期通过单帧与背景图的颜色差值阈值化生成人物填充掩码，但实际仅得到人物轮廓，实现代码如下：

map = np.full((h, w), False)
diffset = np.full((h, w, c), 0)
img = cv2.imread('mall_dataset/frames/seq_000023.jpg')
for i in range(len(map)):
  for j in range(len(map[i])):
    cdiff = np.abs(img[i,j]-avg[i,j])
    diffset[i,j] = cdiff #diffset was just for debugging
    if (cdiff<250).all(): #250 is the threshold here
      map[i,j] = True
plt.figure(figsize=(10,10))
plt.subplot(1, 3, 1)
plt.imshow(map * 255)
plt.subplot(1, 3, 2)
plt.imshow(img)
plt.subplot(1, 3, 3)
plt.imshow(avg)

核心问题分析 #

• 阈值设置完全不合理：250是接近像素最大值255的阈值，只有像素值几乎完全相反的区域才会不满足cdiff<250，而人物内部与背景的像素差值通常远小于这个数值，导致大部分人物区域被错误标记为背景。
• 判断逻辑颠倒：当前代码标记的是「与背景差值极小的区域」（即背景），但实际需要标记的是「与背景差值超过阈值的区域」（即人物）。
• 通道判断逻辑错误：使用(cdiff<250).all()要求三个通道的差值都小于阈值才标记，但人物区域往往只要有一个通道（比如红色、蓝色）差值超过阈值就属于前景，应该用any()而非all()。
• 低效的像素遍历：嵌套for循环遍历像素完全没必要，NumPy的向量运算能大幅提升效率。

修正后的代码 #

# 处理颜色空间问题：cv2.imread返回BGR，plt.imshow需要RGB
img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
avg_rgb = cv2.cvtColor(avg, cv2.COLOR_BGR2RGB)

# 用NumPy向量运算直接计算差值，替代循环
diff = np.abs(img_rgb - avg_rgb)
# 设置合理阈值（比如30），任一通道差值超过阈值则标记为前景
mask = (diff > 30).any(axis=2)

# 可视化
plt.figure(figsize=(10,10))
plt.subplot(1,3,1)
plt.imshow(mask.astype(np.uint8)*255, cmap='gray')
plt.title('人物掩码')
plt.subplot(1,3,2)
plt.imshow(img_rgb)
plt.title('原始帧')
plt.subplot(1,3,3)
plt.imshow(avg_rgb)
plt.title('背景图')
plt.show()

额外优化点 #

• 背景图生成时，建议先转RGB再平均，避免后续显示颜色偏差；
• 手动减5调暗背景的操作非必须，可根据需求选择保留；
• 可对生成的掩码做形态学操作（如膨胀+腐蚀），去除噪点并填充人物内部小空洞。

内容的提问来源于stack exchange，提问作者Yiffany Yei