OpenCvSharp4中灰度蒙版被识别为二进制蒙版的问题及解决方法

问题描述 #

拍摄图片后执行以下流程：边缘检测 → 边缘加粗 → 图像反转 → 高斯模糊，最终得到带有黑色模糊线条的白色图像（模糊区域有明显灰度过渡）。将该图像作为蒙版应用到基础图像时，蒙版被当作二进制蒙版（仅识别黑/白），模糊产生的灰度色调完全被忽略。

原因分析 #

你使用的Cv2.BitwiseAnd属于位运算，OpenCV中位运算的mask参数规则是：

• 仅判断像素值是否为0：非零像素（不管灰度值是1还是255）都会保留原图像素，零像素则屏蔽。
• 完全不识别灰度值的过渡，所以模糊产生的半透明灰度区域被直接当成完全不透明处理。

解决方法 #

要让蒙版识别灰度过渡，需要用加权混合替代位运算，核心思路是把蒙版的灰度值作为透明度权重，实现 overlay 图像与原图的平滑过渡：

1. 将蒙版从8位无符号整数（0-255）转换为32位浮点型（0-1），用于表示权重。
2. 将单通道蒙版扩展为4通道（与overlay/原图的BGRA格式匹配）。
3. 用蒙版权重对overlay图像进行加权，再与原图的反向权重图像相加，实现混合。

修改后的完整代码 #

' Load overlay image
Dim overlayBmp As New Bitmap("dust/dust1.png")

' Load the Image
Dim matImg As Mat = BitmapConverter.ToMat(fr_bm)

' Convert Image to Grayscale
Dim grayImg As New Mat()
Cv2.CvtColor(matImg, grayImg, ColorConversionCodes.BGR2GRAY)

' Detect Edges using the Canny Edge Detection Algorithm
Dim edgesImg As New Mat()
Cv2.Canny(grayImg, edgesImg, 100, 200)

' Apply Dilation to the Edge Detected Image
Dim dilatedImg As New Mat()
Dim element As Mat = Cv2.GetStructuringElement(MorphShapes.Ellipse, New Size(5, 5))
Cv2.Dilate(edgesImg, dilatedImg, element)

' invert the edges
Cv2.BitwiseNot(dilatedImg, dilatedImg)

' Apply Gaussian Blur to the Image
Dim blurMask As New Mat()
Cv2.GaussianBlur(dilatedImg, blurMask, New Size(21, 21), 0)

' --- 关键修改部分开始 ---
' 将蒙版转为浮点型并归一化到0-1范围
Dim maskFloat As New Mat()
blurMask.ConvertTo(maskFloat, MatType.CV_32F, 1.0 / 255.0)

' 扩展为4通道蒙版（匹配BGRA格式）
Dim mask4Channel As New Mat()
Cv2.Merge(New Mat() {maskFloat, maskFloat, maskFloat, maskFloat}, mask4Channel)

' Create a 4-Channel Mat from the Original Image
Dim originalMat As New Mat()
Cv2.CvtColor(BitmapConverter.ToMat(fr_bm), originalMat, ColorConversionCodes.BGR2BGRA)
originalMat.ConvertTo(originalMat, MatType.CV_32F)

' Create a 4-Channel Mat from the Overlay Image
Dim overlayMat As New Mat()
Cv2.CvtColor(BitmapConverter.ToMat(overlayBmp), overlayMat, ColorConversionCodes.BGR2BGRA)
overlayMat.ConvertTo(overlayMat, MatType.CV_32F)

' 基于蒙版灰度值的加权混合
Dim compositeMat1 As New Mat()
' overlay * mask + original * (1 - mask)
Cv2.Multiply(overlayMat, mask4Channel, overlayMat)
Cv2.Multiply(originalMat, Scalar.All(1.0) - mask4Channel, originalMat)
Cv2.Add(overlayMat, originalMat, compositeMat1)

' 转换回8位无符号整数格式
compositeMat1.ConvertTo(compositeMat1, MatType.CV_8UC4)
' --- 关键修改部分结束 ---

代码说明 #

• 把蒙版转成浮点型并归一化：确保灰度值（0-255）变成权重（0-1），0代表完全透明，1代表完全不透明，中间灰度对应半透明。
• 扩展为4通道：保证和BGRA格式的图像通道数一致，能逐通道进行加权运算。
• 加权混合公式：最终图像 = overlay图像 × 蒙版权重 + 原图 × (1 - 蒙版权重)，完美保留蒙版的灰度过渡效果。

内容的提问来源于stack exchange，提问作者sharkyenergy