OpenCV4.5.5调用TrackerKCF接口触发img.channels()==3断言失败报错

报错信息 #

运行基于OpenCV的左眼眨眼信息提取代码时抛出如下错误：

File "C:\Users\angjw\Dropbox\NUS\Blink detection\mov files\Leye blink info extractor_v2.py", line 368, in <module>
    ret, bbox = tracker.update(roi)

error: OpenCV(4.5.5) D:\a\opencv-python\opencv-python\opencv_contrib\modules\tracking\src\trackerKCF.cpp:688: error: (-215:Assertion failed) img.channels() == 3 in function 'cv::tracking::impl::TrackerKCFImpl::getSubWindow'

复现场景 #

• 相同代码在OpenCV 4.0版本下可正常运行，版本升级到4.5.5后触发报错
• 代码核心执行逻辑：
  • 逐帧读取指定区间的视频帧完成分析，初始化cv2.TrackerKCF_create()跟踪器后循环读取视频帧，截取对应坐标的ROI区域
  • 漂移校正触发规则：每间隔600帧（对应10秒时长）且未处于眨眼状态、或处理到分析区间起始帧时执行校正
  • 校正流程：对ROI依次执行cv2.cvtColor转灰度、7*7核cv2.GaussianBlur高斯模糊、反二值化处理，通过cv2.findContours查找面积最大的轮廓定位瞳孔位置，按1.25倍系数扩大跟踪框后重新初始化KCF跟踪器，调用tracker.update(roi)时触发上述报错

根因说明 #

OpenCV 4.5.x版本对tracking模块的KCF实现做了输入校验收紧：4.0版本KCF跟踪器兼容单通道灰度图、3通道彩色图输入，4.5.5版本开始init和update接口强制要求传入3通道BGR格式图像。
当前传入tracker.update()的roi是经过灰度、二值化处理后的单通道图像，不满足接口输入要求，直接触发通道数断言失败。

修复方案 #

• 优先方案：图像处理流程和跟踪器输入做拆分。灰度转换、高斯模糊、二值化、轮廓查找这些操作仅用来计算瞳孔位置、更新跟踪框坐标，tracker.update()传入的ROI直接从原始3通道彩色视频帧上截取，不要传入经过单通道处理后的图像。
• 兼容方案：如果必须传入处理后的图像，在调用tracker.update()前，用cv2.cvtColor(processed_roi, cv2.COLOR_GRAY2BGR)将单通道图像转换为3通道格式再传入，该方案会丢失原始彩色图像的特征信息，可能导致跟踪精度下降。

内容的提问来源于stack exchange，提问作者Ang Jit Wei Aaron