TensorFlow Object Detection API可视化函数失效求助

根据你描述的场景——变量boxes/scores/classes都有有效值，但调用visualize_boxes_and_labels_on_image_array后图片无检测框，结合你的TF1.4.0+OpenCV环境，大概率是颜色空间不匹配或得分阈值设置的问题，下面给你逐一分析解决：

1. 颜色空间不匹配（最可能的核心原因） #

OpenCV的cv2.imread()读取的图片是BGR格式，但TensorFlow Object Detection的可视化函数默认基于RGB格式处理图像。即使函数在RGB图上画出了框，你直接用CV2显示返回的图像时，CV2会把它当成BGR解析，要么框的颜色异常到几乎看不见，要么视觉上和原图无差异。

解决方案： #

在可视化前将BGR转RGB，显示时再转回BGR适配OpenCV：

def detect(self, image):
    # 先把OpenCV读取的BGR图转成RGB格式
    image_rgb = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
    with self.detection_graph.as_default():
        with tf.Session(graph=self.detection_graph) as sess:
            # 用RGB图喂模型推理
            image_np_expanded = np.expand_dims(image_rgb, axis=0)
            image_tensor = self.detection_graph.get_tensor_by_name('image_tensor:0')
            boxes = self.detection_graph.get_tensor_by_name('detection_boxes:0')
            scores = self.detection_graph.get_tensor_by_name('detection_scores:0')
            classes = self.detection_graph.get_tensor_by_name('detection_classes:0')
            num_detections = self.detection_graph.get_tensor_by_name('num_detections:0')
            
            (boxes, scores, classes, num_detections) = sess.run(
                [boxes, scores, classes, num_detections],
                feed_dict={image_tensor: image_np_expanded})
            
            # 基于RGB图执行可视化
            image_rgb_with_boxes = vis_util.visualize_boxes_and_labels_on_image_array(
                image_rgb,
                np.squeeze(boxes),
                np.squeeze(classes).astype(np.int32),
                np.squeeze(scores),
                self.category_index,
                use_normalized_coordinates=True,
                line_thickness=50,
                score_threshold=0.3  # 主动调低阈值，确保低得分框也能显示
            )
            # 转回BGR格式给OpenCV显示
            image_bgr_with_boxes = cv2.cvtColor(image_rgb_with_boxes, cv2.COLOR_RGB2BGR)
            cv2.namedWindow("detection")
            cv2.imshow("detection", image_bgr_with_boxes)
            cv2.waitKey(0)

2. 得分阈值过高 #

visualize_boxes_and_labels_on_image_array默认的score_threshold是0.5，如果你的检测得分低于这个值，函数会自动过滤掉这些框。即使你看到scores有有效值，也可能因为没达到阈值而不显示。

解决方案： #

在调用函数时显式设置更低的阈值（比如上面代码里的score_threshold=0.3），先验证是否是阈值导致的问题，后续再根据实际需求调整。

3. 验证检测框坐标有效性 #

虽然你说boxes有有效值，但可以手动打印前几个框的坐标，确认它们是0-1之间的归一化值（因为你设置了use_normalized_coordinates=True）。如果坐标超出0-1范围，函数也无法正确画出框：

print("前5个检测框坐标：", np.squeeze(boxes)[:5])

我之前在TF1.x版本里遇到过完全一样的问题，就是OpenCV的BGR和TF可视化的RGB格式不匹配导致的，调整颜色空间后就正常显示检测框了。你可以先试第一个方案，应该能解决问题。

内容的提问来源于stack exchange，提问作者喻润洋