如何用TensorFlow实现图像目标检测？已训练模型如何实时处理视频？

一、图像目标检测实现步骤 #

• 环境配置
  安装核心依赖，执行命令：
  pip install tensorflow opencv-python pillow
  若使用GPU加速，需对应安装CUDA、cuDNN及GPU版TensorFlow。
• 模型选择与加载
  • 新手可直接使用预训练模型：比如TensorFlow官方Object Detection API提供的SSD MobileNet、Faster R-CNN等，或导出为SavedModel格式的自定义训练模型，用tf.saved_model.load("模型路径")加载。
• 图像预处理
  将输入图像调整为模型要求的尺寸，并做归一化处理，示例代码：

  import tensorflow as tf
  def preprocess_image(image):
      image = tf.image.resize(image, (300, 300))  # 匹配模型输入尺寸
      image = tf.cast(image, tf.float32) / 255.0
      return tf.expand_dims(image, 0)  # 添加batch维度
  

• 推理与结果解析
  输入预处理后的图像，获取检测结果并解析：

  model = tf.saved_model.load("saved_model_dir")
  detections = model(preprocessed_image)
  # 提取核心检测数据
  boxes = detections['detection_boxes'][0].numpy()
  scores = detections['detection_scores'][0].numpy()
  classes = detections['detection_classes'][0].numpy()
  

• 结果可视化
  用OpenCV将检测框和标签绘制在原图上：

  import cv2
  for i in range(len(scores)):
      if scores[i] > 0.5:  # 过滤低置信度结果
          ymin, xmin, ymax, xmax = boxes[i]
          h, w, _ = original_image.shape
          # 转换为像素坐标
          x1, y1 = int(xmin*w), int(ymin*h)
          x2, y2 = int(xmax*w), int(ymax*h)
          cv2.rectangle(original_image, (x1,y1), (x2,y2), (0,255,0), 2)
          cv2.putText(original_image, f"Class {int(classes[i])}: {scores[i]:.2f}", 
                      (x1,y1-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0,255,0), 2)
  cv2.imshow("Detection Result", original_image)
  

二、实时视频/摄像头检测实现 #

无需将视频转成单帧文件，可直接读取视频流实时处理，核心代码示例：

import tensorflow as tf
import cv2

# 加载训练好的模型
model = tf.saved_model.load("saved_model_dir")

# 初始化视频捕获：参数为视频文件路径，或0（电脑内置摄像头）
cap = cv2.VideoCapture("test_video.mp4")

# 用tf.function加速推理
@tf.function
def run_inference(image):
    return model(image)

while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break  # 视频读取完毕或出错
    
    # 预处理帧
    preprocessed = preprocess_image(frame)
    # 推理
    detections = run_inference(preprocessed)
    # 解析并绘制结果
    boxes = detections['detection_boxes'][0].numpy()
    scores = detections['detection_scores'][0].numpy()
    classes = detections['detection_classes'][0].numpy()
    
    h, w, _ = frame.shape
    for i in range(len(scores)):
        if scores[i] > 0.5:
            ymin, xmin, ymax, xmax = boxes[i]
            x1, y1 = int(xmin*w), int(ymin*h)
            x2, y2 = int(xmax*w), int(ymax*h)
            cv2.rectangle(frame, (x1,y1), (x2,y2), (0,255,0), 2)
            cv2.putText(frame, f"Obj {int(classes[i])}: {scores[i]:.2f}", 
                        (x1,y1-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0,255,0), 2)
    
    # 实时显示
    cv2.imshow("Real-Time Detection", frame)
    # 按下q键退出
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# 释放资源
cap.release()
cv2.destroyAllWindows()

实时检测优化技巧 #

• 用tf.function装饰推理函数，通过静态图编译提升计算速度。
• 降低输入帧的分辨率（如从1080p降到720p），减少模型计算量。
• GPU环境下，可将模型转换为TensorRT格式，进一步加速推理。

内容的提问来源于stack exchange，提问作者Conor Delaney