TensorFlow 2对象检测中如何在推理前获取提议区域坐标
实现方案
核心原理
当前使用的*detect_fn*是TensorFlow Object Detection API导出的端到端封装函数,默认将RPN(区域提议网络)、ROI特征提取、分类与框回归头全部打包为单一调用入口,未在serving签名中暴露RPN环节的中间输出,因此无法直接通过原有调用逻辑获取区域提议坐标。拆分流程的核心思路是从模型计算图中抽取RPN层的输出张量,通过内置解码逻辑还原提议区域坐标,再将后续推理环节独立拆分。
具体实现步骤
1. 替换默认模型加载逻辑
放弃原有教程中直接取serving_default签名生成detect_fn的加载方式,直接加载完整SavedModel,从计算图中定位RPN层的输出节点:
# 原有加载方式(仅输出最终检测结果) # detect_fn = loaded_model.signatures['serving_default'] # 替换为完整模型加载 loaded_model = tf.saved_model.load("你的检测模型存储路径") graph = loaded_model.graph
从计算图中获取两类RPN核心输出:
rpn_box_encodings:RPN输出的相对于锚框的候选位置编码rpn_objectness_scores:RPN输出的每个候选区域的前景置信度
2. 区域提议坐标解码
复用Object Detection API内置的编解码工具,将RPN输出的编码值转换为图像上的实际归一化坐标:
from object_detection.utils import ops as utils_ops import numpy as np def get_rpn_proposals(input_tensor, graph, anchor_config): # 从计算图中定位RPN层与锚框生成节点 rpn_boxes = graph.get_tensor_by_name('StatefulPartitionedCall:0') # 按实际图中节点名替换 rpn_scores = graph.get_tensor_by_name('StatefulPartitionedCall:1') # 按实际图中节点名替换 anchor_boxes = graph.get_tensor_by_name('AnchorGenerator:0') # 锚框生成节点 # 运行计算,获取RPN原始输出 with tf.compat.v1.Session(graph=graph) as sess: out_boxes, out_scores, out_anchors = sess.run( [rpn_boxes, rpn_scores, anchor_boxes], feed_dict={"input_tensor:0": input_tensor} ) # 解码候选框坐标 decoded_proposals = utils_ops.batch_decode_boxes( out_boxes, out_anchors, scale_factors=anchor_config['scale_factors'] ) decoded_proposals = np.clip(decoded_proposals, 0, 1) # 按RPN置信度做NMS过滤,保留固定数量的候选提议 selected_idx = tf.image.non_max_suppression( decoded_proposals[0], out_scores[0], max_output_size=1000, iou_threshold=0.7 ) final_proposals = tf.gather(decoded_proposals[0], selected_idx).numpy() return final_proposals
3. 拆分独立推理环节
- 区域提议环节:输入图像仅计算骨干网络特征、RPN前向传播,输出过滤后的候选区域坐标,无后续检测头的计算开销
- 正式推理环节:将上一步获取的候选区域坐标作为输入,送入ROI特征提取与检测头,完成最终的类别预测与框位精修,无需重复计算RPN部分
优化建议
- 若使用自行训练的模型,在导出SavedModel阶段可直接在pipeline配置中开启
write_raw_detection_tensors选项,将RPN输出直接加入serving签名的返回值,无需加载后从计算图手动定位节点,稳定性更高 - 不同检测架构(Faster R-CNN、Cascade R-CNN)的RPN张量命名、解码逻辑存在差异,需以对应训练配置中的参数为准,避免自行编写解码逻辑导致坐标计算偏差
- 解码后的提议区域为0-1范围的归一化坐标,与原有代码中检测框的坐标格式完全对齐,可直接使用
viz_utils绘制核对效果
内容的提问来源于stack exchange,提问作者Esteban
相关产品推荐
相关产品推荐

