如何裁剪OpenCV实时视频流以限制Azure Kinect人体追踪区域

你的代码逻辑存在本质错误：Azure Kinect Body Tracker 调用bodyTracker.update()时如果不手动传入自定义捕获帧，会直接读取传感器输出的全量原始深度、IR帧跑推理，你之前用OpenCV做的掩码、抠图全是在彩色帧上做的，根本没有喂给追踪器。你代码最后把掩码后的image_area_2传给draw_bodies，只是修改了结果绘制的底图，完全不影响追踪器本身的检测逻辑，当然会把视野内所有人员都检测出来。
之前裁剪图像传入后崩溃属于正常现象：Body Tracker初始化时就绑定了传感器的标定参数，要求输入帧的分辨率、坐标系、像素格式和标定信息严格匹配，随意裁剪修改尺寸会直接破坏标定对应关系，必然触发程序崩溃。

不要尝试修改输入给Body Tracker的原始帧，在追踪结果输出后做区域过滤是稳定性最高、性能损耗最低的方案，完全不会出现崩溃、检测精度下降的问题，具体实现步骤：

• 正常调用bodyTracker.update()传入传感器原始捕获帧，不要做任何裁剪、掩码修改，拿到全视野的人体追踪结果
• 提取每个人体的稳定参考关键点（优先选骨盆、双脚这类不容易被遮挡的位置，不选手、头这类易晃动/遮挡的点），投影到彩色相机的2D像素坐标系，也可以直接用深度相机坐标系下的3D坐标
• 用提前定义好的区域多边形做几何判定：简单场景直接调用cv2.pointPolygonTest判断人体中心点是否落在多边形内即可；精度要求高的场景可以统计落在区域内的关键点占比，超过预设阈值才算进入区域，减少边缘位置误判
• 直接丢弃判定为区域外的人体结果，只保留区域内的结果做后续业务逻辑

import cv2
import numpy as np
import pykinect

# 预设的检测区域多边形
area_pts_2 = np.array([[340, 200], [1180, 200], [1070, 920], [650, 920]])

# 正常获取传感器原始帧，传入追踪器，不要修改原始输入帧
capture = device.get_capture(-1)
body_frame = bodyTracker.update(capture)
total_bodies = body_frame.get_num_bodies()

# 逐个人体做区域过滤，只保留区域内的有效人员
valid_bodies = []
for body_idx in range(total_bodies):
    body = body_frame.get_body(body_idx)
    # 取骨盆关键点作为人体位置参考，从深度坐标系转换到彩色相机2D坐标
    pelvis_joint = body.joints[pykinect.K4ABT_JOINT_PELVIS]
    pelvis_2d_pos = capture.calibration.convert_3d_to_2d(
        pelvis_joint.position,
        pykinect.K4A_CALIBRATION_TYPE_DEPTH,
        pykinect.K4A_CALIBRATION_TYPE_COLOR
    )
    px, py = int(pelvis_2d_pos.xy.x), int(pelvis_2d_pos.xy.y)
    # 判定点是否在检测区域内
    is_in_area = cv2.pointPolygonTest(area_pts_2, (px, py), False) >= 0
    if is_in_area:
        valid_bodies.append(body)

# 后续仅对valid_bodies内的区域内人员做绘制、统计等逻辑即可

• 需要降低算力消耗的话，可以直接配置SDK原生的深度检测范围阈值，把明显不在目标区域深度区间的内容提前排除，该参数为官方原生支持，不会破坏标定关系，也能减少无效推理开销
• 不要尝试修改深度帧给区域外填充无效值，这类操作很容易导致人体姿态估计断连、误检，稳定性远不如输出后过滤方案
• 场景透视畸变较大时，可以把区域坐标转换到3D深度空间做判定，比纯2D像素坐标判定的准确率高很多，可充分利用Kinect的深度数据能力

内容的提问来源于stack exchange，提问作者Vadci