iOS应用中DockKit追踪随变焦倍数增大出现异常抖动问题

嘿，我看你遇到的这个DockKit追踪随变焦增大抖动的问题，其实挺常见的，主要是变焦后几个关键环节没跟上节奏导致的，我来给你捋捋可能的原因和对应的解决办法：

为什么会出现这个问题？ #

• Bounding Box精度下降：变焦（尤其是数字变焦）本质是裁剪并放大画面，摄像头的有效像素密度被压缩，导致主体检测出的bounding box会出现微小的随机跳动，而你的追踪逻辑直接用原始跳动数据驱动支架，就会产生类似钟摆的抖动。
• 响应灵敏度与变焦不匹配：高变焦下，镜头的微小移动都会让画面里的主体位置发生明显变化，如果还是用低变焦时的灵敏度来驱动支架，一点点的bounding box偏移就会触发大幅度的支架移动，来回修正就抖起来了。
• 缺少数据平滑处理：没有对连续的bounding box数据做滤波，每次都用最新的原始数据发送指令，自然会把检测时的微小波动放大成支架的抖动。

具体的解决步骤 #

结合你提供的代码片段，我们可以从这几个方向修改你的追踪逻辑：

1. 对Bounding Box做归一化处理

把绝对像素的bounding box转换成相对于摄像头视野的比例值，这样不管变焦倍数怎么变，偏移的参考基准都是一致的，波动会更稳定：

// 计算相对于画面中心的归一化偏移（范围[-0.5, 0.5]）
let newOffsetX = (boundingBox.midX / referenceDimensions.width) - 0.5
let newOffsetY = (boundingBox.midY / referenceDimensions.height) - 0.5

2. 添加滑动平均滤波，过滤高频抖动

维护一个最近几次的偏移值数组，取平均值来计算移动指令，过滤掉瞬间的微小波动：

// 在你的类里定义两个私有变量存储历史数据
private var recentOffsets: [(x: Double, y: Double)] = []
private let maxHistoryCount = 3 // 可根据实际情况调整，数值越大平滑效果越强

// 在trackSubject函数里更新并计算平均偏移
recentOffsets.append((x: newOffsetX, y: newOffsetY))
if recentOffsets.count > maxHistoryCount {
    recentOffsets.removeFirst()
}
let averageOffsetX = recentOffsets.reduce(0) { $0 + $1.x } / Double(recentOffsets.count)
let averageOffsetY = recentOffsets.reduce(0) { $0 + $1.y } / Double(recentOffsets.count)

3. 根据变焦倍数动态调整灵敏度

高变焦时降低支架的响应幅度，避免小偏移触发大移动：

let sensitivity = 1.0 / currentZoomFactor // 变焦越高，灵敏度越低
let panOffset = averageOffsetX * sensitivity
let tiltOffset = averageOffsetY * sensitivity

4. 设置最小偏移阈值，跳过无效移动

只有当偏移量超过一定阈值时才发送移动指令，避免因为微小波动频繁触发支架动作：

private let minThreshold = 0.02 // 可根据实际情况调整

// 在计算完平均偏移后判断
guard abs(averageOffsetX) > minThreshold || abs(averageOffsetY) > minThreshold else {
    return // 偏移太小，不触发移动
}

修改后的完整追踪函数示例 #

private var recentOffsets: [(x: Double, y: Double)] = []
private let maxHistoryCount = 3
private let minThreshold = 0.02

func trackSubject(_ boundingBox: CGRect, _ dockAccessory: DockAccessory) async throws {
    guard let device = AVCaptureDevice.default(for: .video),
          let _ = try? AVCaptureDeviceInput(device: device) else {
        fatalError("Camera not available")
    }
    
    let currentZoomFactor = device.videoZoomFactor
    let dimensions = device.activeFormat.formatDescription.dimensions
    let referenceDimensions = CGSize(width: CGFloat(dimensions.width), height: CGFloat(dimensions.height))
    
    let cameraOrientation: DockAccessory.CameraOrientation = .landscapeRight
    
    // 1. 归一化偏移计算
    let newOffsetX = (boundingBox.midX / referenceDimensions.width) - 0.5
    let newOffsetY = (boundingBox.midY / referenceDimensions.height) - 0.5
    
    // 2. 滑动平均滤波
    recentOffsets.append((x: newOffsetX, y: newOffsetY))
    if recentOffsets.count > maxHistoryCount {
        recentOffsets.removeFirst()
    }
    let averageOffsetX = recentOffsets.reduce(0) { $0 + $1.x } / Double(recentOffsets.count)
    let averageOffsetY = recentOffsets.reduce(0) { $0 + $1.y } / Double(recentOffsets.count)
    
    // 3. 跳过微小偏移
    guard abs(averageOffsetX) > minThreshold || abs(averageOffsetY) > minThreshold else {
        return
    }
    
    // 4. 动态调整灵敏度
    let sensitivity = 1.0 / currentZoomFactor
    let panOffset = averageOffsetX * sensitivity
    let tiltOffset = averageOffsetY * sensitivity
    
    // 5. 执行支架移动（根据DockKit实际API调整方法名和参数）
    try await dockAccessory.adjustPan(by: panOffset, tilt: tiltOffset, orientation: cameraOrientation)
}

额外的调试建议 #

• 可以在控制台打印每次的boundingBox、averageOffsetX/Y、currentZoomFactor，观察抖动发生时这些数值的变化规律，确认是检测数据抖动还是支架响应的问题。
• 分别在1x、2x、5x等不同变焦倍数下测试，验证抖动程度是否和变焦正相关，进一步定位问题根源。
• 调整maxHistoryCount和minThreshold的数值：如果画面抖动厉害，就增大maxHistoryCount；如果支架还是有微小抖动，就提高minThreshold。

备注：内容来源于stack exchange，提问作者andreas.teich