You need to enable JavaScript to run this app.
最新活动
大模型
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们

ARKit眼动追踪校准红点与实际注视位置不匹配的原因及校准优化方法咨询

ARKit眼动追踪校准红点与实际注视位置不匹配的原因及校准优化方法咨询

嘿,我之前在做ARKit眼动追踪时也踩过几乎一模一样的坑,你的问题其实是新手做这个功能的典型问题,咱们一步步拆解原因,再给你针对性的优化方案:

一、校准不匹配的核心原因

1. 混合形状(BlendShape)的方向逻辑搞反了

ARKit的BlendShape值范围是0-1,0代表放松状态,1代表该动作的最大幅度,但你代码里的水平偏移计算符号完全反了,直接导致红点位置和实际注视方向颠倒:

  • 比如用户看屏幕左侧时,左眼会向外转(.eyeLookOutLeft值变大)、右眼向内转(.eyeLookInRight值变大),但你代码里的水平偏移计算会得到负数,最终让红点往右侧跑,完全和实际方向相反。

2. 忽略了个体眼部生理差异与噪声

每个人的眼动幅度、眼部结构都不一样,你用固定系数3.0 * center.x来映射混合形状值,肯定适配不了所有用户;而且单帧BlendShape值有噪声波动,直接用单帧数据计算会导致红点抖动、校准误差大。

3. 完全没考虑头部姿态的影响

你只看眼部的BlendShape,却忽略了头部转动的影响:比如用户头向右转,即使眼睛没动,实际注视的屏幕位置也会偏左,只靠眼部数据计算会产生明显偏移。

4. 校准流程的细节缺失

如果校准时只取单帧数据、校准点数量不足(比如少于5个)、没让用户保持头部稳定,哪怕模型再对,校准结果也会不准。


二、针对性优化方案与代码修正

1. 先修正BlendShape的方向计算逻辑

先明确每个BlendShape的物理含义,重新计算水平/垂直偏移:

动作含义(值越大越明显)对应屏幕方向
.eyeLookUpLeft左眼向上转屏幕上方(y减小)
.eyeLookOutLeft左眼向外转(看向左耳)屏幕左侧(x减小)
.eyeLookInRight右眼向内转(看向鼻子)屏幕左侧(x减小)

修正后的核心计算代码:

// 定义滑动窗口数组,用来做帧平均去噪声
var recentHorizontalValues: [Double] = []
var recentVerticalValues: [Double] = []
let slidingWindowSize = 10

func session(_ session: ARSession, didUpdate anchors: [ARAnchor]) {
    guard let face = anchors.first as? ARFaceAnchor else { return }
    let s = face.blendShapes

    // 1. 正确计算双眼的垂直偏移(向上为正)
    let leftVertical = (s[.eyeLookUpLeft]?.floatValue ?? 0) - (s[.eyeLookDownLeft]?.floatValue ?? 0)
    let rightVertical = (s[.eyeLookUpRight]?.floatValue ?? 0) - (s[.eyeLookDownRight]?.floatValue ?? 0)
    let rawVertical = (leftVertical + rightVertical) / 2.0

    // 2. 正确计算双眼的水平偏移(向左为正)
    let leftHorizontal = (s[.eyeLookOutLeft]?.floatValue ?? 0) - (s[.eyeLookInLeft]?.floatValue ?? 0)
    let rightHorizontal = (s[.eyeLookInRight]?.floatValue ?? 0) - (s[.eyeLookOutRight]?.floatValue ?? 0)
    let rawHorizontal = (leftHorizontal + rightHorizontal) / 2.0

    // 3. 滑动平均去噪声(取最近10帧的平均值)
    recentHorizontalValues.append(rawHorizontal)
    recentVerticalValues.append(rawVertical)
    if recentHorizontalValues.count > slidingWindowSize {
        recentHorizontalValues.removeFirst()
        recentVerticalValues.removeFirst()
    }
    let h = recentHorizontalValues.reduce(0, +) / Double(recentHorizontalValues.count)
    let v = recentVerticalValues.reduce(0, +) / Double(recentVerticalValues.count)

    // 4. 头部姿态补偿(简单版,可根据校准优化系数)
    let headEuler = face.transform.eulerAngles
    let yawCompensation = -headEuler.y * 0.5 // 头右转时,补偿向左的偏移
    let pitchCompensation = headEuler.x * 0.5 // 头低下时,补偿向上的偏移
    let compensatedH = h + yawCompensation
    let compensatedV = v + pitchCompensation

    // 5. 用校准得到的映射系数(替换固定系数)
    let screen = UIScreen.main.bounds
    let center = CGPoint(x: screen.midX, y: screen.midY)
    // 这里的a/b/d/e是校准后得到的个体专属系数,不是固定值
    let calibratedA: Double = 1200.0 // 水平映射系数(校准后得到)
    let calibratedE: Double = -1200.0 // 垂直映射系数(负号对应屏幕y轴向下)
    
    var gazeX = center.x + CGFloat(compensatedH * calibratedA)
    var gazeY = center.y + CGFloat(compensatedV * calibratedE)

    // 确保红点不会超出屏幕范围
    gazeX = max(0, min(screen.width, gazeX))
    gazeY = max(0, min(screen.height, gazeY))

    DispatchQueue.main.async {
        self.gazePoint = CGPoint(x: gazeX, y: gazeY)
    }
}

2. 优化校准流程与映射模型

  • 校准点设置:至少取5个校准点(左上、右上、左下、右下、中心),每个点让用户停留1-2秒,取这段时间内的BlendShape平均值作为样本,减少噪声影响。
  • 映射模型:不要用固定系数,而是用多元线性回归拟合校准样本,比如对每个样本(h, v, targetX, targetY),拟合出:
    targetX = a*h + b*v + c
    targetY = d*h + e*v + f
    
    你可以自己实现最小二乘法求解系数,或者用iOS的Accelerate框架做矩阵运算,效率更高。
  • 校准提示:必须提示用户校准过程中保持头部不动,避免头部姿态干扰样本数据。

3. 额外的细节优化

  • 确保开启眼动追踪:初始化ARFaceTrackingConfiguration时要设置configuration.isEyeTrackingEnabled = true
  • 限制使用距离:提示用户保持在相机20-50厘米范围内,太远/太近都会导致BlendShape精度下降。
  • 光线充足:TrueDepth相机在暗光下噪声极大,校准和使用时要保证环境光线充足。

按这些方法调整后,你的红点应该就能和实际注视位置精准对齐了,要是还有细节问题可以再聊!

火山引擎 最新活动