使用ThreeJS、ReadyPlayerMe等驱动Avatar的姿态错误求助
问题:MediaPipe+Kalidokit驱动ReadyPlayerMe虚拟形象时姿态异常
我使用ThreeJS、Kalidokit结合MediaPipe Holistic Pose来驱动ReadyPlayerMe虚拟形象,已实现可运行的示例,但姿态估计代码存在问题——参考Kalidokit官方示例编写后,出现手臂方向反转、腿部上抬异常的情况:

相关代码如下:
let riggedPose = Kalidokit.Pose.solve(poselm3D, poselm,{runtime:'mediapipe',video: $('#mediapipe-video')[0]}) if (!riggedPose) { return; } this.rigRotation('Hips', riggedPose.Hips.rotation, 0.7) this.rigPosition('Hips', { x: -riggedPose.Hips.position.x, // Reverse direction y: riggedPose.Hips.position.y + 1, // Add a bit of height z: -riggedPose.Hips.position.z // Reverse direction }, 1, 0.07) this.rigRotation('Chest', riggedPose.Spine, 0.25, 0.3) this.rigRotation('Spine', riggedPose.Spine, 0.45, 0.3) this.rigRotation('RightUpperArm', riggedPose.RightUpperArm, 1, 0.3) this.rigRotation('RightLowerArm', riggedPose.RightLowerArm, 1, 0.3) this.rigRotation('LeftUpperArm', riggedPose.LeftUpperArm, 1, 0.3) this.rigRotation('LeftLowerArm', riggedPose.LeftLowerArm, 1, 0.3) this.rigRotation('LeftUpperLeg', riggedPose.LeftUpperLeg, 1, 0.3) this.rigRotation('LeftLowerLeg', riggedPose.LeftLowerLeg, 1, 0.3) this.rigRotation('RightUpperLeg', riggedPose.RightUpperLeg, 1, 0.3) this.rigRotation('RightLowerLeg', riggedPose.RightLowerLeg, 1, 0.3)
我怀疑是ReadyPlayerMe(RPM)模型绑定方式不同导致此问题,希望有人帮忙定位错误并修正。
内容的提问来源于stack exchange,提问作者Jean-Philippe Encausse
相关产品推荐
相关产品推荐

