VirtualBox单元测试中鼠标控制异常问题求助

问题描述 #

通过vboxwebsrv控制VirtualBox虚拟机鼠标时，出现以下异常：

• 调用putMouseEventAbsolute(200,200)后，鼠标实际定位到199x199，存在微小偏差
• 接着调用putMouseEvent(10,10)，鼠标位置变为203x203，远未达到预期的210x210
• 重启测试后问题加剧，putMouseEventAbsolute直接失效，鼠标位置从203x203跳到208x208，重启vboxwebsrv也无法恢复

复现步骤 #

• 启动VirtualBox虚拟机
• 在虚拟机内运行xev监控鼠标事件
• 启动vboxwebsrv服务
• 填入vboxwebsrv凭证后执行测试代码：

VirtualBoxManager manager = VirtualBoxManager.createInstance(null);

private IVirtualBox connect() throws IOException, FileNotFoundException {
    manager.connect("http://localhost:18083", "user", "pass");
    return manager.getVBox();
}

public void testMousePos() throws Exception {
    IVirtualBox box = connect();
    for (IMachine machine : box.getMachines()) {
        if (machine.getState() == MachineState.Running) {
            ISession session = manager.getSessionObject();
            machine.lockMachine(session, LockType.Shared);
            try {
                IConsole console = session.getConsole();
                IMouse mouse = console.getMouse();
                mouse.putMouseEventAbsolute(200, 200, 0, 0, 0x00);
                mouse.putMouseEvent(10, 10, 0, 0, 0x00);
            } finally {
                session.unlockMachine();
            }
        }
    }
}

问题根源 #

1. 坐标系统误解：VirtualBox鼠标API的绝对/相对坐标范围是0-65535，而非虚拟机屏幕的像素坐标。直接传入像素值会被虚拟机按屏幕分辨率比例缩放，导致偏移。
2. 相对事件缩放误差：putMouseEvent的位移参数同样基于0-65535范围，按像素传入会导致实际位移远小于预期，叠加绝对坐标的偏差后出现累积错误。
3. 会话权限不足：使用LockType.Shared锁定虚拟机，可能导致鼠标状态无法及时同步，多次测试后出现状态脱节，造成绝对定位失效。

解决方案 #

1. 转换坐标到API要求的范围 #

先获取虚拟机屏幕分辨率，将像素坐标/位移转换为0-65535的比例值：

public void testMousePos() throws Exception {
    IVirtualBox box = connect();
    for (IMachine machine : box.getMachines()) {
        if (machine.getState() == MachineState.Running) {
            ISession session = manager.getSessionObject();
            // 使用Write锁确保状态同步权限
            machine.lockMachine(session, LockType.Write);
            try {
                IConsole console = session.getConsole();
                IMouse mouse = console.getMouse();
                IDisplay display = console.getDisplay();
                // 获取主屏幕分辨率
                int screenWidth = display.getScreenWidth(0);
                int screenHeight = display.getScreenHeight(0);

                // 转换绝对坐标：200px -> 0-65535范围
                int targetAbsX = (200 * 65535) / screenWidth;
                int targetAbsY = (200 * 65535) / screenHeight;
                mouse.putMouseEventAbsolute(targetAbsX, targetAbsY, 0, 0, 0x00);
                
                // 延迟确保事件处理完成
                Thread.sleep(50);

                // 转换相对位移：10px -> 0-65535范围
                int relX = (10 * 65535) / screenWidth;
                int relY = (10 * 65535) / screenHeight;
                mouse.putMouseEvent(relX, relY, 0, 0, 0x00);
            } finally {
                session.unlockMachine();
            }
        }
    }
}

2. 修复状态失效问题 #

如果出现绝对定位失效，可先发送一个0位移的相对事件同步状态，再执行定位：

// 同步鼠标状态
mouse.putMouseEvent(0, 0, 0, 0, 0x00);
Thread.sleep(20);
// 执行绝对定位
mouse.putMouseEventAbsolute(targetAbsX, targetAbsY, 0, 0, 0x00);

内容的提问来源于stack exchange，提问作者Grim