如何让Windows识别Python模拟的鼠标拖拽操作？

问题详情 #

我写了个控制鼠标的Python脚本，先后用了pynput、pyautogui、py32win（直接调用Winapi）三个库，都没法在Windows应用里执行拖拽操作。在Microsoft Paint和Microsoft Photos里试了拖拽缩放滑块、旋转图片滑块，全失败了。自己研究后觉得可能是安全层阻止模拟拖拽事件传到应用的事件处理程序，但不知道怎么解决。
奇怪的是鼠标点击功能正常，但鼠标悬停状态也识别不了。现在想找个安全简便的办法实现Windows应用自动化，目前拖拽在浏览器窗口里能正常工作，Windows应用不行。

已尝试无效的方法 #

方法1（pyautogui） #

pyautogui.dragTo(x, y)

方法2（pyautogui分步操作） #

pyautogui.mouseDown(x, y)
pyautogui.moveTo(x, y)
pyautogui.mouseUp(x, y)

方法3（Winapi直接调用） #

win32api.mouse_event(win32con.MOUSEEVENTF_LEFTDOWN, win32api.GetCursorPos()[0], win32api.GetCursorPos()[1], win32con.VK_LBUTTON, 0)
win32api.SetCursorPos((x, y))
win32api.mouse_event(win32con.MOUSEEVENTF_LEFTUP, win32api.GetCursorPos()[0], win32api.GetCursorPos()[1], win32con.VK_LBUTTON, 0)

可行解决方案 #

1. 用SendInput替代mouse_event（Winapi层面） #

mouse_event是旧API，很多现代Windows应用（尤其是UWP应用）会优先处理SendInput生成的输入，它更贴近真实硬件输入。示例代码：

import win32api
import win32con
import win32gui

def send_mouse_input(x, y, flags):
    input_mouse = win32gui.POINT()
    input_mouse.x = x
    input_mouse.y = y
    return win32api.INPUT(
        win32con.INPUT_MOUSE,
        win32api.MOUSEINPUT(x, y, 0, flags, 0, 0)
    )

# 拖拽流程：移动到起点→按下左键→移动到终点→松开左键
start_x, start_y = 100, 100
end_x, end_y = 300, 100

# 移动到起点
win32api.SetCursorPos((start_x, start_y))
# 按下左键
inputs = [send_mouse_input(start_x, start_y, win32con.MOUSEEVENTF_LEFTDOWN)]
win32api.SendInput(inputs)
# 移动到终点（用绝对坐标模式确保定位准确）
abs_x = int(end_x * 65535 / win32api.GetSystemMetrics(0))
abs_y = int(end_y * 65535 / win32api.GetSystemMetrics(1))
inputs = [send_mouse_input(abs_x, abs_y, win32con.MOUSEEVENTF_MOVE | win32con.MOUSEEVENTF_ABSOLUTE)]
win32api.SendInput(inputs)
# 松开左键
inputs = [send_mouse_input(end_x, end_y, win32con.MOUSEEVENTF_LEFTUP)]
win32api.SendInput(inputs)

2. 用pywinauto针对Windows应用自动化 #

pywinauto专门适配Windows应用，对UWP（比如Microsoft Photos）支持更好，无需模拟底层鼠标事件，直接操作控件：

from pywinauto import Application

# 连接到运行中的Microsoft Photos应用
app = Application(backend="uia").connect(title_re="Microsoft Photos")
# 定位滑块控件（可通过系统自带的inspect.exe查看控件信息）
slider = app.window(title_re="Microsoft Photos").child_control(type_name="Slider")
# 直接拖拽滑块
slider.drag_mouse(direction="right", press_ratio=0.5, duration=0.5)

3. 调整系统权限设置 #

• 以管理员权限运行Python脚本
• 临时关闭Windows Defender的应用控制（测试后记得恢复），避免安全软件拦截模拟输入

内容的提问来源于stack exchange，提问作者David