无应用源码时如何不依赖图像实现企业应用按钮点击自动化

你当前的场景不需要获取应用底层代码、元素标识符，有两类成熟方案可以直接落地，和你现有pyautogui的脚本逻辑兼容性很高：

方案1：OCR屏幕文本识别+坐标点击（适配所有桌面应用，包括自绘UI的自研程序） #

这是适配性最强的方案，只要按钮文本肉眼可见就能识别，完全不依赖应用的内部实现：

• 核心逻辑用轻量OCR库替代你现在的截图模板匹配：优先用PaddleOCR轻量模型，对常规UI字体、英文按钮文本的识别准确率远高于传统的Tesseract，识别结果会直接返回屏幕上每个文本块的像素坐标范围，不需要提前存任何按钮参考图。
• 实现流程：每次点击操作前先截取全屏或者应用窗口所在的固定区域，把截图传入OCR接口拿到所有文本块的内容和坐标，匹配你要点击的目标文本（建议加模糊匹配规则：忽略大小写、忽略前后空格、支持子串匹配，避免因为字体渲染、微小色差导致漏判），计算匹配到的文本块中心坐标，直接调用你已经在用的pyautogui.click()传入坐标完成点击即可。
• 性能优化：把应用窗口固定在屏幕指定位置、固定系统缩放比例和分辨率，缩小OCR识别的截图范围，单轮识别耗时可以控制在200ms以内，响应速度比截图模板匹配更快；如果有按钮置灰不可点的场景，可以搭配pyautogui的取色接口，判断按钮区域是可点击的主题色后再触发点击，降低误触率。

方案2：系统原生可访问性接口枚举元素（适配标准UI框架渲染的应用，稳定性更高） #

如果你的自研应用是用系统原生UI组件、Qt、Electron（开启可访问性支持）这类常规框架开发的，不需要碰应用代码，直接调用系统自带的UI自动化接口就能读到按钮文本，抗窗口位移、分辨率变化的能力比OCR更强：

• Windows环境用pywinauto的UIA后端，启动后枚举桌面顶层窗口找到目标应用，递归遍历窗口下的所有UI元素，直接读取元素的显示文本属性，匹配到目标文本后直接调用元素自带的click()方法即可，不需要手动计算坐标。如果遇到完全自绘的DirectUI类程序读不到元素属性，直接切回OCR方案就行。
• macOS环境用pyobjc调用系统自带的Accessibility API，逻辑和Windows端一致，只需要给脚本开系统辅助功能权限，就能遍历到应用内所有带文本的UI元素完成点击。

注意：不要用进程注入、内存Hook这类方式获取按钮信息，企业终端安全软件一般会拦截这类高风险操作，上面两类方案都是模拟正常用户的屏幕操作/系统标准接口调用，和你现在用pyautogui的权限要求一致，不会触发安全告警。

最小实现代码示例（OCR+pyautogui版本） #

import pyautogui
from paddleocr import PaddleOCR

# 初始化轻量英文OCR模型，首次运行会自动下载本地模型
ocr = PaddleOCR(use_angle_cls=False, lang="en", show_log=False)

def click_target_text(target_text: str, fuzzy_match: bool = True) -> bool:
    # 截取当前屏幕
    screen_capture = pyautogui.screenshot()
    # 识别所有屏幕文本
    ocr_result = ocr.ocr(screen_capture, cls=False)
    if not ocr_result or not ocr_result[0]:
        return False
    # 遍历匹配目标文本
    for text_block in ocr_result[0]:
        block_pos, (block_text, _) = text_block
        processed_text = block_text.strip().lower()
        processed_target = target_text.strip().lower()
        is_matched = (processed_target in processed_text) if fuzzy_match else (processed_text == processed_target)
        if is_matched:
            # 计算文本块中心坐标
            (x1, y1), (x2, y2), _, _ = block_pos
            center_x = int((x1 + x2) / 2)
            center_y = int((y1 + y2) / 2)
            pyautogui.click(center_x, center_y)
            return True
    return False

# 业务调用示例
click_target_text("continue")
click_target_text("ok")

内容的提问来源于stack exchange，提问作者eddyferreira7