无源码场景下读取Java GUI程序内容的技术实现咨询

Python 方案 #

1. pywinauto 识别Java控件 #

pywinauto 支持对Java Swing/SWT应用的后台控件识别，无需程序处于前台：

• 安装依赖：pip install pywinauto
• 核心步骤：
  • 通过进程ID或窗口标题连接目标应用：from pywinauto import Application; app = Application().connect(title="目标窗口标题")
  • 输出控件结构确认定位：app.window(title="目标窗口标题").print_control_identifiers()
  • 读取目标控件：
    • COM Port输入框：com_port = app.window().EditWrapper(name="COM Port控件名称").get_value()
    • Rmv复选框状态：rmv_checked = app.window().CheckBoxWrapper(name="Rmv").get_toggle_state() == 1
    • min值：min_val = app.window().EditWrapper(name="min").get_value()
  • 定时读取：用 time.sleep(5) 循环或 schedule 库实现每5秒执行一次读取并写入日志

2. 跨语言代理模式 #

若能了解目标Java应用的控件内部标识，可编写轻量Java程序，通过Java API获取控件状态，再通过Socket/本地管道将数据传给Python脚本，由Python负责定时拉取和日志记录。

Java 方案 #

1. Java Accessibility API 读取控件 #

Java自带的无障碍API可直接访问所有标准Swing/SWT控件属性，无需修改目标程序（多数Java GUI默认开启无障碍支持）：

• 核心逻辑：
  • 通过 Toolkit.getDefaultToolkit() 获取系统事件队列，监听无障碍事件
  • 遍历控件树找到目标控件：AccessibleContext context = window.getAccessibleContext();
  • 获取属性：
    • 复选框状态：context.getAccessibleStateSet().contains(AccessibleState.CHECKED)
    • 输入框文本：((AccessibleText) context.getAccessibleChild(index)).getTextRange(0, -1)
  • 定时任务：用 ScheduledExecutorService 实现每5秒一次的读取和日志输出

2. Java Agent 进程注入（进阶） #

若目标程序未开启无障碍支持，可编写Java Agent，在目标进程启动时注入，直接访问控件的内部变量，通过IPC（如本地Socket）将数据传出用于日志记录。

C# 方案 #

Windows UI Automation（UIA）实现 #

绕过FlaUI，直接使用底层UIA API识别Java控件：

• 引用 UIAComWrapper 库，通过 AutomationElement.RootElement 遍历控件树
• 定位目标控件：通过 ControlType（如 ControlType.Edit、ControlType.CheckBox）和 Name 属性匹配
• 获取属性：
  • 复选框状态：((TogglePattern)element.GetCurrentPattern(TogglePattern.Pattern)).Current.ToggleState == ToggleState.On
  • 输入框值：((ValuePattern)element.GetCurrentPattern(ValuePattern.Pattern)).Current.Value
• 定时读取：用 System.Timers.Timer 设置5秒间隔，触发读取和日志写入逻辑

通用注意事项 #

• 先确认目标Java应用的GUI框架（Swing/SWT），不同框架的控件识别细节略有差异
• 定时任务需注意线程安全，避免频繁IO操作占用过多资源
• 日志记录可直接写入本地文件，或使用对应语言的专业日志库（如Python logging、Java log4j2）

内容的提问来源于stack exchange，提问作者SrMilton