如何使用Selenium Robot Framework自动化本地IE内核类浏览器应用？

针对你的场景，核心思路是结合桌面应用自动化工具与IE内核的Web自动化接口，因为Selenium本身无法直接识别自定义封装的IE内核App，但可以通过以下几种方案实现操控：

方案1：AutoIt + IE COM 接口（快速落地） #

既然你已经能用AutoIt启动App，可直接利用AutoIt的IE相关函数，通过COM接口操控App内部的IE内核DOM，同时在Robot Framework中整合这些操作：

操作步骤 #

1. 确保App的IE内核启用自动化：

   • 打开IE浏览器的「Internet选项」→「安全」，将所有区域的「允许活动内容在我的计算机上运行」勾选。
   • 修改注册表（管理员权限）：
     • HKCU\Software\Microsoft\Internet Explorer\Main\Disable Script Debugger (Internet Explorer) 设置为 0
     • HKCU\Software\Microsoft\Internet Explorer\Main\Disable Script Debugger (Other) 设置为 0

2. Robot Framework用例示例：

*** Settings ***
Library    AutoItLibrary

*** Test Cases ***
操控IE内核本地App
    # 启动目标App
    Run    "C:\你的App路径\App.exe"
    # 等待App窗口激活
    WinWaitActive    "你的App窗口标题"    30
    # 附加到App中的IE内核实例
    ${ie_obj}    AutoIt.RunScript    _IEAttach("你的App窗口标题", "title")
    # 导航到目标URL
    AutoIt.RunScript    _IENavigate(${ie_obj}, "https://example.com")
    # 等待页面加载完成
    AutoIt.RunScript    _IELoadWait(${ie_obj})
    # 定位元素并输入文本（按name属性定位）
    ${username_elem}    AutoIt.RunScript    _IEGetObjByName(${ie_obj}, "username")
    AutoIt.RunScript    _IEFormElementSetValue(${username_elem}, "test_account")
    # 点击按钮（按ID定位）
    ${submit_btn}    AutoIt.RunScript    _IEGetObjById(${ie_obj}, "submit-btn")
    AutoIt.RunScript    _IEAction(${submit_btn}, "click")

方案2：Selenium IEDriver 附加到已有IE实例（贴近原生Selenium体验） #

如果希望完全用Selenium的语法操控，可通过Windows API找到App中IE内核的实例，让IEDriver附加到该实例而非启动新的IE窗口：

操作步骤 #

1. 编写Python自定义关键字（用于Robot Framework调用）：

from selenium import webdriver
from selenium.webdriver.ie.options import Options
import win32com.client
import win32gui

def attach_to_app_ie_instance(app_window_title):
    # 找到App窗口句柄
    app_hwnd = win32gui.FindWindow(None, app_window_title)
    if not app_hwnd:
        raise ValueError(f"未找到标题为[{app_window_title}]的窗口")
    
    # 遍历所有活跃的IE实例，匹配App窗口的IE内核
    ie_instances = win32com.client.GetActiveObject("InternetExplorer.Application")
    target_ie = None
    for ie in ie_instances:
        if ie.HWND == app_hwnd:
            target_ie = ie
            break
    if not target_ie:
        raise ValueError("未找到App对应的IE内核实例")
    
    # 配置IEDriver选项，附加到已有实例
    ie_options = Options()
    ie_options.ignore_protected_mode_settings = True
    ie_options.attach_to_edge_chrome = False  # 禁用Edge兼容模式
    
    # 启动IEDriver并关联实例
    driver = webdriver.Ie(
        executable_path="C:\IEDriverServer路径\IEDriverServer.exe",
        options=ie_options
    )
    # 切换到目标IE实例的页面
    driver.switch_to.window(driver.window_handles[0])
    return driver

2. Robot Framework用例示例：

*** Settings ***
Library    SeleniumLibrary
Library    ./custom_ie_attach.py  # 导入自定义关键字

*** Test Cases ***
用Selenium操控IE内核App
    ${driver}    Attach To App IE Instance    "你的App窗口标题"
    # 用标准Selenium语法操作
    ${driver}.get("https://example.com")
    ${driver}.find_element_by_name("username").send_keys("test_account")
    ${driver}.find_element_by_id("submit-btn").click()
    # 关闭驱动
    ${driver}.quit()

方案3：WinAppDriver + AppiumLibrary（适配复杂桌面App场景） #

如果App有复杂的桌面UI（而非单纯的Web视图），可使用WinAppDriver（Windows应用自动化工具）定位App中的WebBrowser控件，再结合Web自动化操作：

操作步骤 #

1. 启动WinAppDriver：下载并运行WinAppDriver.exe（默认端口4723）。
2. Robot Framework用例示例：

*** Settings ***
Library    AppiumLibrary

*** Test Cases ***
WinAppDriver操控IE内核App
    # 配置App启动参数
    ${desired_caps}    Create Dictionary
    ...    app    C:\你的App路径\App.exe
    ...    platformName    Windows
    ...    deviceName    WindowsPC
    # 连接WinAppDriver并启动App
    Open Application    http://127.0.0.1:4723    desired_capabilities=${desired_caps}
    # 定位WebBrowser控件（需提前获取控件的Automation ID）
    ${web_control}    Find Element    xpath=//Control[@AutomationId='WebBrowserControl']
    # 切换到Web视图，用Selenium语法操作DOM
    Switch To Frame    ${web_control}
    Input Text    xpath=//input[@name='username']    test_account
    Click Element    xpath=//button[@id='submit-btn']
    # 关闭App
    Close Application

关键注意事项 #

• 确认App封装的IE内核版本与IEDriverServer版本匹配（建议使用IE11对应的IEDriver）。
• 如果App做了反自动化限制（比如禁用COM接口），可能需要联系开发者开放自动化权限，或改用图像识别工具（如SikuliX）补充操作。

内容的提问来源于stack exchange，提问作者Long Guan