使用UI Automator/Espresso测试自定义软键盘：如何精准点击按键？

我之前做自定义软键盘的自动化测试时，也踩过和你一模一样的坑——用文本定位按键死活找不到，坐标点击又太脆弱，直接typeText()或者uiObject.text = "text"完全跳过了键盘交互，根本满足不了测试需求。分享几个我亲测有效的方案，帮你精准定位键盘按键：

1. 换用Content Description或资源ID定位（UiAutomator/Espresso通用） #

很多自定义键盘的按键并不会把字符设置成TextView的text属性（比如为了多语言适配、用图标代替文字，或者做无障碍优化），而是把按键标识存在contentDescription里，或者有专属的资源ID。你可以试试这两种定位方式：

UiAutomator 代码示例： #

val device = UiDevice.getInstance(InstrumentationRegistry.getInstrumentation())

// 用content-desc定位Q键
val qKeyByDesc = device.findObject(By.desc("Q"))
if (qKeyByDesc.exists()) {
    qKeyByDesc.click()
}

// 如果键盘给按键加了专属ID，用资源ID定位更靠谱
val qKeyById = device.findObject(By.res("com.your.keyboard.package:id/key_q"))
if (qKeyById.exists()) {
    qKeyById.click()
}

Espresso 代码示例： #

注意：软键盘通常是独立进程，Espresso默认只能访问当前进程的UI，所以可以结合UiAutomator的Matcher来跨进程定位：

// 用content-desc定位
onView(allOf(withContentDescription("Q"), isDisplayed()))
    .perform(click())

// 用资源ID定位（前提是你知道按键的ID）
onView(withId(R.id.key_q))
    .perform(click())

2. 一定要等键盘完全加载再操作 #

键盘弹出是异步的，直接定位很可能因为元素还没加载出来而失败。给定位逻辑加个等待：

UiAutomator 等待示例： #

val device = UiDevice.getInstance(InstrumentationRegistry.getInstrumentation())
val qKey = device.findObject(By.desc("Q"))
// 最多等10秒，直到按键出现
if (qKey.waitForExists(10000)) {
    qKey.click()
}

Espresso 等待示例： #

可以写个自定义的等待函数，确保键盘布局加载完成后再定位按键：

// 先等待键盘根布局显示
onView(withId(R.id.keyboard_root_layout))
    .waitUntilDisplayed()

// 再定位Q键
onView(withContentDescription("Q")).perform(click())

// 自定义的等待扩展函数
fun ViewInteraction.waitUntilDisplayed(timeout: Long = 10000) {
    this.perform(object : ViewAction {
        override fun getConstraints(): Matcher<View> = isDisplayed()
        override fun getDescription(): String = "等待视图显示"
        override fun perform(uiController: UiController, view: View) {
            uiController.loopMainThreadUntilIdle()
            val startTime = System.currentTimeMillis()
            val endTime = startTime + timeout
            while (System.currentTimeMillis() < endTime) {
                if (isDisplayed().matches(view)) return
                uiController.loopMainThreadForAtLeast(50)
            }
            throw PerformException.Builder()
                .withActionDescription(description)
                .withCause(TimeoutException("超时：视图在$timeout毫秒内未显示"))
                .build()
        }
    })
}

3. 给键盘按键加测试专属标识（最靠谱的长期方案） #

如果你有权限修改自定义键盘的代码，最稳妥的方式是给每个按键设置唯一的测试标识，比如contentDescription或者testTag：

在键盘按键的布局文件里添加：

<Button
    android:id="@+id/key_q"
    android:contentDescription="test_key_q"
    android:tag="test_key_q"
    <!-- 其他属性 -->
    />

然后测试时就能精准定位：

// Espresso用testTag定位
onView(withTagValue(`is`("test_key_q"))).perform(click())

// UiAutomator用content-desc定位
device.findObject(By.desc("test_key_q")).click()

4. 跨进程操作的小技巧 #

软键盘一般运行在独立进程，Espresso默认无法直接操作其他进程的UI。这时候可以用Espresso.onDevice()结合UiAutomator的API来跨进程操作：

Espresso.onDevice().perform(UiDeviceAction { device ->
    val qKey = device.findObject(By.desc("Q"))
    if (qKey.exists()) qKey.click()
})

最后再强调下：坐标点击之所以不优雅且不稳定，是因为不同设备的屏幕尺寸、键盘布局都可能变，而用content-desc、资源ID或者测试标签定位，这些标识是固定的，不会受设备或语言影响，是长期维护的最优解。

内容的提问来源于stack exchange，提问作者AnZ