安卓移动端自动化无法点击元素，Uiautomator识别不到高亮按钮

问题根因 #

你遇到的是典型的非原生View元素识别失败问题：该蓝色高亮按钮不属于安卓原生View体系，是通过SurfaceView、TextureView自定义渲染绘制的（常见于游戏界面、Flutter/Unity自定义渲染页面、视频悬浮层、自定义弹窗等场景），没有生成对应的布局节点，所以Uiautomator无法抓取到XML节点，也无法通过常规的资源ID/text/desc等属性定位。

解决方案 #

1. 坐标点击（最通用高效方案）

先获取按钮的坐标，直接调用Uiautomator的坐标点击API触发操作。适配多分辨率设备时建议用相对比例坐标，不要写死绝对坐标。

• Java版Uiautomator示例：

UiDevice device = UiDevice.getInstance(InstrumentationRegistry.getInstrumentation());
// 获取屏幕分辨率
int screenWidth = device.getDisplayWidth();
int screenHeight = device.getDisplayHeight();
// 按比例计算按钮坐标，示例为屏幕宽度30%、高度70%的位置，可根据实际场景调整比例
int clickX = (int) (screenWidth * 0.3);
int clickY = (int) (screenHeight * 0.7);
// 执行点击
device.click(clickX, clickY);

• Python版uiautomator2示例：

import uiautomator2 as u2
d = u2.connect()
# 比例坐标点击，参数为宽高占比，范围0~1
d.click(0.3, 0.7)
# 也可传入绝对坐标值
d.click(320, 1180)

注意：如果页面支持滚动，需要先保证按钮在当前可视区域内再执行点击

2. 图像匹配点击（适配按钮位置不固定的场景）

如果按钮位置会动态变化，可以结合图像识别能力匹配截图中的按钮后点击，uiautomator2已经内置了该能力：

# 提前把蓝色高亮按钮的截图保存为target_btn.png
d.image.click("target_btn.png", threshold=0.8)

threshold为匹配相似度阈值，取值范围0_{1，建议设置为0.8}0.9即可满足识别准确率要求。

3. ADB命令兜底点击

如果Uiautomator的内置点击API失效，可以直接调用adb input命令触发点击：

• 直接执行命令：

adb shell input tap <目标x坐标> <目标y坐标>

• Java代码中调用示例：

Runtime.getRuntime().exec("adb shell input tap " + clickX + " " + clickY);

4. 特殊场景适配

如果按钮需要模拟真实手指的微滑动、长按才能触发，可以用滑动API模拟对应手势：

// 模拟长按200ms的点击效果
device.swipe(clickX, clickY, clickX, clickY, 200);

优化建议 #

• 开启开发者选项中的指针位置开关，手动点击按钮时可以直接获取精确的坐标值
• 如果是游戏、Flutter自定义渲染页面，直接跳过节点抓取步骤，优先用坐标或者图像匹配方案
• 悬浮窗类按钮需要先确认测试应用已经获得悬浮窗权限，再执行点击操作

内容的提问来源于stack exchange，提问作者Kiran28