
看起来像是 AI 操作手机,手机 UI 界面每个控件被彩色框出来,框上还有数字标记,想问下这个是怎么实现的呀?
应用场景视频: https://share.cleanshot.com/npxzbc0G
没搞过安卓开发相关项目 问了下 gpt 回答是 AutoJs ? 不是吧...
/div> 1 crysislinux 27 天前 可能是用的 Android 的测试功能 https://developer.android.com/guide/topics/ui/accessibility/testing |
2 Fooooo0 27 天前 搜 mobile-use , UI-TARS |
3 john6lq 27 天前 框像是是开发者模式中的“显示布局边界”,或者是配合了 uiautomator 抓取布局自己绘制的? |
4 leehaoze98 27 天前 |
5 leehaoze98 27 天前 |
6 mqnu00 27 天前 android 开发者模式 不是有 ui 标注功能吗? |
7 iflint 26 天前 但凡是能适用于任意三方进程的就来两种模式,一种是 Droidrun 、Maestro 那种去基于无障碍系统/uiAutomator 去 dump UI 布局信息然后画框的;另一种是走的纯截图然后视觉识别以后画框的。 当前主流的就还是通过拿无障碍信息 |
8 iyaozhen 26 天前 统称 computer-use ,其实很成熟了。可以是纯视觉方案,可以加一些元素辅助 |
9 is101 OP @leehaoze98 #4 看了下感觉确实是这个 |