发现一个需求,工作中要用多个仿真软件,软件操作重复性高,软件现成的接口几乎没有,求教有什么方法可以自动化?
看了看开源项目,依然没有思路,
话说我觉得这需求可以商业化,不过容易被 AGI 一下子干死
能搞钱的需求太难找了,现在找到的需求都 TOO HARD ,无力吐槽
![]() | 1 3IOhG7M0knRu5UlC 2024-09-04 12:08:22 +08:00 via Android RPA |
![]() | 2 sillydaddy 2024-09-04 12:51:05 +08:00 via Android 现在的大语言模型应该就可以做到。只需要开放给它通过 UI 操作软件的权限。 我最近正好也想找一个这样的工具,平时的开发工作,编码完成后,需要点击很多次 UI 来调试时,也可以用到。 |
![]() | 3 line 2024-09-04 13:23:09 +08:00 要直接将屏幕内容输入给 AI 目前还是很难的,AI 自主再通过操作鼠标键盘操作 PC 。 这个难度相当于:操作二维世界的机械手。 |
![]() | 4 Solix 2024-09-04 13:26:15 +08:00 via iPhone 通过无头浏览器操作,传统爬虫怎么搞的原理一样 |
5 iloveayu 2024-09-04 13:45:47 +08:00 1 楼正解,对接 UI Path 这类的 RPA 软件,应该是最快的。 |
6 windmoonwind 2024-09-04 13:51:19 +08:00 |
![]() | 7 SWALLOWW 2024-09-04 14:35:09 +08:00 这么说我能大模型玩游戏啦 |
![]() | 8 youyoumarco 2024-09-04 14:47:01 +08:00 按键精灵+1 |
![]() | 9 wildmaker OP @windmoonwind 不是路径严格的操作,需要根据结果判断下一步动作 |
![]() | 10 cat9life 2024-09-04 16:02:29 +08:00 之前记得在 hackernews 上见过一款调用 chatgpt 来操作的软件。 |
11 windmoonwind 2024-09-04 16:14:16 +08:00 @SWALLOWW 今天刚看到一则新闻,有个团队趁热训练 AI 打黑悟空,死了 1000 多次,把第一关过去了... |
12 lneoi 2024-09-04 16:49:38 +08:00 向大模型解释各个参数信息,然后返回参数数据,实际调整由另外的软件去操作 |
![]() | 13 Baymaxbowen 2024-09-05 11:45:01 +08:00 web 端有类似工具吗,我想让设计个 agent ,来实现类似 UI 自动化的操作 |
![]() | 14 rekulas 2024-09-16 23:01:15 +08:00 ![]() 你这需求似乎 cradle 很适合 https://github.com/BAAI-Agents/Cradle |