通过ai工具结合agent_操作WindowsUI实现工作_工具思路收集_测试winright_midscene随时更新---AI大模型应用探索0042

前段时间从同事那里知道他们在用winright这个是通过识别WindowsUI上的组件然后录成流程来进行自动化操作。这个效果还可以。但是对复杂的界面以及java swing javafx等的界面可能就不行了。之前用的midsceneqwenpaw 这个效果还是不错的。可以用视觉识别来操作电脑但是特点就是很慢慢到你无法接受准确度上有时候会点错但是ai会自动纠正但是就是慢所以后来就想了一个办法就是普通的操作只是点击坐标的就把坐标弄到一个流程的json文件中然后让ai去调用这样就快了只有这需要ai的智商去判断的时候再把ai叫出来这个是一个方式这个效果不错。