【第562期】ActionEngine：状态机驱动的程序化GUI智能体

Seventy3 · Apr 14, 2026 · 19m

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法、crypto方向，让大家跟着AI一起进步。

如果你想要解读自己的论文，获得更多曝光度。请联系小助手微信：seventy3_podcast 加群。合作邮箱：zhiwudazhanjiangshi#gmail.com

今天的主题是：

ActionEngine: From Reactive to Programmatic GUI Agents via State Machine Memory

Summary

现有的图形用户界面（GUI）代理通过对视觉语言模型（VLM）的逐步调用来运行——拍摄截图、推理下一步操作、执行操作，然后在新闻页面上重复此过程。这导致了高昂的成本和随推理步数增加而增长的延迟，且由于缺乏对已访问页面的持久化内存，准确率也受到限制。

我们提出了 ActionEngine：一个无需训练的框架，通过一种新颖的双代理架构，实现了从“反应式执行”向“程序化规划”的转变：

爬虫代理（Crawling Agent）：通过离线探索构建 GUI 的可更新状态机内存。

执行代理（Execution Agent）：利用该内存合成完整的、可执行的 Python 程序，用于在线任务执行。

为了确保对不断演变的界面的鲁棒性，执行失败会触发一种基于视觉的重新定位回退机制（vision-based…