
MMSkills:让AI看懂屏幕操作 通用视觉智能体多模框架
MMSkills 的通用视觉智能体框架,旨在通过多模态程序化知识增强智能体的决策能力。研究指出,传统的文本或代码指令难以满足视觉任务需求,因此该框架将文本流程、运行时状态卡片与多视角关键帧相结合,形成可复用的技能包。通过专门的生成器,系统能从公开的交互轨迹中自动提取并构建这些视觉技能库。为了平衡信息密度,研究引入了分支加载机制,让智能体在独立分支中比对视觉证据,从而为主要任务提供精准的结构化指导。实验证明,该方案在图形界面(GUI)和游戏基准测试中显著提升了各类多模态模型的执行成功率。
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.