skinny.

Latest / 每日AI

AllenAI:MolmoPoint指向性标记刷新GUI交互视频追踪世界记录

这份研究介绍了由 Allen AI 研究所开发的 MolmoPoint,这是一种旨在提升视觉语言模型(VLM)定位精度的新型架构。与传统通过文本生成坐标的方法不同,该模型利用指向性标记直接从图像或视频中选取视觉特征,并通过粗到细的三个阶段实现像素级精准定位。这种设计不仅让模型无需死记硬背复杂的坐标系,还显著降低了推理延迟并提高了在不同分辨率下的泛化能力。实验表明,MolmoPoint 在图像指向、图形用户界面(GUI)交互以及视频追踪等多个领域均刷新了开源模型的世界纪录。此外,团队还贡献了 MolmoPoint-GUISyn 和 MolmoPoint-Track 等大规模数据集,进一步增强了模型在复杂数字环境和动态场景中的实用性。

Log in to save or queue this episode.

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.