skinny.

Latest / 每日AI

Audio-Interaction:实时感知的通用在线对话引擎 音频大模型学会了主动插话

Audio-Interaction 的全双工音频大语言模型,旨在将传统的离线音频处理转变为实时交互模式。与仅能处理单一任务的旧模型不同,它通过“感知-决策-响应”循环,实现了在听取连续音频流的同时自主判断何时保持沉默或进行回应。该系统基于 SoundFlow 框架开发,利用大规模的 StreamAudio-2M 数据集进行训练,涵盖了实时翻译、语音通话及主动干预等多样化能力。为了解决实时处理中的延迟与上下文衔接挑战,研究团队采用了异步推理架构和创新的数据平滑处理技术。此外,该项目还引入了 Proactive-Sound-Bench 基准,专门用于评估模型在没有明确指令时主动提供帮助的性能。总而言之,这一研究通过统一多种音频任务,显著提升了人工智能在复杂、动态声音环境中的实时理解与互动水平。

Log in to save or queue this episode.

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.