
Microsoft:VIBEVOICE 长篇多人语音合成技术报告 实现90分钟多人对谈
VibeVoice,这是一种由微软研究院开发、旨在合成超长篇多发言人对话的先进模型。该系统采用了一种创新的连续语音分词器,通过高达 3200倍的压缩率 显著提升了处理长音频的效率。借助基于 LLM 的下一标记扩散(Next-token Diffusion) 架构,模型能够生成长达 90 分钟 且包含多达四名说话者的自然语音。实验表明,它在真实感、表现力及整体听感方面均优于现有的开源和商业模型。此外,其核心组件包括用于捕捉音质的声学分词器和确保语义准确的语义分词器。目前,研究团队已将代码与预训练模型向社区开放。
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.