skinny.

Latest / 每日AI

ZAYA1-8B:基于MoE++架构的高效推理模型

ZAYA1-8B,一款由 Zyphra 开发、基于 MoE++ 架构 的推理强化型混合专家模型。该模型虽然仅拥有 7 亿激活参数,但通过在 AMD 全栈平台上进行从头训练,其数学与编程性能足以媲美参数量大得多的模型。其核心创新在于采用了压缩卷积注意力 (CCA) 和更具表达力的 MLP 路由器,有效提升了计算效率与路由决策的准确性。在训练流程上,研究者实施了答数保留修剪方案,确保推理数据贯穿预训练始终,并配合四阶段强化学习级联来强化逻辑能力。此外,报告引入了名为 Markovian RSA 的测试时计算方法,通过递归聚合推理路径,显著收窄了小模型与顶级旗舰模型之间的性能差距。总而言之,ZAYA1-8B 证明了通过架构优化、推理感知的训练设计以及高效的测试时推理策略,轻量级模型也能实现卓越的复杂逻辑推理。

Log in to save or queue this episode.

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.