skinny.

Latest / 每日AI

Edge0:基于预训练路由预测的SSD流式MoE推理系统 3G内存跑通350亿大模型

Edge0 是一项专为消费级硬件设计的流式 MoE(混合专家模型)推理引擎,通过将专家权重存储在 SSD 上并按需加载,成功解决了大模型参数量巨大而本地内存不足的“内存墙”难题。为了消除传统的磁盘加载延迟,该系统创新性地引入了**预测路由(prerouter)**机制,利用浅层网络提前预测下一层的专家路由,从而实现数据读取与计算过程的重叠。同时,系统采用未经合并的 LoRA 适配器来补偿量化和路由替换带来的精度损失,并在训练中结合学生路径学习与强化蒸馏。最终,该框架在保持接近原模型 fp16 精度水平的同时,大幅降低了峰值活跃内存占用,实现了极高的本地推理吞吐性能。

Log in to save or queue this episode.

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.