skinny.

Latest / 听说了吗?· AI 科技新闻播客

三种注意力融合:SGLang混合模型前缀缓存方案

Unified Radix Cache 用同一棵 radix tree 装下 FULL、SWA、Mamba 三种复用规则,再让 HiCache 把组件延伸到 L3。L3 命中率达 98%,Python→Rust 把尾部回合 TTFT 压低 42%。

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.