skinny.

Latest / 晚安咖啡GoodNightCoffee

《晚安咖啡》科技夜话:DeepSeek开源DeepInfer,国家数据集团成立

嗨~~大家晚上好呀!今天是2026年10月20日,星期二,欢迎收听晚安咖啡,我是主播安安!今天呢,安安准备了一波新鲜热乎的商业科技动态,想和你一起轻松聊聊。快找个舒服的姿势,咱们马上开始吧!

@@@

据华尔街见闻报道、36氪经授权发布,继开源大模型、TileLang编译工具及推理算子库后,DeepSeek于10月20日全面开源内部推理框架DeepInfer,同步开源Token编解码组件deepseek-recipe,兼容英伟达与华为昇腾平台。基于该框架,DeepSeek V4.1 Flash单集群日吞吐达155万亿Token,按谷电价计算每卡每小时收入38美元。系统采用Prefill与Decode分离部署,8卡机器承担Prefill,64至128卡超节点承担Decode。KVCache分Block与SWA:Block存入3FS,容量约100 PiB,Agent流量保留3天、聊天流量7天;SWA留在内存,保留约180秒、命中率超98%,未命中仅重算最近128个Token。DSpark变长验证较固定验证5个Token吞吐提升6%。deepseek-recipe处理逻辑与官方服务保持一致。KVCache管理和负载均衡代码因与内部基础设施耦合较深,尚未完整开源。

@@@…

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.