大模型权重里的 CPU

Not a ToE · Oct 28, 2026 · 16m

Qwenputer 是 Divyansh Agrawal 的一个实验性模型：在 Qwen3.5-4B 的权重中直接编译进一颗确定性的 32 位 RISC-V CPU（RV32IM，外加 Zba 扩展和一个小型大数协处理器）。据作者介绍，整个过程不涉及训练或微调：由编译器直接设定新增的 11 层的全部权重，这些层位于 Qwen 原有的 32 层之前，Qwen 自身的权重保持不变。在这些层中，注意力头负责内存查找，前馈单元负责算术与逻辑运算，Gated DeltaNet 头保存寄存器、内存和程序计数器。CPU 的内存就是模型自己的 Gated DeltaNet 状态：把门控和写入强度设为 1、配合 one-hot 键，状态的每一行都能被精确改写和读回，而且状态大小不随对话变长而增长。Qwen 沿用惯常的工具调用格式把计算交给这颗 CPU，但模型外部没有任何程序执行这些调用；一个名为 RvChat 的小驱动负责载入固件，并让执行轨迹 token 不进入 Qwen 的层。作者报告：它通过官方 riscv-tests，能运行 C 和 MicroPython；将约 23 万个输出位置与参考机器逐一回放比对，零差异。在 NUPA 算术题集上得分 100%，原版 Qwen 为 48.6%，与配 Python 工具的 Qwen 持平；在 DeepMind 算术题集上得分 97.5–100%，原版…