Latest / The Long View / 2026-05-27 · 特辑｜稀疏注意力价格战：中国开源模型如何把推理成本压到每百万 token 一美元

Transcript

2026-05-27 · 特辑｜稀疏注意力价格战：中国开源模型如何把推理成本压到每百万 token 一美元 · The Long View

0:00
欢迎收听The Long View特辑，
0:01
这是五月二十七号的科技深度专题。
0:05
今天我们要花大约三十分钟，把这周技术圈最重要、
0:08
但在主流财经媒体上完全没出现的一件事讲清楚—中国开源大语言模型的稀疏注意力价格重置。
0:16
新闻钩子很简单。
0:18
X上一位叫kimmonismus的技术分析师，
0:21
本周一发了一条长帖，把过去几天三家中国AI公司的动作串在一起看：DeepSeek把V4-ProV4-ProV4-ProV4-Pro模型百分之七十五的降价永久化了，
0:32
价格落在每百万输出token零点八七美元；
0:35
小米的MiMo V2.52.52.5系列降价最高百分之九十九，
0:39
Pro版降到约三美元每百万；
0:42
MiniMax预告了下一代M3，号称在一百万token上下文的场景下，
0:47
prefill提速九点七倍、decoding提速十五点六倍。
0:52
为什么这件事值得花三十分钟？
0:54
因为这一轮降价和过去两年我们看到的所有中国模型价格战都不一样。
0:59
过去的降价是促销性的，本质是用补贴换市场份额—只要补贴一停，
1:04
价格就回去了。
1:06
这一轮是架构性的—服务这些模型的物理成本本身下降了，
1:10
所以降价能稳稳放在那里不会回弹。
1:14
意思是：前沿级一百万token上下文推理模型的开源价格底部，
1:19
正在从过去的十几美元每百万token，
1:22
永久地砸向接近一美元的位置。
1:25
这对OpenAI、Anthropic、
1:26
Google这些西方专有模型供应商是一条必须守住、
1:30
但很难守住的价格线。
1:33
今天的路线图是这样的。
1:34
我们先从最底层讲起—Transformer是什么，
1:37
注意力机制为什么是L L M的核心，
1:40
为什么它有一个上下文长度平方的可怕成本曲线。
1:45
然后讲K V缓存—这是把训练和推理两个世界分开的关键概念，
1:50
理解它你才能理解为什么G P U显存是真正的瓶颈。
1:55
接着我们正式进入主题—稀疏注意力到底是什么，
1:58
它怎么把成本曲线扭弯。
2:01
然后讲三家公司各自的具体打法—C S A、
2:05
H C A、滑动窗口加SGLang HiCache、
2:09
两阶段索引—每一个名词背后是一个完整的工程取舍。
2:14
再讲经济学—为什么架构性降价和促销性降价是完全不同的两件事，
2:19
每百万token一美元这条线意味着什么。
2:23
讲地缘背景—中国为什么在芯片出口管制下走开源路线，
2:27
这条路怎么和稀疏注意力交叉到了一起。
2:31
讲全球影响—对OpenAI、Anthropic、
2:34
Google的冲击，对下游创业公司和开发者的红利。
2:38
讲未来—稀疏注意力之后是什么，状态空间模型和Mamba在不在路线图上。
2:44
最后给三个值得记住的判断。
2:47
听完之后你应该能够：读懂别的关于L L M推理成本的文章不再迷路；
2:52
理解为什么大模型公司的财报里gross margin这个词在202620262026202620262026年突然这么重要；
2:59
并且知道为什么"中国AI公司又降价了"这种新闻标题，
3:03
下次出现的时候应该看具体降的是什么。
3:07
要讲清楚稀疏注意力，得先把"注意力"本身讲清楚。
3:11
今天所有的大语言模型—G P T、Claude、
3:14
Gemini、Llama、DeepSeek、
3:16
还有我们今天的主角—架构上都是同一类东西，
3:20
叫Transformer。
3:22
这个架构是二〇一七年Google八位研究员写的一篇论文提出来的，
3:26
论文的标题就是 "Attention Is All You Need"—注意力就是你需要的全部。
3:32
这个论文是过去十年人工智能领域被引用次数最多的论文之一。
3:37
那么这个"注意力"到底是什么？
3:39
想象你在读一段话—"那只猫坐在垫子上，
3:42
因为它累了。
3:43
"读到"它"这个词的时候，你的大脑会自动回头去关联—这里的"它"指的是"猫"，
3:49
不是"垫子"。
3:50
这个回头关联的动作，就是注意力。
3:53
Transformer做的事情，本质上是把这个回头关联的能力数学化。
3:57
模型处理一段文本的时候，对每一个token—你可以把token简单地理解成一个字或一个词的片段—它都会计算这个token和之前所有token之间的关联强度。
4:10
这个关联强度的矩阵，就是注意力矩阵。
4:13
到这里听起来很美好。
4:14
问题在哪？
4:15
问题在于—如果你的上下文有N个token，
4:18
注意力矩阵的大小就是N乘以N。
4:21
换句话说，注意力的计算量是上下文长度的平方。
4:25
我们来代点数字。
4:26
一段一千个token的对话，注意力矩阵是一百万个元素。
4:30
这个体量在二〇一八年的G P U上跑起来不费力。
4:34
一段一万个token的长文档—大概是一本短篇小说的一章—注意力矩阵是一亿个元素，
4:40
已经开始让人皱眉。
4:41
一段十万个token的代码库—大概是中型Python项目的一半—注意力矩阵是一百亿个元素，
4:47
需要专业级G P U才能跑。
4:50
一段一百万个token的文本—这是Gemini、
4:53
Claude、DeepSeek现在号称支持的"长上下文"窗口—注意力矩阵是一万亿个元素。
5:01
如果每个元素是十六位浮点数，光是这个矩阵自己就要占两T B显存。
5:06
这显然不可能。
5:07
所以"一百万token上下文"这个数字在二〇二四年第一次被几家公司拿出来吹的时候，
5:14
行业内大家都心知肚明—这不是直接做的，
5:17
必须有某种"作弊"才行。
5:19
这个"作弊"，分成两个层次：第一层是K V缓存，
5:23
第二层就是我们今天的主角—稀疏注意力。
5:27
K V缓存我们下面讲，先记住一件事—Transformer的注意力机制在最朴素的实现下，
5:33
是一个上下文长度平方的计算量和显存占用。
5:37
这是过去八年所有"长上下文"研究的起点。
5:41
所有人都在想同一个问题：怎么把这条平方曲线扭弯。
5:46
要理解今天的降价，必须搞清楚一件事—训练一个模型的成本，
5:50
和服务这个模型的成本，是两个完全不同的东西。
5:53
训练G P T4据估算花了OpenAI大约一亿美元，
5:57
主要是一次性的算力成本。
5:59
但是当ChatGPT上线之后，每天有几亿人在用—服务这些人产生的算力账单，
6:05
叫做推理成本，是一直在跑的、永远不会停的。
6:10
两者的体量在两年之内反过来了。
6:12
今天大多数AI公司，推理成本远大于训练成本—OpenAI一年的算力账单据估算超过六十亿美元，
6:20
其中绝大部分是推理。
6:23
所以"如何让推理变便宜"，在二〇二四年之后变成了L L M工程的核心命题。
6:29
而推理的核心瓶颈，叫K V缓存。
6:32
K V是Key Value的缩写—键值对。
6:34
在Transformer注意力机制的数学里，
6:37
每一个token在模型里都会被转化成三个向量—Query查询向量、
6:42
Key键向量、Value值向量。
6:44
注意力的计算过程是这样的：当前token用自己的Query，
6:47
去和之前所有token的Key做点积，
6:50
得到一组相关性分数，再用这些分数加权之前所有token的Value，
6:55
得到这一层的输出。
6:57
注意这里有一个关键的观察—之前token的Key和Value在生成的过程中不会再变。
7:02
所以一个朴素的优化就是：把之前所有token的Key和Value存起来，
7:07
下一次要算注意力的时候，直接从内存里读，
7:10
不要重新算。
7:12
这个被存起来的东西，就叫K V缓存。
7:16
K V缓存的发明让大模型的推理速度提升了一两个量级。
7:19
但它带来了一个新的问题—它非常吃显存。
7:23
我们再代点数字。
7:24
一个像G P T4这样的模型，每一层、
7:27
每个注意力头、每个token，需要存大约几千字节的Key和Value。
7:32
模型有八十层、一百二十八个注意力头。
7:35
算下来，每个token在K V缓存里大概要占两M B显存。
7:40
一千个token的对话—两G B。
7:42
还行。
7:43
一万个token的对话—二十G B。
7:45
一张H一百已经吃紧。
7:48
十万个token—两百G B。
7:50
需要多张G P U拼起来。
7:53
一百万个token—两T B。
7:55
这是H一百整张卡满显存的二十五倍。
8:00
所以一百万token上下文在物理上做不到的不是注意力计算本身—那其实可以分块跑—而是K V缓存放不下。
8:09
这就是这一轮中国模型创新的真正战场。
8:11
所有稀疏注意力的本质，都是想办法让K V缓存变小。
8:16
注意力矩阵N平方那个问题，反而是次要的—只要K V缓存能放得下，
8:21
注意力可以分块流式计算。
8:24
但是K V缓存放不下，整个推理流程就停在原地。
8:28
记住这个观察：K V缓存是二〇二六年大模型推理成本的真正瓶颈，
8:32
不是计算量、不是显存带宽、不是G P U数量—是K V缓存的体积。
8:37
所有的优化都围绕它转。
8:40
现在我们终于可以讲稀疏注意力了。
8:43
朴素的Transformer注意力是密集的—每个token都要和之前所有token的Key、
8:47
Value做交互。
8:48
稀疏注意力的思路是：其实很多对相关性接近零，
8:52
可以跳过。
8:53
打个比方。
8:54
你在读一本五百页的书的最后一段。
8:57
理论上你应该把前面四百九十九页的内容都调出来决定下一句怎么写。
9:03
但实际上你的大脑只会真的用到其中一小部分—也许是开篇的设定、
9:08
上一段的最后一句、加上几个反复出现的关键词。
9:12
绝大部分内容并没有被你的短期工作记忆调用。
9:15
稀疏注意力做的就是这件事—只让Query和少数几个最相关的Key做交互，
9:20
跳过其他的。
9:22
问题立刻来了：怎么知道哪些是"少数几个最相关的"？
9:26
过去几年，研究界给出了三大类答案，每一类都对应今天讨论的某家公司的具体方案。
9:32
第一类是固定模式稀疏注意力—预先规定好哪些位置之间可以交互，
9:37
比如"只看局部窗口里的几百个token"或者"按照固定步长跳着看"。
9:44
代表是Longformer、r、BigBird这些二〇二〇年前后的早期工作。
9:49
优点是简单、可预测；
9:51
缺点是粗暴—重要的远距离信息可能直接被忽略。
9:55
滑动窗口注意力就是这一类里最直接的方案—每个token只关注它前面固定数量（比如四千个）的token，
10:01
更前面的全部丢掉或者降级处理。
10:05
Xiaomi MiMo的方案，本质上是滑动窗口注意力的一个高度工程化版本。
10:10
第二类是内容感知稀疏注意力—动态决定每次Query要看哪些Key。
10:16
代表性思路是"先用一个轻量的索引函数粗略找到相关的Key块，
10:21
再做精细注意力"。
10:23
这一类的优势是保留远距离的重要信息—重要的就是会被索引出来。
10:28
代价是多了一层索引计算，工程上不好做。
10:31
MiniMax M3走的是这条路。
10:34
第三类是压缩稀疏注意力—不是跳过Key，
10:37
而是把多个Key合并成一个代表。
10:40
比如每四个连续的token的Key和Value取平均，
10:44
压缩成一个；
10:45
甚至每一百二十八个token合并成一个。
10:49
计算的时候只对压缩后的代表做注意力。
10:51
这种方法在K V缓存的体积上是绝对的杀手—压缩比直接乘到缓存大小上。
10:58
但是损失的是精细的位置信息—你不知道某个事实是出自压缩块里的第三个token还是第七个token。
11:05
DeepSeek V4的混合架构非常聪明，
11:08
它把第一类和第三类结合在了一起—这就是接下来我们要讲的C S A和H C A。
11:15
这是我们今天最技术的一段，听不懂某一段可以跳过—后面讲经济和影响的部分不需要这些细节。
11:22
先讲 DeepSeek V4-Pro V4-Pro V4-Pro V4-Pro V4-Pro V4-Pro V4-Pro 的混合压缩注意力。
11:27
DeepSeek V4的注意力机制有两条并行的轨道—叫 Compressed Sparse Attention，
11:31
缩写C S A；
11:33
以及 Heavily Compressed Attention，
11:35
缩写H C A。
11:36
两条轨道交错使用。
11:38
C S A—压缩稀疏注意力—做的事是：每四个连续的token，
11:44
把它们的K和V平均成一个条目。
11:47
所以原来一百万token对应一百万个K V条目，
11:50
压缩之后只剩二十五万个。
11:53
Query在做注意力的时候，不是看所有二十五万个，
11:56
而是用一个轻量的打分函数先找出最相关的top k个压缩块，
12:01
比如top二百五十六，只对这些做精细注意力。
12:05
结果：计算量从N平方降到N乘以一个常数；
12:09
K V缓存体积从N降到N除以四。
12:13
H C A—重度压缩注意力—更激进。
12:16
每一百二十八个token合并成一个。
12:18
一百万token只剩八千个条目，可以直接对全部做密集注意力，
12:22
因为体量已经小到能放进显存了。
12:25
代价是位置信息高度模糊—你只知道某条信息在某个一百二十八token的窗口里，
12:31
不知道具体在哪。
12:33
DeepSeek把C S A和H C A交错部署—某些层用C S A保留中等粒度，
12:38
某些层用H C A看到全局。
12:41
两条轨道互补。
12:42
结果是什么？
12:43
我们看kimmonismus给出的数据—一百万token上下文的场景下，
12:47
DeepSeek V4-Pro V4-Pro V4-Pro V4-Pro V4-Pro V4-Pro V4-Pro 的K V缓存只有上一代V3.23.23.2的百分之十，
12:53
单token推理的浮点运算量降到百分之二十七。
12:57
这是两个数字一起看才有意义—计算量降到三分之一，
13:01
显存占用降到十分之一。
13:03
后者更重要，因为它直接决定了一张G P U能同时服务多少用户。
13:09
还要补一刀—V4总参数一点六万亿，但通过Mixture of Experts，
13:14
缩写M o E，每个token只激活四百九十亿。
13:18
M o E就是混合专家—模型里有很多个专家子网络，
13:22
每个token由一个路由器决定送给其中一个或几个专家处理。
13:27
结果是：知识容量像一个巨大模型，计算成本像一个小模型。
13:32
这一套组合拳的最终价格是：每百万输出token零点八七美元。
13:37
把这个数字记在脑子里。
13:39
接下来讲 Xiaomi MiMo V2V2V2..5的滑动窗口加SGLang HiCache。
13:45
小米的方案走的是另一条路—Sliding Window Attention n 滑动窗口注意力。
13:49
每个token只关注它前面固定窗口的token，
13:52
比如最近四千个。
13:54
窗口外的不算。
13:56
这是一个非常粗暴但工程上极其稳定的方案—它在Mistral的早期模型里已经被验证。
14:03
但小米的真正贡献不在窗口本身，而在工程实现—他们用的是一个叫SGLang HiCache的系统。
14:10
SGLang是一个开源的L L M推理引擎，
14:14
HiCache是它的分级缓存模块。
14:17
它做的事情是：把K V缓存的"热"部分放在G P U显存里、
14:21
"温"部分放到C P U内存里、"冷"部分放到S S D上。
14:26
为什么这件事重要？
14:27
因为G P U显存非常贵—H B M高带宽显存每G B几百美元；
14:33
C P U D D R内存每G B几美元；
14:36
S S D几乎免费。
14:38
如果你的对话有百分之九十五的部分用户其实不会再看到，
14:42
那把它们从显存里搬到S S D上就是直接的成本下降。
14:46
HiCache做的就是这个搬运调度。
14:49
小米给出的数据是：K V缓存数据在G P U内存、
14:53
C P U内存、S S D之间的传输量减少到大约七分之一；
14:58
可缓存token数量扩大五倍。
15:00
Pro版价格落在约三美元每百万输出，
15:03
Flash版更低。
15:05
注意小米的方案有一个隐含权衡—把K V缓存搬到C P U或者S S D上意味着访问延迟变大。
15:11
第一次"翻"到那块缓存的时候，用户能感觉到一个延迟尖峰。
15:16
但是对于绝大多数chatbot场景，
15:17
用户不在乎多几十毫秒—他们在乎价格。
15:22
最后讲MiniMax M3的两阶段索引。
15:25
MiniMax M3还没正式发布，但他们披露的方案是两阶段的内容感知稀疏注意力—这是我刚才说的"第二类"。
15:33
第一阶段叫"轻量索引分支"。
15:35
模型有一个小得多的辅助网络，专门做打分—对于当前的Query，
15:40
决定哪些历史K V块是相关的。
15:43
打分函数不需要做完整的注意力，只需要给一个相关性数字。
15:47
第二阶段才是真正的稀疏注意力。
15:50
只对第一阶段筛选出来的"相关K V块"做完整的精细注意力。
15:55
这套两阶段方案在二〇二四年的学术论文里已经出现，
15:59
但MiniMax M3是第一个在工业级模型上把它做到production-ready的。
16:04
这里有一段值得说的曲折—MiniMax在M2这一代是故意从稀疏注意力退回了full attention全注意力的。
16:12
原因？
16:13
他们的pretrain lead在二〇二六年三月写过一篇博客详细解释—当时的稀疏方案在训练阶段会引入不可忽视的精度损失，
16:23
影响下游任务的表现。
16:25
所以M2选择"宁可贵，也要全注意力"。
16:30
那为什么M3又切回稀疏？
16:32
因为这一年里两件事变了—一是稀疏注意力的训练技巧成熟了，
16:37
精度损失能控制在百分之一以内；
16:40
二是用户对一百万token上下文的需求已经从"愿意付高价"变成"必须有"。
16:47
MiniMax披露的数据是—一百万token场景下，
16:50
M3比M2在prefill阶段提速九点七倍，
16:53
在decoding阶段提速十五点六倍。
16:56
注意这里两个数字不一样—prefill是处理整个输入提示的过程，
17:01
decoding是一个token一个token往外生成。
17:04
Decoding提速更大说明K V缓存的优化在生成阶段收益更大，
17:09
这是符合预期的。
17:11
MiniMax M3预计开源。
17:13
如果开源后社区能复现并应用到Llama这种基线模型上，
17:17
整个开源生态都会受益。
17:20
我们把三家放在一起对比。
17:22
DeepSeek走"压缩"路线—把K V缓存直接压缩成小份。
17:26
优势是K V缓存体积砸得最低；
17:29
代价是位置信息模糊。
17:31
适合检索式、文档总结类的长上下文任务。
17:34
Xiaomi走"工程"路线—核心算法是简单的滑动窗口，
17:38
但用SGLang HiCache把存储分层做到了极致。
17:43
优势是部署稳定、对硬件投资充分利用；
17:47
代价是窗口之外的长程依赖丢失。
17:50
适合对话型、客服型场景。
17:54
MiniMax走"动态"路线—内容感知的两阶段索引。
17:57
优势是真正保留远距离的关键信息；
18:00
代价是工程实现最复杂、训练时间最长。
18:04
适合reasoning类、agent类需要回看大段上下文的任务。
18:09
三条路线没有一条是"赢家"。
18:10
它们其实指向了一个更大的事实—稀疏注意力不是一个单一技术，
18:15
而是一整族技术。
18:17
不同的应用场景，最优解不一样。
18:20
这也是为什么这一轮降价不是某一家公司的偶然—它是整个工程生态成熟后的同时性爆发。
18:26
到这里你应该已经能直觉地理解，为什么这一轮降价和过去的中国模型价格战完全不同。
18:33
但我们还是把这件事说透。
18:35
过去两年中国L L M行业的价格战几乎每隔几个月就来一轮。
18:40
二〇二四年五月有一次大降价，那一次百度、
18:45
字节、阿里几家把通用模型价格砍掉了百分之九十以上。
18:50
后来又有几轮。
18:51
每一次的新闻都会引发"中国L L M进入白菜价时代"的标题。
18:56
但是行业内的反应一直很冷静—为什么？
19:00
因为那些降价的本质是用资本补贴换市场份额。
19:04
模型的成本—也就是服务一次请求消耗的G P U时间、
19:08
电费、机房折旧—并没有变。
19:12
降价的部分是公司自己在贴钱。
19:14
这种降价的最大问题是：它一停就回去了。
19:18
资本耐心耗尽、烧不下去了的那一天，价格就会反弹。
19:22
这就是为什么过去的中国模型降价没有让OpenAI和Anthropic真正担心—他们知道补贴模型不可持续。
19:31
这一轮完全不一样。
19:32
DeepSeek、Xiaomi、MiniMax的降价是架构层面的—服务一个请求所需要的G P U时间、
19:38
显存占用、电力消耗都真的下降了。
19:41
具体下降了多少？
19:43
DeepSeek公开的数字是K V缓存到上一代的百分之十、
19:47
单token FLOPs到上一代的百分之二十七。
19:50
把这两个数字换算成G P U利用率：理论上同一张H一百G P U服务长上下文用户的并发数可以提高五到十倍。
19:59
这意味着单位token的真实物理成本降到了过去的百分之十到百分之二十。
20:05
也就是说，DeepSeek把V4-ProV4-ProV4-ProV4-Pro的价格永久压到每百万输出token零点八七美元，
20:11
不是赔钱赚吆喝—这个价格已经是建立在新成本结构上的正常毛利。
20:16
这意味着即使DeepSeek停止任何补贴，
20:20
这个价格也回不去了。
20:22
接下来我们要看一个数字—每百万输出token一美元。
20:26
这条线意义在哪？
20:28
参考一下西方主流模型的当前公开定价。
20:30
OpenAI的G P T5.55.55.5主力A P I每百万输出token大约十美元到十五美元。
20:38
Claude4.54.54.5 / 4.64.64.6主力A P I每百万输出token大约十五美元。
20:44
Gemini 2.52.52.52.52.5 Pro o 大约十二美元。
20:46
也就是说，DeepSeek V4-Pro V4-Pro V4-Pro V4-Pro V4-Pro V4-Pro V4-Pro 的价格只有它们的百分之五到百分之十。
20:52
同等智能水平、同等的一百万token上下文。
20:56
不仅如此—这些西方模型的价格里相当一部分是毛利。
21:00
OpenAI的 A P I gross margin n 据估算大约百分之五十；
21:04
Anthropic略低一些；
21:06
Google因为有自家T P U成本结构比较好。
21:09
但是哪怕假设西方模型的真实成本只有它们当前价格的一半—那也是每百万token五到七美元，
21:16
仍然是DeepSeek价格的五到八倍。
21:19
换句话说，DeepSeek不是"靠效率追平"，
21:22
而是真的比西方模型便宜了一个量级。
21:25
这意味着两种可能。
21:27
一种是西方模型实际上是在收暴利—它们的真实成本和DeepSeek接近，
21:32
价格差全部是毛利。
21:35
这种情况下西方供应商有降价空间，但降价会摧毁他们的财务模型—OpenAI一年六十亿美元的算力账单要靠A P I收入摊销，
21:45
价格砍到十分之一意味着收入也要砍掉，
21:48
那就活不下去了。
21:50
另一种可能—也是更可能的—是西方模型还没有完成稀疏注意力的工程化，
21:56
所以它们的真实物理成本仍然偏高。
22:00
OpenAI内部肯定在做类似的优化，
22:02
但还没有公开发布。
22:05
无论是哪种可能，西方供应商都需要在未来六个月内做出回应。
22:09
要么大幅降价摧毁自己的毛利，要么宣布同等性能的稀疏注意力模型迎战。
22:16
否则市场份额会从下游应用层开始迁移—任何不需要G P T5.55.55.5顶级智能的应用，
22:22
都会切换到DeepSeek或它的开源衍生品。
22:26
现在我们退一步，问一个更大的问题：为什么是DeepSeek、
22:32
Xiaomi、MiniMax这三家中国公司同时做出了这件事？
22:36
为什么不是OpenAI或Anthropic？
22:41
答案有两层。
22:42
第一层是技术—稀疏注意力的学术工作过去几年是中美研究者一起推动的，
22:48
但是把它工程化需要的不只是算法，还需要愿意承担风险的产品决策。
22:54
第二层是结构性的—美国二〇二二年开始的芯片出口管制把中国AI公司逼到了一条独特的路径上。
23:02
让我们把第二层讲清楚。
23:04
二〇二二年十月，美国商务部第一次发布对华先进G P U出口管制。
23:09
二〇二三年再加码，把H一百、H八百、
23:13
A一百、A八百等等高端芯片完全卡死。
23:17
中国公司想训练前沿大模型，能拿到的芯片性能远不如美国同行手里的H一百、
23:23
Blackwell这些。
23:25
面对这个约束，中国AI公司只能走"算法层面的极限优化"—同样的智能水平、
23:31
同样的上下文长度，用更少的算力、更少的显存做出来。
23:35
这条路径恰好和稀疏注意力的研究方向重合。
23:39
一个原本主要被学术界关注的方向，因为出口管制变成了中国L L M公司的生死线。
23:45
这里有一个微妙的反讽—美国出口管制原本的设计目标是"减缓中国AI进步"。
23:51
但是它实际上的效果是"逼迫中国AI公司在效率上跑得比美国同行更激进"。
23:59
今天我们看到的稀疏注意力工业化，可以说是出口管制的非预期后果。
24:05
第二件事是开源策略。
24:07
DeepSeek、阿里Qwen、Mistral、
24:09
Meta Llama是当前开源L L M的几大主力。
24:13
中国的DeepSeek和Qwen都坚持以"完全开源"—权重公开、
24:17
代码公开、技术报告公开—发布前沿模型。
24:22
这条路径在二〇二四年之前看起来很奇怪—为什么花几千万训练出来的东西要送出去？
24:28
答案是：开源是中国AI公司唯一可能影响全球生态的杠杆。
24:34
如果走专有路线，中国模型要和OpenAI、
24:37
Anthropic在A P I市场上正面竞争。
24:41
在西方监管和地缘政治环境下，几乎没有胜算—美国和欧洲企业用户对调用中国A P I的合规风险高度敏感，
24:49
这是商业逻辑挡不住的。
24:52
但是如果走开源路线，模型权重就可以"绕开"地缘政治—任何人都可以下载、
24:58
本地部署、私有运行。
25:01
一旦下载量起来，整个全球开发者生态就在使用中国公司的训练成果。
25:06
这是一种"软实力"的输出。
25:09
这条开源策略和稀疏注意力的交叉点是什么？
25:12
是降价让开源更有诱惑力。
25:14
如果 DeepSeek V4-Pro V4-Pro V4-Pro V4-Pro V4-Pro V4-Pro V4-Pro 的官方A P I只要每百万输出token零点八七美元，
25:20
开发者就不会去自己部署—直接调A P I反而便宜。
25:25
但如果你在乎数据主权、在乎合规、在乎没有限流，
25:29
你可以下载权重自己跑。
25:31
两条路都通向DeepSeek的生态。
25:34
这就是为什么这一轮中国稀疏注意力降价的战略意义比单纯"成本下降"大得多—它在重新定义全球AI基础设施的供应格局。
25:44
那么这件事对全球AI行业意味着什么？
25:46
我们分两个角度看—供应侧和需求侧。
25:49
供应侧—也就是OpenAI、Anthropic、
25:52
Google这些前沿专有模型供应商—他们必须做出回应。
25:56
回应只有三条路。
25:58
第一条是降价跟随。
26:00
但这会摧毁他们的毛利结构—OpenAI现在A P I收入大约一年六十亿到七十亿美元，
26:06
毛利不到百分之五十。
26:08
如果价格砍到十分之一，收入直接砍到十分之一，
26:12
公司年度算力账单也是六十亿美元，要靠投资者继续输血。
26:16
这条路OpenAI和Anthropic都走不动多久。
26:20
Google因为有T P U成本结构相对好，
26:23
可能扛得更久一些。
26:25
第二条是架构跟随—内部加速稀疏注意力的工程化，
26:29
争取在六到十二个月内推出对等价格的产品。
26:32
问题在于，他们的现有用户合同、内部K P I、
26:36
产品路线图已经按照"高毛利专有模型"的假设排好了。
26:40
短期突然切换会内部混乱。
26:42
但中期看，这是唯一可持续的路径—OpenAI内部已经有sparse attention相关研究在publish，
26:49
工程化只是时间问题。
26:52
第三条是差异化竞争—不在价格上比，在前沿智能上拉开。
26:56
比如OpenAI现在主推的G P T5.55.55.5在代码、
27:00
数学、推理上确实比DeepSeek强一档。
27:04
Anthropic现在主推的Mythos在解Erdős问题上做出了DeepSeek没做出的事情。
27:10
这条路理论上行得通—只要顶级智能的需求确实存在，
27:13
高价就有客户买单。
27:15
但风险是—对绝大多数应用场景，DeepSeek这个级别的智能已经够用。
27:20
能用得起G P T5.55.55.5顶级智能的用户群体在缩小。
27:25
我个人的判断是—前沿专有模型供应商接下来十二个月会同时走第二条和第三条路。
27:30
降价跟随他们做不到，但他们会推出"分层产品线"—顶级智能继续高价，
27:36
标准智能迅速降价，争取守住中端市场。
27:41
Google因为T P U可能最先发动反击，
27:43
OpenAI第二，Anthropic由于全力在Mythos这种顶级智能上可能最后跟进。
27:50
需求侧—也就是下游应用开发者—则是完全的红利。
27:55
如果你是一个做SaaS产品的工程师，
27:57
过去你给产品里加一个"A I总结"功能，
28:00
每个用户每个月可能让公司多花几美元A P I调用费。
28:05
如果你的产品有一百万用户，那是几百万美元的年度账单—这对很多中小创业公司是致命的。
28:11
所以过去两年很多产品的A I功能要么限流、
28:14
要么收高级会员费、要么干脆不上。
28:18
价格砍到十分之一意味着—之前不经济的应用场景突然经济了。
28:22
每个用户每月几美分的A I成本，可以默认开启。
28:26
这会推动A I功能从"高端付费墙后面的功能"变成"产品默认能力"。
28:32
这是一个供给侧成本曲线的位移引发的需求侧革命。
28:36
具体几类受益最大的应用—Agent类应用：一次任务可能消耗几万到几十万token，
28:42
价格高的时候完全跑不起经济模型，现在能跑了。
28:46
长文档分析：金融研究报告、法律合同、
28:49
医疗病历的全文A I分析。
28:52
代码助手：这就是Codex、Cursor、
28:55
Claude Code这一波的来源—当模型可以一次性把整个代码库load进上下文，
29:00
编程体验完全不同。
29:02
教育：一对一A I辅导的边际成本可以接近零。
29:07
这里有一个对应的影响—模型路由层会越来越重要。
29:10
X上kimmonismus这周顺带提到了Uber四个月烧光三十四亿美元A I预算的事—核心问题是没有路由层。
29:20
意思是Uber把所有请求都默认发给G P T5.55.55.5或者Claude—但实际上很多简单请求用DeepSeek这种廉价模型就够。
29:28
一个好的路由层根据请求复杂度自动选择模型，
29:31
可以把企业A I账单砍掉一大半。
29:35
OpenRouter这家公司本周拿到了Alphabet一点一三亿美元的投资—它做的就是这件事。
29:42
稀疏注意力是二〇二六年的故事。
29:44
那二〇二七、二〇二八年呢？
29:47
学术界已经有几个方向在挑战Transformer本身。
29:51
最受关注的是状态空间模型—英文叫State Space Models，
29:54
缩写S S M。
29:56
代表性架构是Mamba，由卡内基梅隆大学的Albert Gu和普林斯顿的Tri Dao在二〇二三年提出。
30:03
Mamba的核心思路是回到Transformer之前的R N N范式—序列处理是线性的、
30:09
状态压缩的。
30:10
每个新token不需要回看之前所有token，
30:14
只需要更新一个固定大小的状态向量。
30:17
这意味着推理成本是N线性，而不是N平方；
30:20
K V缓存的概念也不存在—只有一个固定大小的状态向量。
30:25
听起来完美。
30:26
问题在哪？
30:27
问题在于Mamba类模型在某些任务上明显不如Transformer—特别是需要精确回看过去某个具体token的任务（叫 in-context retrieval），
30:36
l），Mamba表现差很多。
30:39
所以过去两年Mamba一直处在被验证有潜力但还没有大规模工业化的状态。
30:46
二〇二五年开始出现混合架构—一部分层用Transformer注意力（保留精确回看能力），
30:52
一部分层用Mamba（享受线性成本）。
30:55
代表性工作是A I212121的Jamba和阿里的Qwen-Mamba系列。
31:00
这条路线在二〇二六年开始被更多公司认真考虑。
31:04
我个人的判断是—未来两到三年的主流L L M架构会是"稀疏Transformer加Mamba混合"。
31:11
稀疏注意力解决短中期成本问题，混合架构解决长期scalability问题。
31:16
两者不互斥。
31:18
还有几个值得关注的方向—架构搜索：用A I自己设计更高效的注意力机制。
31:23
Google DeepMind在二〇二六年初公开了一个叫AlphaArch的项目，
31:28
做的就是这件事。
31:30
专用硬件：Cerebras的wafer-scale芯片、
31:34
Groq的L P U、A M D的M I400400系列、
31:37
Nvidia自家的下一代Rubin—这些硬件的K V缓存优化是从硬件层面切入的。
31:44
如果稀疏注意力和专用硬件能co-design，
31:47
成本下降空间还有几倍。
31:50
更激进的压缩：本周X上还有一条新闻—PrismML推出了1-bit和ternary的图像生成模型Bonsai。
31:57
如果把同样的压缩思路用到L L M的K V缓存上，
32:00
可以再砍一个数量级。
32:03
但所有这些都是二〇二七年以后的事。
32:06
今天，二〇二六年五月，最重要的事情是稀疏注意力已经从实验室走到了生产环境，
32:12
并且把一百万token上下文的开源价格压到了每百万token一美元。
32:19
这是一个watershed时刻—一个分水岭。
32:21
第一条：K V缓存是二〇二六年大模型推理成本的真正瓶颈，
32:26
不是G P U算力。
32:28
所有"为什么A I这么贵"的讨论，最后都会回到一个数字—一百万token的对话需要多少显存放K V缓存。
32:36
任何把这个数字砍下去的技术—稀疏注意力、
32:39
Mamba混合、量化、分层缓存—都直接转化成成本下降。
32:44
这条原则在二〇二七年之前不会变。
32:47
第二条：这一轮中国模型降价是架构性的，
32:50
不是促销性的—所以它的影响不可逆。
32:54
过去几轮中国L L M价格战补贴一停就反弹，
32:58
没有改变市场结构。
33:00
这一轮不一样—服务一个请求的真实物理成本下降了一个数量级。
33:05
即使DeepSeek、Xiaomi、
33:07
MiniMax全部停止补贴，这个价格也回不到从前。
33:10
OpenAI、Anthropic、Google现在不只是在和"中国低价模型"竞争，
33:15
他们是在和"全球开源生态的新成本曲线"竞争。
33:19
第三条：美国芯片出口管制的非预期后果，
33:22
是把中国AI公司逼成了效率工程的世界冠军。
33:26
这不是阴谋论也不是民族主义—这是简单的资源约束理论。
33:31
当一个行业被切断G P U供给，剩下的路径只有"用算法和工程吃掉硬件不足"。
33:37
今天我们看到的稀疏注意力工业化，就是这条路径走了三年之后的成果。
33:43
这件事的战略含义远超过A I行业本身—它告诉我们，
33:47
任何试图通过单点资源切断阻止竞争对手的策略，
33:50
长期看可能反向加速对手在其他维度的进步。
33:55
这就是我们今天的特辑。
33:56
三十分钟讲一件被主流财经媒体完全忽略、
34:00
但在工程师社区已经掀起讨论的事—中国开源L L M通过稀疏注意力，
34:06
把前沿级一百万token推理的开源价格永久压到了每百万token一美元。
34:12
这件事的影响才刚刚开始。
34:15
下周如果有进一步的西方供应商回应，我们会专门做一期跟进。
34:19
如果你想要更深入地了解今天提到的技术细节—C S A、
34:23
H C A、SGLang HiCache、
34:26
Mamba—这些都是公开的学术论文和工程博客，
34:29
搜引擎就能找到。
34:31
我们下次见。