
作为记忆与控制的边界条件图
同一句提示词,温度调到零,跑两遍,第二遍的回答可能换了一句话。规则没有动:权重冻结,解码规则固定。动的,是没人登记的条件,小到批处理内核把浮点数加起来的先后顺序。这个小小的意外,打开了生成模型如何被驾驭的整套架构。
就局部描述而言,生成模型像一个形式系统:一套固定的规则与先验,从只被部分登记的初始条件出发推演结果。机械可解释性擅长的都留着:定位回路、提取特征方向、调试单个步骤。它的前提在许诺从内部给出完整预测与控制的地方到达边界:带外部记忆的回环具有计算普适性,展开计算不可约,每个中间词元都把一个扰动锁进上下文。驾驭因此要经由边界条件,从外部设定、逐轮收紧。…
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.