词元与观测边界
一盘下完的棋，已经无子可落。语言模型读词元，在它自己的粒度上遇到的也是这件事：词元是确定的，比词元更细的东西，对模型悬而未决。这悬而未决的部分，不是等着更好的方案来补齐的余下部分，而是下一个词元、下一次测量、下一句话得以发生的条件。
对话摆出马拉特、帕尼奥尼等人在 Meta FAIR 与华盛顿大学所做的研究《打破词元天花板》，并把它作为测量全部留下：字节模型起步更差，却在词元模型走平的地方继续进步，为更细的粒度付出序列长度与算力的代价；一个词元结束标记，就让词元教师的概率分布得以精确保留。论文自己的附录也说明了，更低的每字节比特数为什么不等于更好的模型。前提落在数据旁边的两种读法里：一种说分词只是中性的压缩，另一种说把单元降到字节，乃至像埃隆·马斯克在二月 xAI 全员大会上谈到的那样直接生成二进制程序，就能触到底。词元、字节与编译器，都落在一个它们以之为前提、却并非由它们划出的切口的近侧。…
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.