
【第663期】分层潜在预测:样本复杂性理论
Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。
如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。
联系小助手微信:seventy3_podcast(加群/投稿论文)
今天的这篇的主题是:
Learn from your own latents and not from tokens: A sample-complexity theory
Summary
生成模型——从扩散模型(diffusion models)到大型语言模型(LLMs)——已经取得了卓越的性能,但代价是需要规模远超生物学习系统的数据进行训练,其训练数据量通常比生物学习者所需的数据高出数个数量级。
近年来,一种新的学习范式逐渐兴起:网络不再预测原始输入,而是预测自身对于相关视图(related views)或被遮蔽区域(masked regions)的潜在表示(latent…
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.