
On-Policy Distillation : la fin du moat de données ?
Une seule requête suffit à capter jusqu'à 87 % des gains d'un alignement de pointe, et seize prompts égalent un corpus complet. Si l'apprentissage par imitation requiert si peu d'exemples, que valent encore les mégabases de supervision privatives ? Analyse d'un séisme discret mais majeur pour l'économie des modèles.
#modeles #meta-evergreen #distillation #deeptech
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.