IA : prédire des concepts plutôt que des tokens ?
Diviser par deux le volume de données d’entraînement d’un grand modèle sans perte de précision : c’est la rupture avancée par l’architecture NCP-ArchPreview. En apprenant à prédire des concepts latents plutôt que de simples suites de caractères, cette méthode bat OLMo-3 sur les tests de raisonnement tout en introduisant un module d’adaptation de seulement 17 millions de paramètres. Révolution d’efficience pour l’industrie ou nouvelle boîte noire impossible à décrypter ?
#modeles #meta-volatile #concepts #architecture #efficience
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.