Latest / Le centre de gravité / Adam's Law — les LLMs comprennent mieux ce qu'ils ont déjà vu, et c'est une loi

Transcript

Adam's Law — les LLMs comprennent mieux ce qu'ils ont déjà vu, et c'est une loi · Le centre de gravité

0:00
Épisode Adam Slow. Les LLM comprennent mieux ce
0:02
qu'ils ont déjà vu, et c'est une loi.
0:04
Chapitre un, la loi qui porte un prénom.
0:07
Un chercheur reformule un problème de mathématiques en
0:10
mots simples, et le modèle gagne 8 points de précision sans qu'on
0:14
ait touché une seule ligne de code.
0:17
Imaginez 2 versions du même problème de mathématiques.
0:20
La première dit, si l'hypoténuse d'un triangle rectangle isocèle
0:23
mesure 12 cm, quelle est la longueur de chacun des côtés
0:26
adjacents ? La 2nde dit.
0:29
Un triangle a un angle droit et ses 2 côtés les plus courts sont
0:31
égaux. Si la plus longue ligne mesure
0:34
12 cm, combien mesure les 2 autres ?
0:36
Le problème est rigoureusement identique, la réponse est la
0:39
même, la seule différence, c'est le vocabulaire hypoténuse
0:43
isocèle adjacent sont des mots rares, angles droits, côtés
0:46
égaux, la plus longue ligne sont des mots que tout le monde
0:49
connaît. Soumettez ces 2 versions à
0:51
Dipsic V 3. Selon les mesures du papier
0:54
publié sur archive en avril 2026 sous la référence 260402176, le
1:00
modèle résout correctement la version en langage courant dans
1:03
71,5% des cas. Pour la version en langage
1:06
technique, ce chiffre tombe à 63,5% 8 points de différence sur
1:12
738 problèmes testés pour exactement la même question.
1:15
Ce n'est pas un accident de mesure.
1:18
Le même écart apparaît sur Gpt 4 homini 8 points, sur l'amas 3,3,
1:22
70 milliards de paramètre 8,26 points et sur toute la famille
1:25
quen 2,5 du plus petit modèle de 0,5 milliards jusqu'au 72
1:29
milliards sans exception. Ce phénomène a été mesuré,
1:31
formalisé et publié par Hong yuan Adamlu et ses collègues de
1:36
face mind Corporation et de l'université chinoise de Hong
1:39
Kong le titre du papier, Adam Slow.
1:46
Adam n'est pas un acronyme, c'est le prénom du premier
1:49
auteur, une loi qui porte un prénom comme Zip, comme Benford,
1:52
comme Kepler avant eux. En quelques jours, le papier
1:55
récolte 501 votes sur ugging, face record de la semaine.
1:59
Dans la Communauté IA mondiale, la question que pose ce résultat
2:02
est vertigineuse, si les grands modèles de langage raisonnent
2:05
mieux quand on leur parle en mots courants, que nous dit ça
2:08
sur ce qu'ils font réellement ? Quand on les interroge,
2:10
raisonnent ils vraiment ou reconnaissent ils ?
2:14
Et si ces 8 points gratuits sont le signe d'une loi bien plus
2:17
profonde, héritée non pas de l'informatique mais de
2:19
l'histoire même de la mémoire humaine ?
2:22
Chapitre 2, ce que zip savait déjà.
2:26
Adam Slow n'est pas tombé du ciel, elle a une généalogie de
2:29
150 ans et ses ancêtres sont un astronome obsédé par des pages
2:33
usées, un sténographe parisien et un linguiste de Harvard qui
2:37
détestait les mathématiques. En 1881, Simon Youcam, astronome
2:40
canadien américain basé à Washington, consulte
2:42
régulièrement les grandes tables logarithmiques de son
2:45
observatoire. Ces livres épais que les
2:47
scientifiques utilisent pour calculer manuellement avant
2:49
l'ère des machines, ont une particularité qu'ils remarquent
2:52
un matin. Les premières pages, celles qui
2:56
commencent par le chiffre un, sont beaucoup plus usées que les
2:58
autres, froissées, tachées, parfois déchirées au bord.
3:02
Les pages qui commencent par 8 ou 9 sont presque neuves.
3:05
Ses collègues consultent massivement les premiers
3:07
chiffres, rarement les derniers. Newcom publie une note
3:10
scientifique pour signaler cette anomalie, personne ne la lit.
3:14
Son observation dort dans une archive pendant 57 ans.
3:16
C'est Frank Benford, physicien chez General Electric, qui
3:20
redécouvre le phénomène en 1938. Sans savoir que newcom l'a
3:24
précédé, il passe des mois à collecter des données sur 20
3:27
domaines différents, hauteur de rivière, surface de pays, prix
3:30
de marché financier, numéro 2, rue à Manhattan.
3:33
Partout, la même distribution logarithmique se confirme, le
3:37
chiffre un apparaît en première position dans environ 30% des
3:40
cas naturels, le chiffre 9 seulement dans 5%.
3:44
La loi prend son nom. Et aujourd'hui, le FBI et l'i RS
3:46
américain l'utilisent pour détecter les fraudes fiscales.
3:48
Une comptabilité qui ne respecte pas la distribution de benford a
3:52
statistiquement été falsifiée. Mais revenons aux mots, pas aux
3:56
chiffres. Bien avant benford.
3:57
En 1916, Jean Baptiste Estoux, Sténographe français qui
4:00
transcrit des débats parlementaires à Paris,
4:02
remarque, en recopiant des discours, que certains maux
4:05
reviennent infiniment plus souvent que d'autres.
4:09
Il mesure et découvre que la fréquence d'un mot est
4:12
inversement proportionnelle à son rang.
4:14
Dans la liste des mots les plus courants, le 2e mot le plus
4:17
commun apparaît 2 fois moins souvent que le premier, le 3e 3
4:20
fois moins, et ainsi de suite. Une loi de puissance parfaite.
4:24
20 ans plus tard, George Kingsley Zip, professeur de
4:27
linguistique à Harvard, redécouvre le phénomène.
4:30
Fait piquant, zip n'aime pas les mathématiques.
4:33
Dans sa publication de 1932, il parle avec dédain de
4:36
l'intervention des formules dans la linguistique.
4:39
Et pourtant, c'est son nom que porte la loi.
4:42
Le paradoxe classique de toute découverte scientifique, celui
4:45
qui la nomme l'emporte sur celui qui la trouve.
4:48
Ce que la loi de zip dit aujourd'hui, c'est que dans
4:51
n'importe quelle grande collection de textes, les 100
4:54
mots les plus fréquents représentent environ 50% de tout
4:56
ce qui est écrit the off end. Ces 3 mots à eux seuls
5:01
constituent plus de 10% de l'anglais écrit.
5:02
Et 25 ans avant zip, un autre chercheur avait posé une Pierre
5:06
encore plus fondamentale. En 1885, Hermann Hebinghaus,
5:10
psychologue allemand, passe des mois à mémoriser des milliers de
5:14
syllabes sans sens Dax Beup lock pour étudier scientifiquement la
5:18
mémoire humaine. Il découvre la courbe de l'oubli
5:22
sans répétition, on perd 20% d'une nouvelle information en 20
5:25
Min, 50% en 01h00, 70% en 24h00. Et surtout, il découvre l'effet
5:28
inverse, chaque exposition supplémentaire à la même
5:30
information ralentit exponentiellement l'oubli.
5:39
La fréquence d'exposition n'est pas juste une mesure
5:41
statistique, c'est le mécanisme principal de la mémoire.
5:45
Les neurosciences modernes confirment tout ça avec une
5:48
précision qu'Abbing House n'aurait pas imaginé.
5:50
Selon les travaux de neuro imagerie de Dessail et Halle
5:53
publiés en 2020 et d'Alexandrov et Halle en 2011, les mots haute
5:57
fréquence évoquent des réponses neurales plus fortes, sont
5:59
traitées environ 100 millisecondes plus vite que les
6:03
mots rares et ont des connexions plus denses dans le réseau
6:05
sémantique du cerveau. 100 millisecondes, c'est la
6:09
différence perceptible entre lire et trébuchet.
6:12
Ce que Adam Slow dit en 2026, c'est que ce principe vieux de
6:15
150 ans, la fréquence crée la familiarité, la familiarité,
6:18
crée la compétence ne s'applique pas seulement au cerveau humain,
6:22
il s'applique aux Transformers avec la même rigueur et la même
6:26
régularité. Chapitre 3.
6:30
La mécanique d'une loi, mesurer la fréquence d'un mot, c'est
6:34
simple. Mesurer la fréquence d'une
6:36
phrase entière et en faire un levier d'entraînement, c'est là
6:40
que le papier innove vraiment. Voici le problème concret que
6:43
résout Adam Slow, les corpus d'entraînement de dipsic,
6:47
V3GPT4O ou lama sont fermés, propriétaires inaccessibles.
6:48
Impossible donc de mesurer directement si une phrase donnée
6:53
est fréquente dans les données que le modèle a vues.
6:56
Comment contourner ça ? La première idée de l'équipe
7:01
d'Adamlou est d'utiliser les ressources disponibles en ligne
7:04
comme proxy. Ils adoptent un estimateur de
7:07
fréquence des mots construits sur des corpus publics massifs,
7:10
zip frequency et ils l'appliquent non plus aux mots
7:13
individuels, mais aux phrases entières.
7:15
La fréquence d'une phrase est calculée comme la moyenne
7:18
géométrique des fréquences de ces mots.
7:20
Si une phrase contient un seul mot rare, la moyenne s'effondre
7:24
exactement comme une chaîne qui ne vaut que son maillon le plus
7:26
faible. Cette mesure, il l'appelle la
7:29
loi de fréquence textuelle ou TFL pour Textual Frequencylow.
7:32
Son application pratique est directe, pour une question
7:36
donnée, on génère plusieurs paraphrases qui préservent
7:39
exactement le même sens, on mesure leur fréquence et on
7:42
sélectionne la plus haute. C'est ce mécanisme qui
7:45
transforme hypoténuse d'un triangle isocèle en la plus
7:48
longue ligne d'un triangle à angle droit.
7:50
Mais l'estimation par les ressources publiques a une
7:53
limite. Les données en ligne ne
7:56
reflètent pas parfaitement ce que les LLM ont vu en pré
7:58
entraînement. L'équipe développe alors une 2e
8:01
couche, la distillation de fréquences textuelles ou TFD.
8:04
L'idée est élégante. On demande au LLM lui même de
8:08
compléter des phrases du dataset par du contexte narratif.
8:09
Une instruction de type complète cette histoire.
8:12
Les continuations générées par le modèle deviennent un corpus
8:16
qui reflète ce que le modèle connaît réellement.
8:21
On combine les 2 estimations en subpondérant la contribution du
8:24
LLM quand la fréquence publique est quasi nulle.
8:26
La 3e brique concerne l'entraînement et elle porte un
8:30
nom, CTFT pour curriculum textual frequency training.
8:32
Elle renverse une intuition courante dans le machine
8:36
learning, on pourrait croire qu'il faut exposer le modèle aux
8:40
exemples les plus difficiles. D'abord, pour le muscler, CTFT
8:42
fait l'inverse, elle ordonne les données d'entraînement, du moins
8:45
fréquent au plus fréquent. Du plus rare au plus commun pour
8:52
chaque époque. La raison ?
8:54
Les expressions rares sont aussi les plus diverses.
8:57
Elles couvrent plus de variantes linguistiques et doivent être
9:00
absorbées en premier pendant que le modèle est encore malléable.
9:04
Les expressions fréquentes arrivent ensuite comme phase de
9:06
consolidation. Pour tester l'ensemble, l'équipe
9:10
a construit un data SET original, le TFPD textual
9:14
frequency perd data set. Quelques 2000 paires au total
9:17
couvrant des problèmes mathématiques, de la traduction,
9:20
du raisonnement de bon sens et de l'appel d'outils, chaque pair
9:24
contenant une version haute fréquence et une version basse
9:27
fréquence du même contenu avec exactement le même sens, validé
9:31
par 3 annotateurs humains linguistes.
9:33
Ce dernier point mérite une pause, 20% des paraphrases
9:37
générés automatiquement par GPT4 Homini ont été rejetés par les
9:40
annotateurs humains parce qu'elles introduisaient une
9:42
dérive de sens. La frontière entre reformulation
9:47
et altération est plus fine qu'on ne le croit et c'est pour
9:51
ça que le travail humain reste irremplaçable dans ce pipeline.
9:55
Chapitre 4, 8 points gratuits. Les benchmarks ne mentent pas,
10:00
mais ils racontent plus qu'un simple chiffre quand on sait.
10:03
Les lire ? Revenons aux chiffres et lisons
10:04
les lentement sur le raisonnement mathématique.
10:07
L'écart entre version haute fréquence et version basse
10:09
fréquence est de 8,08 points pour dipsig, V38 points ronds
10:12
pour GPT4 romini 8,26 points pour l'AMA 3,3 70 milliards.
10:15
Toute la famille Cohen 2,5 montre le même gradient de 0,5
10:18
milliards de paramètre, jusqu'à 72 milliards.
10:20
La version haute fréquence surpasse systématiquement.
10:28
La version basse fréquence, avec des gains entre 4 et 9 points
10:31
selon la taille. Ces chiffres sont obtenus sans
10:34
modifier les modèles d'une seule façon. 0 modification
10:37
d'architecture la seule intervention entre la version
10:39
basse fréquence et la version haute fréquence, c'est la
10:42
reformulation de la question d'entrée sur la traduction.
10:44
Le résultat est encore plus net selon les mesures bleues et CHRF
10:47
du papier. Dipsic V 3 améliore ses
10:49
performances sur 99 paires de langues sur 100 testées sur 86
10:52
de ses paires. L'amélioration dépasse un point
10:54
entier sur 40 paires. Il dépasse 3 points, la seule
11:00
paire qui ne bouge pas. L'anglais traduit vers lui même,
11:02
ce qui est cohérent puisque reformuler n'a pas de sens quand
11:05
source et cible sont la même langue sur l'appel d'outils, la
11:08
tâche ou le modèle doit choisir le bon outil dans une liste pour
11:11
exécuter une instruction GPT4. Romini passe d'un taux de
11:14
sélection correct de 60,5% à 66,7% 6 points sur une tâche
11:17
d'interface directe avec des systèmes externes ou une erreur
11:19
de sélection peut déclencher une mauvaise action dans un pipeline
11:22
de production et le fineting sur le TA lat.
11:28
Langue capverdienne peu doté en ressources numériques, le score
11:32
bleu d'un modèle entraîné sans aucune technique de fréquence
11:34
est de 0,93. Avec l'entraînement sur données
11:36
haute fréquence plus CTFT, il monte à 5,39 une multiplication
11:39
par presque 6 sur une langue que les corpus publics couvrent à
11:43
peine. Ce dernier chiffre devrait
11:44
retenir l'attention de toute équipe qui travaille sur des
11:47
langues minoritaires, des domaines techniques pointus ou
11:49
des jargons métiers spécialisés. Comment lire ces résultats
11:52
depuis un fauteuil de décideurs ?
11:53
La première implication est immédiate.
11:58
Toute organisation qui utilise des LLM en production peut
12:02
auditer ces prompts existants sous l'angle de la fréquence
12:05
textuelle et probablement gagner des points de performance sans
12:08
dépenser 1€ en infrastructure ou en fine tuning.
12:11
C'est de la valeur enfouie dans la formulation gratuite et
12:14
récupérable aujourd'hui. Plus profondément, toute équipe
12:16
data qui construit ou enrichit un corpus d'entraînement devrait
12:20
s'interroger sur la distribution de fréquences textuelles de ces
12:23
données, pas seulement leur quantité, leur diversité ou leur
12:26
exactitude factuelle. La fréquence est un levier.
12:28
Que presque personne n'optimise aujourd'hui.
12:30
Et pour les éditeurs d'outils de prompt Engineering, un nouveau
12:33
critère d'optimisation vient d'émerger que leur plateforme
12:36
n'intègre pas encore, mesurer la fréquence textuelle des prompts
12:39
et proposer automatiquement des reformulations plus courantes.
12:42
Adam Slow ouvre un marché que personne n'avait balisé il y a
12:45
12 mois. Chapitre 5, la langue est un
12:48
miroir. Ce que dit vraiment Adam Slow
12:50
n'est pas dans les tableaux de benchmark, c'est dans ce qu'elle
12:52
révèle sur la nature profonde de ce que font les LLM quand ils
12:56
raisonnent, il. Y a une tension au cœur de la
12:58
recherche. Les grands modèles de langage
12:59
que personne n'a encore vraiment résolus.
13:01
D'un côté, les démonstrations de capacité sont spectaculaires,
13:05
résolution de problèmes olympiques, codes qui compilent
13:07
du premier coup raisonnement juridique complexe, de l'autre,
13:11
des erreurs enfantines sur des variations mineures de
13:13
formulation, des hallucinations sur des faits basiques, des
13:17
performances qui s'effondrent quand la mise en forme change
13:19
légèrement. Adam Slow propose une clé de
13:22
lecture pour cette tension. Les LLM ne sont pas des
13:24
raisonneurs universels opérant sur des structures abstraites.
13:28
Ce sont des machines de familiarité, des systèmes qui
13:31
excellent dans les zones de leurs espaces d'entraînement les
13:33
plus densément peuplés et qui dégradent progressivement dans
13:36
les zones rares. L'image la plus juste n'est pas
13:38
celle d'un moteur de logique formelle, c'est celle d'un
13:41
expert très expérimenté dans un domaine précis.
13:44
Un cardiologue qui a ausculté 10000 patients reconnaît un
13:47
souffle au cœur anormal, à l'oreille.
13:48
Sans réfléchir, soumettez lui un cas atypique qu'il n'a vu qu'une
13:52
fois en 20 ans de carrière. Il hésite, il se trompe parfois,
13:56
il cherche ses outils habituels dans un contexte qui ne les
13:58
appelle pas. Ce n'est pas de l'incompétence,
14:01
c'est la structure même de l'expertise humaine, et c'est
14:04
précisément la structure des LLM.
14:05
Ce parallèle n'est pas anodin. Il suggère que les LLM ne sont
14:09
pas intelligents au sens d'un raisonnement formel général.
14:11
Ils sont experts au sens de la reconnaissance de patterns
14:14
densément appris. Et comme tout expert humain,
14:17
leur compétence a une géographie.
14:20
Elle est haute là où l'exposition a été intense,
14:23
basse, là où elle a été rare. Cette lecture transforme
14:26
profondément la façon d'évaluer ces modèles.
14:29
Si la performance d'un LLM sur un benchmark dépend de la
14:32
fréquence textuelle des questions posées, alors tous les
14:34
benchmarks standards sont biaisés par leur propre registre
14:37
linguistique. Un test rédigé en langage
14:40
académique favorise les modèles entraînés sur des corps plus
14:42
académiques. Un test rédigé en langage
14:45
courant favorise les modèles entraînés sur du web non filtré.
14:49
Ce n'est plus seulement une question de difficulté, c'est
14:51
une question de familiarité et aucun benchmark actuel ne
14:55
contrôle cette variable. Cette même grille transforme
14:58
aussi la conception des données d'entraînement.
15:00
Aujourd'hui, la plupart des discussions sur la qualité des
15:03
données tournent autour de la précision factuelle de la
15:06
diversité thématique du nettoyage du bruit.
15:09
Adamslow ajoute une dimension jusqu'ici ignorée, la
15:12
distribution de fréquences textuelles des données et
15:15
l'ordre dans lequel elles sont présentées au modèle durant
15:17
l'entraînement. Un corpus parfaitement exact
15:20
mais concentré sur des expressions rares produit un
15:22
modèle moins robuste qu'un corpus imparfait, dominé par des
15:25
expressions courantes. Une question reste ouverte
15:28
pourtant que la recherche n'a pas encore complètement
15:31
formulée. Si les LLM héritent des biais de
15:33
fréquence du langage humain, et Adam Slow suggère qu'ils le font
15:36
avec une fidélité remarquable, alors ils héritent aussi de
15:39
toutes les asymétries de ce langage.
15:42
Les langues dominées par des locuteurs riches, urbains,
15:45
diplômés ont une distribution de fréquence textuelle radicalement
15:48
différente de celle des locuteurs ruraux peu scolarisés
15:52
ou parlant des langues minoritaires.
15:54
Le modèle Excel, là où les groupes sur représentés dans ces
15:57
données écrivent souvent, ils butent là où les groupes sous
16:00
représentés écrivent peu. Ce n'est pas une critique du
16:03
papier d'Adam Lou qui ne prétend pas répondre à ces questions,
16:07
c'est la grille de lecture que le papier permet de formuler
16:09
pour la première fois avec rigueur.
16:12
Ebinghaus mémorisait des syllabes sans sens pour
16:14
comprendre la mémoire. Zip contait des mots dans des
16:17
journaux pour comprendre le langage, benford regardait des
16:20
pages usées pour comprendre les nombres.
16:23
Adam Lou a reformulé des problèmes de maths avec des mots
16:26
simples pour comprendre les LLM. Dans chacun de ces cas, la même
16:29
révélation, la fréquence n'est pas une propriété accessoire du
16:32
monde, c'est une de ses lois fondamentales.
16:36
Et les machines que nous construisons pour penser ne font
16:39
pas exception à une loi que la nature a imposée au cerveau
16:42
humain depuis 150 ans. Vous écoutiez Adam Slow.
16:48
Les LLM comprennent mieux ce qu'ils ont déjà vu, et c'est une
16:50
loi. Merci d'avoir écouté jusqu'au
16:52
bout si cet épisode vous a donné une grille de lecture que vous
16:55
n'aviez pas, partagez le à quelqu'un qui conçoit des
16:58
systèmes d'i a ou à quelqu'un qui croit encore que les LLM
17:01
raisonnent de façon universelle.