Latest / Le centre de gravité / Pendant que le chercheur dort

Transcript

Pendant que le chercheur dort · Le centre de gravité

0:00
Pendant que le chercheur dort, chapitre un, la scène.
0:04
Vous allez dormir sur votre machine.
0:06
Un agent continue, il modifie le code, lance un essai court, lis
0:10
le score. Si c'est mieux, il garde, si
0:12
c'est moins bien, il jette, puis il recommence encore encore
0:16
toute la nuit. Le sujet de cet épisode est
0:18
simple, une machine peut désormais mener seule pendant
0:21
des heures, une part utile du travail expérimental.
0:23
Au matin, vous ne Retrouvez pas une révélation, vous Retrouvez
0:26
un journal d'expérience, beaucoup d'échecs, quelques
0:29
idées utiles, parfois un défaut que vous n'aviez pas vu.
0:32
Voilà l'image juste d'Autory Search.
0:34
En mars 2026, Andreï Karpathy publie ce système sur github, vu
0:37
de loin, presque rien, un petit dépôt, quelques fichiers, un
0:40
rythmi, puis on lit et le rythmi ressemble moins à une
0:44
documentation qu'à un prologue. Carpathy écrit.
0:47
Depuis un futur où la recherche aurait déjà basculé vers des
0:50
essaims d'agents IA. Puis il lâche cette phrase, ce
0:52
dépôt serait l'histoire de comment tout a commencé.
0:54
Le plus troublant, c'est ce qu'il y a juste en dessous, pas
0:57
un programme secret, pas une cathédrale logicielle, un
1:00
mécanisme minuscule, presque scolaire, et c'est précisément
1:03
pour cela qu'il faut s'y arrêter.
1:06
Les grandes bascules commencent souvent comme cela, non pas par
1:08
une forteresse, mais par un mécanisme assez simple pour
1:11
qu'on voit enfin le problème à nu vu en version grand public,
1:14
c'est assez simple. Un chercheur humain teste
1:17
quelques idées dans la journée, puis il s'arrête, il fatigue, il
1:21
oublie parfois ce qu'il a déjà essayé.
1:22
Ici, le processus continue seul. Dans certains retours publics,
1:26
on voit autour d'une douzaine d'essais par heure, donc sur une
1:29
nuit, non pas 2 ou 3 tentatives, mais parfois des dizaines, voire
1:33
près d'une centaine. Retenons juste ceci, ce qui
1:36
change ici, ce n'est pas une intelligence magique, c'est une
1:39
capacité nouvelle à enchaîner des essais utiles sans peau
1:42
humaine. Très concrètement, que fait ce
1:44
système ? Vous lui donnez un objectif
1:46
précis, par exemple améliorer un petit modèle avec un budget fixe
1:50
de 5 Min par essai. L'agent change le code, lance un
1:53
run, regarde la métrique, c'est à dire le chiffre qui lui dit si
1:56
le résultat est meilleur ou moins bon.
1:59
Si c'est mieux il garde, sinon il annule, puis il repart.
2:02
Ce n'est pas une théorie du tout, c'est une machine qui
2:05
essaie pendant que vous dormez et c'est déjà assez pour que
2:08
quelque chose bouge. Parce qu'une partie du travail
2:10
expérimental peut désormais tourner seule pendant des heures
2:13
sans présence humaine continue. C'est peut être cela le premier
2:16
vrai seuil franchi. Pas une machine qui découvre
2:19
seule une grande théorie, mais une machine à qui l'on peut
2:22
laisser une nuit entière d'essais utiles.
2:24
À partir de là, le sujet n'est plus seulement technique, il
2:27
devient aussi psychologique, organisationnel, culturel.
2:31
Chapitre 2, pourquoi karpati ? Compte.
2:33
Si ce dépôt intéressait moins de monde, on pourrait le ranger
2:36
dans la case des démos élégantes, mais il est signé
2:39
Andreï karpati et cela change tout.
2:41
Karpati n'est pas seulement un chercheur connu, c'est un
2:44
passeur à Stanford, sous la direction de Fay Fayley, l'une
2:47
des grandes figures de la vision par ordinateur et de l'essor de
2:50
l'i a moderne. Il s'est formé à la frontière de
2:52
la recherche avec le cours CS231N, ses vidéos et ses petits
2:55
dépôts. Il a appris à une génération
2:57
entière à regarder les réseaux de neurones sans mystique.
3:00
Chez Tesla, il a travaillé sur des systèmes de perception à
3:03
très grande échelle, En clair, des systèmes qui devaient
3:06
vraiment voir le monde. Il faut ajouter ici un détail
3:08
important. Carpathy montre auto Research
3:13
sur un petit projet maison dans la lignée de Nano GPT et Nano
3:16
Chat en langage simple, des versions compactes, lisibles,
3:19
pédagogiques de modèles de langage, pas des monstres
3:23
industriels incompréhensibles, des systèmes assez petits pour
3:26
qu'on puisse encore suivre ce qui se passe dans ces
3:29
démonstrations publiques, l'agent lance des essais très
3:31
courts, souvent autour de 5 Min, lit une métrique simple, puis ne
3:35
garde que les changements qui améliorent le score.
3:37
C'est précisément ce qui rend la démonstration forte.
3:40
Si, même sur un terrain aussi simple, un agent autonome
3:43
commence à trouver des gains réels, alors ce n'est plus
3:45
seulement une curiosité, c'est un signal.
3:47
Si carpathie compte ici, ce n'est pas seulement parce qu'il
3:50
est célèbre, c'est parce qu'il a passé des années à distinguer
3:53
dans des systèmes compliqués ce qui relève du décor et ce qui
3:57
relève du cœur. Quand il publie une boucle
3:59
minuscule, il est raisonnable de supposer qu'il montre quelque
4:02
chose d essentiel. Quand quelqu'un comme Carpathy
4:04
publie un outil minuscule, il faut regarder 2 fois chez lui.
4:08
La réduction n'est pas décorative, c'est une manière de
4:10
montrer le cœur du problème. En clair, si un tel mécanisme
4:14
produit déjà des gains sur un terrain aussi lisible, alors il
4:17
mérite d'être pris au sérieux bien au-delà du cas.
4:19
D'école. Chapitre 3, ce que la boucle
4:22
récupère. Pour.
4:23
Comprendre auto Research il faut regarder la mécanique la plus
4:26
simple, l'humain préparé, un terrain de jeu, une métrique des
4:29
règles, un budget par essai. Puis l'agent prend le relais, il
4:31
modifie le code, lance une. L'expérience courte.
4:34
Lit le résultat. Garde où jette, puis recommence.
4:37
Toute l'idée est là, pas dans une intelligence mystérieuse,
4:39
dans une cadence. Et c'est là que l'on comprend la
4:42
portée du dépôt. Ce que kerpaty publie au fond,
4:44
ce n'est pas seulement du code, c'est une petite organisation de
4:47
recherche, une manière de décider ce qu'on teste, ce qu'on
4:50
garde, ce qu'on jette. Et quand on repart, le vrai
4:53
objet n'est pas le modèle. C'est le cycle.
4:55
Lui même le. Point décisif, c'est que
4:57
l'humain ne décrit pas seulement un modèle, il décrit aussi.
4:59
La manière de. Faire de la recherche comment
5:02
lancer une expérience ? Nommer les essais, comment
5:04
journaliser les résultats, comment traiter un crash,
5:07
comment arbitrer entre gain et complexité et surtout.
5:10
Une fois lancé. Ne t'arrêtes pas pour demander à
5:12
l'humain, il dort peut être. Prenons une nuit typique.
5:15
Le soir, vous fixez une métrique, un budget de 5 Min par
5:19
essai et quelques règles de sécurité.
5:21
Pendant la nuit, la machine teste des variantes, la plupart
5:24
échouent, quelques-unes améliorent légèrement le score.
5:26
Au matin, vous n'avez pas une illumination, vous avez mieux
5:29
une petite carte du terrain déjà défriché.
5:31
Pour le dire autrement, l'humain.
5:33
Fixe le jeu, puis la machine joue beaucoup plus vite que lui.
5:36
Elle n inventé pas forcément de nouvelles grandes questions,
5:38
elle explore plus vite l'espace des réponses possibles.
5:41
Ce que récupère la machine ici est très concret, la partie
5:44
répétitive et centrale de l'essai expérimental.
5:47
Tenter, mesurer, comparer, jeter, garder.
5:50
C'est précisément pour cela que le projet compte.
5:52
Si on le regarde de loin, on voit un outil qui optimise du
5:56
code, si on le regarde de près, on voit un métier qui se découpe
5:59
et une couche de ce métier qui devient automatisable.
6:02
Carpathy le formule presque explicitement après quelques
6:05
semaines, il a l'impression d'avoir davantage itéré sur la
6:08
manière dont les agents explorent et sélectionnent que
6:10
sur le projet lui même. Voilà le déplacement, le
6:13
chercheur ne disparaît pas, il monte d'un étage dans ce cadre,
6:16
le matin ne commence plus par une page blanche, il commence
6:19
par des résultats déjà. Des idées mortes, des idées
6:22
retenues, des pistes à empiler, ce n'est pas encore une
6:25
disparition, c'est déjà un déplacement.
6:27
Chapitre 4, les preuves il faut toujours se méfier des
6:30
technologies qui racontent trop vite leur propre grandeur.
6:33
Alors la question simple à poser à autorisseur chez celle-ci, est
6:36
ce qu'il y a déjà autre chose qu'un joli récit ?
6:38
À ce stade ? La réponse est oui.
6:40
Premier signal carpathy. Lui même.
6:42
Il explique avoir laissé tourner autorisseur pendant environ 2
6:45
jours sur un petit modèle. Le système tente des centaines
6:48
de changements. Il en retient une vingtaine.
6:50
Qu'il juge réellement utile. Puis, ses modifications se
6:53
transfèrent sur des modèles plus grands.
6:55
Son bilan public ? Environ 11% de mieux sur son
6:58
indicateur interne. Dans certains billets et
7:01
commentaires relayés publiquement, on voit aussi
7:04
passer des ordres de grandeur plus fins, autour de 700 essais
7:07
sur 2 jours ou une session de plus de 80 expériences, dont une
7:10
quinzaine conservée. Il faut manier ces chiffres avec
7:13
prudence, ils viennent surtout de retour public.
7:15
Pas d'une réplication indépendante en règle il faut
7:18
rester prudent. Ce n'est pas une grande
7:19
réplication indépendante. Mais le point important est
7:22
ailleurs, la boucle ne produit pas seulement du bruit, elle
7:25
semble trouver de petites améliorations que l'humain
7:27
n'avait pas trouvé lui même. Et quand on regarde la nature
7:30
de. Ces gains, on comprend mieux la
7:32
scène. Pas un miracle, des réglages
7:34
exacts, un oubli repéré dans une normalisation, une
7:37
régularisation affinée, des paramètres corrigés, une
7:40
initialisation améliorée. Rien de spectaculaire pris
7:43
séparément mais ensemble, un vrai gain.
7:45
À ce stade, on peut dire 3 choses.
7:47
Premièrement, la boucle semble. Capable de produire.
7:50
Autre chose que du bruit. Deuxièmement, ces gains restent
7:53
encore documentés, surtout par des retours publics et non par
7:56
une large réplication indépendante.
7:58
Troisièmement, même dans ce cadre prudent, elle révèle des.
8:01
Déjà une forme de travail automatisable 2e signal, la
8:04
Communauté. Le dépôt attire très vite une
8:06
attention massive. Les chiffres varient selon le
8:09
moment où on regarde, mais le Repo accumule rapidement des
8:12
dizaines de milliers de regards, des milliers d'étoiles, des
8:15
forks, des adaptations. Le vrai signal, ce n'est pas
8:17
l'enthousiasme, c'est le moment où les gens commencent à refaire
8:20
le système chez eux. En clair, on passe du projet
8:23
observé au projet essayé. Là, il faut traduire une
8:26
métrique, c'est le chiffre qu'on regarde pour savoir si on
8:29
progresse. Un proxy, c'est un chiffre
8:30
imparfait mais pratique. Pas exactement ce qu'on veut au
8:33
fond, mais un bon indicateur pour avancer vite.
8:36
C'est là que l'analyse devient plus intéressante que la seule
8:38
performance. Auto Research n'est pas
8:40
important seulement parce qu'il améliore un petit modèle, il est
8:43
important parce qu'il rend visible une structure générale
8:46
du travail expert, hypothèses, essais, signaux, éliminations.
8:50
Un pentest fonctionne souvent comme cela, un débogage
8:53
difficile aussi, une optimisation de performance
8:55
aussi. Le dépôt ne vise peut être qu'un
8:57
coin du monde technique, mais il éclaire une forme de travail
9:00
beaucoup plus large. Et il y a déjà des cas relayés
9:03
publiquement autour du projet le plus commenté.
9:05
Tobias Lutke, le patron de Shopify, évoque une nuit de 37
9:09
expériences sur un modèle interne avec un gain de l'ordre
9:11
de 19%. Là encore, prudence.
9:16
Ce n'est pas une publication académique, mais c'est
9:18
exactement le type de signal qu'il faut regarder, le moment
9:21
où la boucle sort du dépôt de DÉMO et commence à se brancher
9:24
sur d'autres problèmes réels. On peut objecter que tout cela
9:28
reste local, des systèmes bien instrumentés, des métriques
9:30
rapides, des cycles d'essais courts.
9:32
C'est une objection sérieuse, mais les bascules techniques
9:35
commencent souvent ainsi, d'abord dans les zones les plus
9:37
mesurables, puis progressivement ailleurs.
9:40
Chapitre 5, au-delà des modèles, jusqu'où ?
9:44
C'est ici que le sujet devient plus vaste que les modèles de
9:46
langage. La phrase la plus importante est
9:48
presque simple, toute métrique qui compte pour vous si elle est
9:51
assez rapide à évaluer ou si vous avez un bon proxy, peut
9:54
potentiellement entrer dans le champ de cette méthode.
9:57
Autrement dit, pas seulement la perte d'un modèle, aussi la
10:00
mémoire, la latence, c'est à dire le temps de réponse, le
10:03
coup, la robustesse, c'est à dire la capacité à rester fiable
10:06
quand les conditions changent, la performance de rendu.
10:09
Dès qu'un problème devient assez mesurable, il peut commencer à
10:12
devenir auto researchable. Cela veut dire que le cas de
10:15
démonstration montré par Karpaty, un petit modèle de
10:18
langage n'est peut être que le début.
10:20
D'autres commentateurs l'ont relevé très vite.
10:22
Le même Pattern peut viser l'optimisation de code, la
10:25
taille d'un bundle frontend, le temps de compilation, la
10:28
consommation mémoire, la latence d'un service ou la qualité d'un
10:31
système de retrivol. Partout où l'on peut modifier,
10:34
tester, mesurer, trier, il faut toutefois distinguer 3 niveaux.
10:38
Ce qui est démontré ici, le système peut améliorer un petit
10:42
modèle sur une métrique donnée, avec des essais courts et un
10:45
signal simple à lire, ce qui devient plausible.
10:47
La transposition à d'autres problèmes bien instrumentés et
10:51
ce qui reste plus spéculatif, une généralisation large à des
10:54
domaines où les signaux sont lents, ambigus ou coûteux à
10:57
évaluer. Dit autrement, démontrer sur un
11:01
petit terrain propre plausible sur d'autres terrains bien
11:04
mesurés, beaucoup plus incertain dès que l'évaluation devient
11:07
lente, floue ou cher. Il faut être honnête, tous ces
11:10
usages ne sont pas également démontrés publiquement autour du
11:13
dépôt lui même. Certains sont déjà commentés de
11:15
manière assez concrète, d'autres relèvent encore d'une
11:18
extrapolation plausible. Mais c'est précisément cela qui
11:21
rend le dépôt important, pas seulement ce qu'il fait déjà,
11:24
mais la direction qui le rend crédible.
11:26
C'est là que le dépôt devient plus qu'une démo ML.
11:29
Il devient une preuve de concept pour une forme générale, une
11:32
boucle d'essai, de mesure et de sélection qui peut en principe
11:35
s'appliquer à tout problème suffisamment instrumenté.
11:38
Et c'est aussi là qu'il faut parler d'un autre horizon, les
11:41
Darwin gödelmachine ou plus largement les systèmes d'auto
11:44
amélioration récursives. Il faut remonter un peu.
11:46
Le mot gödel renvoie ici à une vieille idée de l'i.
11:49
A théorique popularisée dans les années 2000 par le chercheur
11:51
Jürgen Schmidthuber. Une machine capable de raisonner
11:55
sur son propre fonctionnement, de prouver qu'une modification
11:59
d'elle même la rendra meilleure, puis d'appliquer cette
12:01
modification en version forte. C'est presque un mythe fondateur
12:05
de l'auto amélioration, une intelligence qui ne se contente
12:08
pas d'agir dans le monde, mais qui se réécrit elle même sur des
12:11
bases démontrées. Darwin, dans cette expression,
12:14
renvoie à tout autre chose, non pas la preuve, mais la variation
12:17
et la sélection. On génère plusieurs versions, on
12:21
les teste, les mauvaises disparaissent, les meilleurs
12:23
survivent. Plus on recommence.
12:26
Dit autrement, Darwin ici c'est l'essai erreur sélectionné.
12:30
Gödel, ce serait l'auto amélioration démontrée.
12:33
Auto Research est clairement du premier côté, pas encore du 2nd.
12:37
En revanche, il y a bien quelque chose de darwinien dans le
12:39
procédé, des variantes sont générées, elles sont testées,
12:42
les mauvaises sont éliminées, les meilleures survivent, et
12:45
cette sélection se répète en langage simple, on essaie
12:50
beaucoup, on garde ce qui marche, puis on recommence à
12:53
partir de là. Ce n'est pas encore la machine
12:55
de science-fiction qui s'améliore sans fin, mais c'en
12:57
est peut être une brique crédible, une version terrestre
13:00
modeste et instrumentée d'un vieux rêve de l'i a une machine
13:04
qui commence à améliorer la machine qui améliore.
13:07
Voilà peut être le vrai déplacement.
13:09
Hier le goulot d'étranglement était dans l'exécution, le
13:12
temps, la fatigue, le nombre d'essais qu'un humain pouvait
13:15
réellement mener. Demain le goulot remonte vers
13:18
autre chose, le choix du bon signal.
13:21
Dès qu'un système peut chercher vite, la question décisive n'est
13:24
plus peut-on explorer, elle devient qu'est ce qu'on demande
13:28
exactement à l'exploration de maximiser ?
13:31
Chapitre 6, ce qu'on a appris et ce qui inquiète.
13:35
Voilà au fond ce qu'apporte auto Research, pas une nouvelle
13:38
théorie scientifique, pas une AGI tombée du ciel, quelque
13:40
chose de plus simple et peut être de plus important, la
13:43
preuve publique qu'une partie du travail expérimental peut être
13:47
confiée à un système autonome. Ce déplacement change le métier,
13:52
pas d'abord au sommet, pas d'abord dans la grande
13:54
intuition. Ce qui bouge d'abord, c'est la
13:56
zone intermédiaire, générer des variantes, lancer des essais,
14:00
comparer des courbes, éliminer des pistes, empiler des petits
14:04
réglages. Le premier chercheur
14:06
partiellement déplacé n'est sans doute pas celui qui pense, c'est
14:09
d'abord celui qui essaie. Cela peut être grisant.
14:13
Vous laissez la machine explorer toute la nuit et vous vous
14:16
réveillez avec un espace de solutions déjà cartographié.
14:19
Mais cela peut aussi être inquiétant, une part centrale de
14:22
la valeur quotidienne devient soudain reproductible, Scalable,
14:26
industrialisable. Dit autrement, une partie de ce
14:29
que faisait hier une personne compétente peut commencer à être
14:33
produite en série. Et c'est souvent ainsi qu'un
14:35
métier change, pas par un grand soir, par glissement.
14:39
Il faut enfin ajouter la limite centrale, sinon on raconte mal
14:42
l'histoire. Tout dépend du proxy choisi si
14:45
la métrique est mauvaise. La boucle peut devenir
14:47
extraordinairement efficace à optimiser la mauvaise chose.
14:52
En version simple, elle peut devenir très bonne pour gagner
14:55
au jeu que vous lui avez donné, même si ce jeu mesure mal ce que
14:58
vous vouliez vraiment. Prenons un cas simple, vous
15:01
demandez à la boucle de réduire la latence d'un service.
15:04
Elle découvre une modification qui accélère les réponses sur
15:07
votre benchmark de test. Très bien, sauf qu'en conditions
15:11
réelles, cette modification dégrade la robustesse ou la
15:14
qualité des résultats. La boucle a bien travaillé,
15:18
c'est la consigne qui était incomplète, c'est la force du
15:21
système et sa fragilité. Ce qui remonte alors vers
15:25
l'humain. Ce n'est plus seulement
15:26
l'exécution, c'est le jugement qui choisit la métrique, qui
15:30
décide ce qu'il faut accélérer. Qui dit qu'un gain de 11% sur un
15:34
temps d'entraînement vaut plus qu'une autre amélioration plus
15:37
difficile à mesurer. Un système autonome ne supprime
15:41
pas le jugement humain, il le déplace plus haut, plus
15:44
abstrait. Plus stratégique, le laboratoire
15:47
sans sommeil n'efface pas encore le chercheur, mais il l'oblige
15:51
déjà à changer de place et c'est peut être là que tout commence.
15:55
Vous écoutiez pendant que le chercheur dort.
15:57
Merci de votre écoute.