Latest / Le centre de gravité / LLM Wiki — Karpathy ouvre l’après-RAG

Transcript

LLM Wiki — Karpathy ouvre l’après-RAG · Le centre de gravité

• 0:00
  Épisode LLM wiki Carpathy ouvre l'après rague.
• 0:03
  Chapitre 1 1 fichier texte contre 500 milliards.
• 0:07
  Une industrie entière cherche des modèles plus gros.
• 0:10
  Un chercheur poste 4 pages de texte.
• 0:13
  Et soudain, la vraie question n'est plus la puissance, c'est
• 0:16
  la mémoire. Commençons par le paradoxe.
• 0:19
  En février 2026, Anthropic boucle une levée de 30 milliards
• 0:22
  de dollars, valorisation post monnaie 380 milliards.
• 0:24
  Open AI vaut 500 milliards depuis l'automne et cherche 100
• 0:27
  milliards de plus pour monter à 830.
• 0:29
  Et puis le 3 avril vers 23h00 heure française, André Carpati
• 0:31
  poste un tweet, pas un produit, pas un modèle, un texte.
• 0:34
  Si ce texte a fait autant de bruit, ce n'est pas parce qu'il
• 0:38
  annonçait un meilleur moteur de recherche, c'est parce qu'il
• 0:40
  touchait. Sans vraiment le dire.
• 0:44
  Le défaut le plus sous-estimé de l'i a actuelle, elle lit, elle
• 0:47
  répond, elle oublie l'homme, on le connaît déjà ici, il y a 3
• 0:51
  semaines à peine, on lui consacrait un épisode entier sur
• 0:53
  auto Research, une boucle d'agent qui faisait tourner des
• 0:56
  expériences pendant qu'on dormait déjà un objet minuscule,
• 0:59
  déjà une onde de choc. Cette fois, il pousse plus loin,
• 1:02
  le tweet s'intitule LLM Knowledge bases.
• 1:04
  Il commence par une phrase à lire lentement, une grande
• 1:07
  partie de mes tokens récents ne servent plus à manipuler du
• 1:10
  code, mais à manipuler de la connaissance, le mot important.
• 1:13
  Est là connaissance quelque chose qui reste, qui s'organise,
• 1:17
  qui compose. Le lendemain, devant la
• 1:19
  déferlante, il publie un github, juste un fichier texte, aucun
• 1:22
  code, aucune licence, juste une description en anglais de sa
• 1:26
  méthode. 4 pages à tout casser. Les chiffres tombent très vite
• 1:29
  19,6, 1000000 de vues sur le tweet, 55000 likes, 6500
• 1:32
  Repostes sur Github, 5000 étoiles en 48 h, plus de 4000
• 1:36
  Forks dans les 2 semaines. Les forks, il faut s'y arrêter
• 1:38
  une 2nde, ce ne sont pas des signets, c'est.
• 1:43
  Si j'ai pris ton idée, je pars construire la mienne 4000 fois.
• 1:47
  Alors la question n'est déjà plus, pourquoi ce Buzz ?
• 1:49
  La question devient plus intéressante, pourquoi une idée
• 1:52
  aussi abstraite, décrite en 4 pages AT elle touché un point
• 1:55
  que 3 ans de rag, de base vectorielle, de Notebook LM, de
• 1:58
  start-up à milliard n'avait pas touché.
• 2:00
  Parce qu'au fond, carpathy ne propose pas un outil, il propose
• 2:03
  une mémoire. Chapitre 2.
• 2:06
  Le génie amnésique, nos intelligences artificielles
• 2:09
  savent presque tout et ne retiennent rien.
• 2:11
  Chaque conversation recommence à 0.
• 2:13
  C'est peut être le défaut le plus sous-estimé de la décennie.
• 2:16
  Une expérience familière, vous ouvrez chat, GPT, vous lui
• 2:19
  expliquez un problème, il vous répond souvent très bien.
• 2:22
  D'ailleurs, le lendemain vous revenez, vous lui reposez une
• 2:25
  question dans la foulée de la veille et il vous regarde
• 2:27
  métaphoriquement comme si vous veniez d'entrer dans la pièce
• 2:30
  pour la première fois. Il a tout oublié.
• 2:32
  Ce n'est pas un bug, c'est l'architecture.
• 2:36
  Depuis 3 ans, la méthode dominante pour connecter un
• 2:38
  modèle à des documents, ça s'appelle le Rag Retrievol
• 2:41
  Augmented génération génération augmentée par la recherche.
• 2:45
  Dit autrement, on ne donne pas au modèle une mémoire, on lui
• 2:49
  donne un moteur de recherche, et ce moteur de recherche
• 2:51
  fonctionne. Comment ?
• 2:52
  Vous prenez vos livres, vous les déchirez en morceaux.
• 2:55
  Chaque morceau devient une longue liste de nombres qui
• 2:57
  tentent de capturer le sens. Puis vous jetez le tout dans un
• 3:00
  sac, une base de données vectorielle.
• 3:02
  À chaque question, le système plonge la main dans ce sac, il
• 3:06
  sort les morceaux mathématiquement les plus
• 3:07
  proches de votre requête et il dit au modèle, maintenant
• 3:10
  réponds, ça marche très souvent, mais ça ne construit rien.
• 3:14
  À la question suivante, on replonge, on refait la soupe à
• 3:17
  partir des mêmes miettes, rien ne s'est sédimenté entre les 2
• 3:20
  conversations. C'est là que le rag rate quelque
• 3:23
  chose de plus profond que la recherche.
• 3:25
  Il ne résout pas le problème de mémoire, il le contourne et
• 3:28
  depuis 3 ans. Toute une industrie a surtout
• 3:31
  appris à mieux contourner le problème.
• 3:33
  Carpathy dans son fichier texte emploie une image nette, le rag
• 3:37
  dit il, c'est cuisiner un plat de 0 à chaque fois qu'on a faim.
• 3:40
  Le problème est plus profond qu'une histoire de cuisine, un
• 3:43
  embeding, un vecteur de paragraphe, c'est un fantôme
• 3:46
  mathématique, ça ressemble au sens, ça n'en est pas.
• 3:49
  Un paragraphe découpé en morceaux ne sait pas où il était
• 3:52
  dans le document, il ne sait pas s'il était central ou
• 3:54
  périphérique, il ne sait pas qu'il contredit un autre
• 3:57
  paragraphe, 30 pages plus loin. Il flotte tout seul et 3 ans
• 4:01
  durant, toute une industrie a travaillé à rendre ses fantômes
• 4:04
  moins flous. Personne ne s'est demandé
• 4:06
  pourquoi la machine n'apprend rien, jamais.
• 4:08
  Pourquoi, au bout de 1000 questions sur le même sujet,
• 4:11
  elle ne sait toujours pas un mot de plus qu'à la première.
• 4:14
  Imaginez un assistant brillant, il lit 100£ par jour et qui,
• 4:18
  chaque matin, aurait oublié jusqu'à votre prénom.
• 4:20
  C'est à peu près ce qu'on utilise tous les jours et ça
• 4:23
  nous paraît normal. Ce que carpathy met à nu, ce
• 4:26
  n'est pas l'échec d'un produit. C'est une limite d'architecture.
• 4:30
  Tant qu'une IA recommence à 0 à chaque conversation, elle reste
• 4:33
  prisonnière d'un présent perpétuel.
• 4:34
  Lui propose autre chose non plus, chercher à chaque fois,
• 4:38
  compiler une fois, puis accumuler.
• 4:41
  Chapitre 3, compiler le savoir l'intuition de Carpathy tient
• 4:47
  dans un mot volé aux développeurs, compiler, traiter
• 4:51
  la connaissance comme on traite du code et voir ce qui se passe.
• 4:54
  Un mot d'abord, compiler. Dans le monde du développement,
• 4:57
  ça veut dire prendre du code source lisible par un humain et
• 5:00
  le transformer en quelque chose d'exécutable par une machine.
• 5:03
  On compile une fois, on exécute 1000 fois le travail lourd, on
• 5:07
  le fait au départ, après ça tourne.
• 5:10
  Carpathy prend cette idée et il la déplace ailleurs.
• 5:13
  Ce qu'on compile, ce n'est plus du code, c'est de la
• 5:15
  connaissance. Les articles qu'on lit, les
• 5:17
  papers, les notes, ça devient le code source.
• 5:20
  Le LLM c'est le compilateur, ou du moins il essaie de l'être et
• 5:23
  ce qu'il produit, ce n'est pas une réponse éphémère, c'est un
• 5:26
  wiki, un vrai des fichiers markdown, organisés,
• 5:29
  interconnectés, qui restent dans son just.
• 5:32
  Carpathy résume ça en une phrase devenue virale, obsidian est l'i
• 5:36
  DE le LLM est le programmeur, le wiki et le codebase 3 objets, et
• 5:39
  l'i d passe d'un coup. Ce qui change, c'est le moment
• 5:44
  du travail dans le rag, le travail se fait à chaque
• 5:45
  question, on cherche, on récupère, on assemble, on répond
• 5:50
  et on recommence. Toujours dans le modèle de
• 5:53
  carpathy, le travail se fait à l'entrée, vous donnez une source
• 5:56
  au système, il la lit, il ne l'indexe pas pour plus tard, il
• 5:59
  l'intègre, il ouvre le wiki existant, intègre la nouvelle
• 6:03
  source, tisse les renvoie, et quand elle contredit quelque
• 6:06
  chose qu'il savait, il le signale.
• 6:08
  Une seule source qui entre 10 à 15 pages, qui bougent sans un
• 6:12
  humain pour tenir le stylo. C'est là que se loge le vrai
• 6:15
  déplacement, la tâche la plus ingrate de toute base de
• 6:17
  connaissances. Ce n'est ni la lecture ni la
• 6:20
  réflexion, c'est la comptabilité.
• 6:22
  Tenir les renvois à jour, noter les contradictions qui arrivent.
• 6:25
  Aucun humain ne fait ça jusqu'au bout.
• 6:27
  On commence, on tient 6 mois, puis on abandonne trop long.
• 6:31
  Les machines, elles, ne s'ennuient pas.
• 6:33
  Elles ne se lassent pas. Elles peuvent toucher 15
• 6:35
  fichiers en un passage et recommencer le lendemain sur la
• 6:38
  même rigueur. Le coût de la maintenance, qui a
• 6:41
  tué 1000 wiki d'entreprise et 10000 bases de connaissances
• 6:43
  personnelles, tombe presque à 0. Une scène pour rendre ça
• 6:47
  concret, carpathy ouvre un essai de Paul Graham, le cofondateur
• 6:50
  de White Combinator, essayiste, figure de la Silicon Valley.
• 6:54
  L'essai parle de pensée indépendante, il le donne au
• 6:57
  système. Le wiki crée une page, la relie
• 7:00
  à d'autres et dans la section notes, sans qu'on ne lui ai rien
• 7:03
  demandé, il trace un lien vers un essai de danko sur l'écriture
• 7:06
  comme outil de pensée. 2 auteurs qui ne se sont jamais parlé, une
• 7:10
  idée commune, une connexion que carpathy lui même n'avait pas
• 7:13
  vu. Et ce n'est pas un accident,
• 7:15
  c'est le fonctionnement normal du système.
• 7:17
  Plus le wiki grandit, plus ces rapprochements se produisent.
• 7:21
  Les bonnes questions qu'on pose deviennent de nouvelles pages.
• 7:23
  Les réponses ne meurent plus dans l'historique du chat, elles
• 7:26
  s'inscrivent et elles se relient à tout le reste.
• 7:28
  Un ordre de grandeur pour terminer le wiki personnel de
• 7:32
  carpathy sur un seul sujet de recherche, environ 100 articles,
• 7:36
  400000 mots 2 fois guerre, épais, écrits par personne,
• 7:38
  maintenus par personne ou presque.
• 7:41
  Ce n'est pas une meilleure recherche, c'est une autre
• 7:44
  nature de mémoire, et quelqu'un avait déjà décrit exactement ça
• 7:47
  il y a 80 ans. Dans l'ombre d'Hiroshima.
• 7:52
  Chapitre 4, juillet 1945, quelques semaines avant
• 7:54
  Hiroshima, un homme publie un essai.
• 7:58
  Il a dirigé 10000 scientifiques pendant la guerre.
• 8:01
  Il vient de coordonner en coulisses la création de la
• 8:04
  bombe et il écrit sur la mémoire humaine.
• 8:09
  Il faut remonter un peu Van Evar Bush, un ingénieur formé au MIT,
• 8:13
  né en 1890, mort en 1974. En juin 1941, Roosevelt signe
• 8:19
  l'Executive Order 8807 et le place à la tête d'un organisme
• 8:23
  qui s'appelle l'O. SRD, l'Office of Scientific
• 8:24
  Research and Development. L'o SRD, c'est le bureau qui
• 8:27
  pilote toute la recherche scientifique américaine pendant
• 8:31
  la guerre, sous l'autorité de Bush, pendant 4 ans travaillent
• 8:33
  près de 10000 scientifiques et ingénieurs, les 2/3 des
• 8:37
  physiciens du pays. Il rapporte directement au
• 8:39
  président, sans filtre, sans hiérarchie militaire
• 8:41
  intermédiaire. Accès direct à la Maison Blanche
• 8:51
  le New York Times écrira plus tard qu'il était un maître pour
• 8:54
  contourner les obstacles, qu'ils soient techniques, politiques ou
• 8:57
  des généraux têtus. Ce qui sort des laboratoires
• 9:00
  qu'il dirige redessine le siècle, le radar qui équipe les
• 9:04
  bombardiers, la pénicilline produite en masse qui sauve des
• 9:07
  centaines de milliers de vies, et un programme en particulier,
• 9:11
  un programme que Bush, personnellement, a convaincu
• 9:14
  Roosevelt de lancer le programme de la bombe atomique.
• 9:18
  Il coordonne tout au début la chaîne entière, jusqu'à fin 1942
• 9:22
  où l'armée reprend la main sous le nom de Manhattan Project.
• 9:25
  Mais c'est Bush qui a allumé la mèche.
• 9:28
  Sans lui, la bombe arrive peut être trop tard ou pas du tout du
• 9:33
  côté américain. Maintenant, accrochez vous parce
• 9:35
  que le moment suivant, c'est le cœur de l'histoire.
• 9:38
  Juillet 1945, la guerre en Europe est finie depuis 2 mois.
• 9:45
  La bombe est prête, testée dans le désert du nouveau Mexique le
• 9:48
  16 juillet, mais elle n'est pas encore tombée.
• 9:51
  Hiroshima, c'est le 6 août, Nagasaki le 9.
• 9:55
  Entre ces 2 dates, entre le test et la ville, Bush fait quelque
• 9:59
  chose d'étrange. Il publie un essai dans le
• 10:02
  magazine The Atlantic. Le titre as we mais think, comme
• 10:06
  nous pourrions penser l'homme qui vient de coordonner la
• 10:09
  création de l'arme la plus destructrice de l'histoire
• 10:12
  humaine. Publie au moment même où cette
• 10:14
  arme va tomber, un texte sur comment la technologie pourrait
• 10:17
  augmenter la mémoire humaine, pas détruire, augmenter la
• 10:22
  basculer. Là, dans cet essai, Bush décrit
• 10:25
  une machine, il l'appelle le Memex.
• 10:28
  Citation exacte, un memex est un appareil dans lequel un individu
• 10:32
  stocke tous ses livres, ses archives, ses communications, et
• 10:35
  qui est mécanisé de manière à être consulté avec une vitesse
• 10:38
  et une souplesse extrême. Et la phrase qui résonne encore
• 10:42
  aujourd'hui. C'est un supplément intime et
• 10:44
  élargi à sa mémoire. Techniquement, Bush imagine du
• 10:48
  microfilm haute résolution, 10000 images par minute, des
• 10:52
  écrans, des commandes électromécaniques, un bureau,
• 10:56
  pas un ordinateur. L'ordinateur personnel n'existe
• 10:59
  pas encore, il ne naîtra que 30 ans plus tard.
• 11:02
  Mais ce n'est pas le hardware qui compte, c'est ce qu'il voit
• 11:05
  à travers Bush décrit quelque chose qu'il appelle les
• 11:09
  associative trails. Les pistes associatives ?
• 11:12
  Quand une idée relie 2 documents dans votre tête, vous créez un
• 11:16
  lien entre eux, ce lien reste, il est mémorisé par la machine,
• 11:20
  il peut être rejoué, partagé, étendu.
• 11:24
  Ce n'est plus une bibliothèque, c'est une mémoire qui apprend.
• 11:28
  Bush a prévu en 1945 à peu près tout ce qui viendra l'hypertexte
• 11:31
  de Ted Nelson dans les années 60 et 20 ans plus tard, le World
• 11:36
  Wide Web de Tim Berners Lee. Tous sites.
• 11:40
  Bush comme l'ancêtre, mais il y avait une pièce qui manquait,
• 11:44
  une pièce que personne n'avait vraiment résolu.
• 11:47
  Bush avait décrit la machine, il avait décrit les liens, il
• 11:50
  n'avait pas dit qu'il ferait le travail, qui tiendrait les
• 11:52
  pistes à jour, qui repèrerait les contradictions.
• 11:55
  Quand une source nouvelle arrive.
• 11:58
  Wikipédia a essayé avec des volontaires des 1000000 de
• 12:01
  bénévoles pendant 25 ans pour tenir une encyclopédie commune.
• 12:05
  Ça marche à l'échelle collective.
• 12:08
  Mais à l'échelle individuelle, c'est impossible.
• 12:11
  Personne ne tient son propre mémex.
• 12:13
  Trop de travail, trop d'ennuis. Dans son fichier texte d'avril
• 12:17
  2026, carpathy cite Bush explicitement.
• 12:21
  Il écrit en substance, 2 lignes qui ferment un trou ouvert
• 12:25
  depuis 80 ans, Bush n'avait pas résolu qui ferait la
• 12:28
  maintenance. Le LLM s'en occupe.
• 12:31
  Ce qui a attendu 80 ans n'a pas attendu parce que personne n'y
• 12:34
  avait pensé. Ça a attendu parce qu'il
• 12:36
  manquait une machine capable de faire le travail ingrat.
• 12:40
  Cette machine existe maintenant et tout à coup, la question
• 12:43
  n'est plus la même. Chapitre 5, la mémoire est l'axe
• 12:48
  oublié derrière le débat technique se cache une question
• 12:52
  que personne ne pose vraiment. Que devient une intelligence qui
• 12:56
  enfin se souvient ? Avant de répondre, faut être
• 12:58
  honnête, toutes les critiques du LLM wiki ne relèvent pas de la
• 13:01
  jalousie. Certaines sont solides.
• 13:02
  Premier .1 dossier de fichier Markdown sur le disque dur d'un
• 13:05
  chercheur, ce n'est pas une architecture d'entreprise, ni
• 13:06
  contrôle d'accès digne de ce nom, ni audit conforme à une
• 13:10
  réglementation bancaire. Sur medium, meoul gupta, un
• 13:12
  ingénieur data science indien qui écrit régulièrement sur les
• 13:15
  LLM, publie mi-avril un article titré l'idée de Carpati est une
• 13:19
  mauvaise idée. Il n'a pas tort, ce que décrit
• 13:21
  carpati marche pour un chercheur seul ou pour.
• 13:24
  Une équipe de 3 pas pour une banque de 15000 employés. 2e
• 13:27
  point plus concret, dans les commentaires du diste lui même,
• 13:30
  plusieurs utilisateurs documentent la même limite,
• 13:32
  passé 1000 fichiers dans le wiki, le système commence à
• 13:34
  décrocher, l'étape de compilation commence à sauter
• 13:37
  des sources et les contradictions s'empilent au
• 13:39
  lieu de se résoudre. Un blog rémiot, qui a testé la
• 13:42
  méthode en production, documente précisément ces modes d'échecs.
• 13:44
  Les index vieillissent, le wiki à grande échelle redevient ce
• 13:48
  que carpathy voulait éviter, un tas.
• 13:49
  Et il y a une 3e critique plus profonde, la plus intéressante
• 13:52
  si le LLLM hallucine tôt. Dans la construction du wiki,
• 13:55
  s'il écrit une erreur, une approximation, une fausse
• 13:58
  citation, cette erreur s'inscrit en dur.
• 14:00
  Elle devient source au bout de 1000 éditions qui retrouvera la
• 14:03
  faute originelle qui distinguera ce qui vient d'un vrai document
• 14:06
  de ce qui vient d'une hallucination compilée il y a 3
• 14:08
  mois. La connaissance qui compose ça
• 14:10
  veut aussi dire les erreurs qui composent ces critiques sont
• 14:13
  justes. Et pourtant quelque chose
• 14:14
  résiste. Quelque chose que les critiques,
• 14:17
  précisément, ne voient pas. Regardez ce qui s'est passé
• 14:19
  autour du DIST, il a été publié un jeudi soir.
• 14:22
  Le lundi suivant, 3 start-up vendaient déjà l'infrastructure
• 14:25
  pour passer à l'échelle epsila avec son sémantique graff,
• 14:27
  danser nimbble, une douzaine d'autres, tous avec le même
• 14:30
  pitch, carpathy a dessiné le plan, nous vendons la maison
• 14:33
  carpathy, lui n'a rien vendu, pas de licence, pas de société
• 14:37
  autour, il a juste écrit en bas de son fichier texte.
• 14:39
  Ce document est intentionnellement abstrait, il
• 14:42
  décrit d'idée, pas une implémentation.
• 14:44
  Partagez le avec votre agent LLL.
• 14:45
  Et travailler ensemble dans une industrie où chaque idée devient
• 14:48
  un pitch deck. Un homme a offert une
• 14:50
  architecture gratuitement et sans condition.
• 14:52
  C'est peut être ça le vrai signal, pas le contenu, le geste
• 14:56
  maintenant la thèse. Depuis 3 ans, la course à l'i a
• 14:59
  se mesure sur un seul axe, le SCALE.
• 15:01
  Des modèles toujours plus gros, des datacenters toujours plus
• 15:04
  lourds. On compare les IA en paramètres
• 15:05
  et en milliards de dollars investis.
• 15:07
  Carpathy pointe un autre axe, un axe que personne n'optimisait,
• 15:10
  la mémoire, pas la mémoire au sens des octets stockés, la
• 15:13
  mémoire au sens humain, ce qui reste.
• 15:15
  Après qu'on a lu ce qui se sédimente et permet la fois
• 15:18
  suivante de partir d'un peu plus haut, un modèle plus gros ne
• 15:21
  devient pas plus sage, il est juste plus gros.
• 15:23
  Un modèle qui se souvient, qui accumule, qui compose, c'est
• 15:27
  peut être autre chose, on ne sait pas encore bien quoi.
• 15:29
  Tant que chaque conversation avec une IA recommence à 0, l'i
• 15:32
  a reste un outil. Le jour où elle accumule
• 15:34
  vraiment, elle devient autre chose, un partenaire qui apprend
• 15:37
  une mémoire qui grandit à côté de la nôtre peut être bien.
• 15:40
  Bush voulait augmenter la mémoire humaine car patty
• 15:42
  propose de donner une mémoire aux machines, ce n'est pas du
• 15:45
  tout la même. L'histoire, il y a 3 semaines,
• 15:47
  dans l'épisode précédent, on parlait d'Autory Search Carpathy
• 15:50
  avait montré qu'une machine pouvait travailler à notre place
• 15:52
  pendant qu'on dormait. Essayez toute la nuit, gardez ce
• 15:55
  qui marche. Cette semaine, il montre autre
• 15:57
  chose qu'une machine peut aussi se souvenir à notre place
• 16:00
  pendant qu'on vit lire et relier tout seul 2 mouvements, une même
• 16:03
  direction. La machine ne remplace pas, elle
• 16:05
  sédimente, elle tient le stylo à la place de l'humain qui n'a
• 16:08
  jamais le temps. Carpathy a vendu une idée
• 16:10
  gratuitement et l'industrie a senti qu'il venait de déplacer
• 16:13
  quelque chose, pas le plafond, le sol.
• 16:15
  Vous écoutiez llm, wiki, Carpathy ouvre l'après rague.
• 16:19
  Merci d'avoir écouté jusqu'au bout.
• 16:20
  Si cet épisode vous a parlé, partagez le.