Latest / AI Report / GPT 5.4 hallucineert nog steeds + Rick Lamers over AGI-timelines

Transcript

GPT 5.4 hallucineert nog steeds + Rick Lamers over AGI-timelines · AI Report

• 0:00
  Welkom bij AI Report, de Nederlandse podcast over kunstmatige intelligentie waar we uitzoeken welke invloed AI heeft op ons werk, ons leven en de samenleving.
• 0:09
  Deze week interview ik Rik Lamers, een eerdere gast in de podcast die toen nog werkte bij Grok met een Q. Inmiddels werkt Rik bij Nvidia.
• 0:18
  Ik praat met Rik over GPT 5.4, over het nieuwe lab van Yann LeCun, Recursive Self-improvement en de AGI timelines van Rik. Voordat ik dat doe eerst even het nieuws.
• 0:32
  [muziek] GPT 5.4 is het beste nieuwe model van OpenAI.
• 0:46
  Wat opvalt is dat het een stuk beter presteert op de benchmarks die ertoe doen en vooral de computer use, oftewel de mogelijkheid voor modellen om computers te gebruiken door rond te klikken en apps te gebruiken die normaal mensen gebruiken, is een stuk beter geworden.
• 0:59
  Daarnaast zijn spreadsheet taken, dus bijvoorbeeld het besturen van Excel en Excel sheets analyseren een stuk beter geworden. Het is niet enkel halleluja.
• 1:08
  GPT 5.4 hallucineert nog steeds, dus check je outputs nog altijd en zet je thinking mode aan, want de standaard 5.4 is een stuk dommer dan de thinking versie. Dan Anthropic onderzoekt welke banen door AI geraakt worden.
• 1:25
  In een onderzoek gebaseerd op de gebruikersdata die Anthropic via Claude kan verzamelen over Claude gebruik, hebben ze een overzicht gemaakt van alle verschillende domeinen waarbinnen Claude al ingezet kan worden en ingezet wordt.
• 1:40
  Dat is een belangrijk verschil, want Claude wordt eigenlijk nog niet op alle plekken waar het al ingezet zou kunnen worden ingezet. En er zijn bepaalde plekken waar Claude niet ingezet kan worden op dit moment.
• 1:50
  Het creëert een soort visualisatie van het kleine stukje waar AI al ingezet wordt binnen de verschillende sectoren.
• 1:57
  Een heel groot deel waar AI al ingezet zou kunnen worden, maar ook een heel groot deel waar AI eigenlijk nog niet goed ingezet kan worden. Wat houdt het dan in?
• 2:06
  Dat je volgens Anthropic, als je de AI dans wil ontspringen monteur, kok, barkeeper of badmeester moet worden. Dan meer nieuws van Anthropic. Anthropic heeft een denktank opgericht, het Anthropic Instituut.
• 2:20
  Een instituut dat moet uitzoeken wat de maatschappelijke gevolgen zijn van krachtige AI die op korte termijn, uh, zal komen. Korte termijn houdt in: begin 2027 AI is zo slim als de meeste mensen.
• 2:34
  Als die modellen inderdaad zo snel komen en zo krachtig zijn in 2027, dan hebben we als samenleving nog wel een paar grote vragen te beantwoorden. Wat gebeurt er als al die banen er niet meer zijn met de samenleving?
• 2:46
  Wie beslist over de waarden die in AI-systemen terechtkomen? Oftewel wie bepaalt hoe AI er uiteindelijk uit komt te zien? Het instituut komt op een cruciaal moment voor Anthropic.
• 2:58
  Het bedrijf ligt nog altijd in de clinch met de Amerikaanse overheid en heeft inmiddels een rechtszaak aangespannen om van de zwarte lijst afgehaald te worden, waardoor ze op dit moment volgens de rechtbankdocumenten honderden tot meerdere miljarden aan omzet mislopen.
• 3:14
  [muziek] Goed, ik spreek deze week met Rik Lamers. Rik is terug in de studio. We hebben hem twee keer eerder gesproken. Ik sprak hem deze zomer nog over GPT 5. Inmiddels zijn we bij GPT 5.4 aangeland.
• 3:30
  Ik bespreek met Rik wat de verschillen zijn, uh, wat de verbinding is tussen programmeermodellen, wetenschap. Waarom zoveel programmeurs zo onder de indruk zijn van wat GPT 5.4 kan.
• 3:43
  Waarom Yann LeCun bij Meta weggegaan is om een hele nieuwe weg in te slaan als het om AI-modellen bouwen gaat.
• 3:49
  Hoe deze modellen mogelijk met elkaar kunnen gaan samenwerken in de toekomst in de vorm van een soort model ensemble.
• 3:56
  Wat dit betekent voor AGI timelines en hoe we uiteindelijk met elkaar kunnen analyseren en kijken naar een toekomst waarin mogelijk modellen op korte termijn sprongen maken die veel van ons niet zien aankomen.
• 4:15
  Ik heb mijn best gedaan om metaforen te bedenken wanneer nodig en, uh, Rik te onderbreken als het allemaal erg snel ging.
• 4:23
  Mocht je het nou alsnog snel vinden gaan, kun je natuurlijk altijd de podcast op een lager tempo afspelen of hem gewoon even op pauze zetten en een stukje gaan wandelen. Heel veel plezier!
• 4:35
  Ik vond het in ieder geval een heel erg interessant gesprek. [muziek] Rik, de laatste keer dat wij elkaar spraken toen, uh, werkte je nog niet bij Nvidia. Nu wel. Gefeliciteerd, I guess. Ja, mooie stap. Hoe is het daar?
• 4:52
  Heel erg vet. Uh, ik ben bij Nvidia gekomen via de Grok deal. Deel van het technisch personeel ging mee naar Nvidia en, uh, ik vind het geweldig. Het is een soort kind in een snoepwinkel voor mij.
• 5:06
  Ja, want je hebt een unlimited token budget heb ik begrepen. Ja, dit is de nieuwe meme ook op internet van waar [gniffelt] waar, waar ga je werken?
• 5:14
  Nou, let in ieder geval niet alleen maar op salaris, maar ook op je token budget. En we hebben bij Nvidia praktisch oneindig. Echt praktisch oneindig gewoon.
• 5:22
  Je kan gewoon in principe onbeperkt gebruiken totdat er misschien IT of zo naar je toe komt. En voor de mensen die nu denken what?
• 5:30
  Waar we het over hebben is, uhm, als jij een abonnement hebt op de verschillende AI-modellen, dan zit daar een token budget bij. Daar kan je overheen namelijk. Je moet even wachten tot de dag daarna.
• 5:42
  Niks is echt daadwerkelijk unlimited, behalve bij een aantal grote AI-bedrijven die jou als werknemer beloven: jij kan eigenlijk doen waar je zin in hebt en zoveel mogelijk tokens gebruiken.
• 5:53
  En blijkbaar- Ik vind het ook echt een goed idee, want er is gewoon een enorme reductieEn de kosten die gemaakt moeten worden om een token te produceren, dat, dat laten ze, laten ze ook keer op keer zien in allerlei
• 6:08
  studies die gemiddeld van de markt nemen en gemiddeld dus qua kosten per token. Maar ook hoe slim, hoe goed die tokens zijn.
• 6:15
  En, uhm, je moet, je moet personeel denk ik conditioneren dat je, dat je veel meer ervan kan en mag gebruiken dan, dan misschien redelijk voelt op dit moment, gegeven de huidige kosten.
• 6:26
  Omdat je mensen wil primen als het ware van: je moet, uhm, dit is goedkoop, zeg maar, dit is niet duur, ook al kost het nu bijvoorbeeld in een dag $ 400. Wat natuurlijk enorm veel tokens gebruik is op één dag.
• 6:40
  Maar die, uh,
• 6:42
  dat proces, dat doen, dat kost over zes maanden waarschijnlijk nog maar $ 40 of, of $ 100 per dag en zes maanden daarna kost het echt $ 40, dus dan is het tien keer minder in een periode van een jaar, zeg maar. En
• 6:55
  als je in je hoofd al helemaal gaat denken van: hoe kan ik iets doen als ik gewoon daar even geen rem op zet, dan ga je al anders nadenken.
• 7:02
  Bedoel je te zeggen dat mensen die nu, uh, verschillende AI-tools gebruiken waar ze zich bewust zijn van het token gebruik, dat ze een token schaarste ervaren van: oké, ik moet hier niet te snel te veel mee doen, want anders loop ik over mijn abonnement heen.
• 7:15
  En dan ga je eigenlijk al jezelf beperken. En dat is op zich logisch vanuit een geldbesparing perspectief.
• 7:21
  Maar, maar in een markt waarin die kosten zo snel dalen, uhm, en waar je zo snel moet leren om het maximale uit de tools te halen, omdat dat ook telkens verandert. Omdat die modellen steeds meer kunnen.
• 7:31
  Dus je moet telkens weer ontdekken waar liggen de nieuwe limieten. Dat het heel bevorderlijk werkt voor adoptie als je er letterlijk gewoon geen rem op zet effe.
• 7:40
  Natuurlijk, als je na zes maanden denkt: hé joh, de kosten lopen echt de pan uit en dat heb ik echt, dat punt heb je bereikt, kan je daarna altijd nog wel wat afremmen.
• 7:48
  Maar ik denk dat nu mensen heel erg voorbarig, uhm, zichzelf remmen omdat ze denken: ja, maar ik wil niet dat die kosten uiteindelijk te hoog worden. Uhm, maar even een stapje terug. Ik werk dus bij Nvidia. Super mooi.
• 8:01
  Groot beursgenoteerd bedrijf, dus ik moet er ook gelijk bij zeggen wat ik zeg in deze podcast aflevering. Er zijn mijn meningen, niet de meningen van Nvidia. Uh, standaard corporate disclaimer, maar wel echt waar.
• 8:12
  Uhm, maar ik heb er heel veel zin in, want we hebben heel veel om over te hebben. Ja, we hebben samen allebei een lij-- we hebben allebei een lijstje gemaakt.
• 8:19
  Iets meer structuur dan eerdere gesprekken die we hebben gehad. Of het gaat helpen weet ik ook niet. Weet ik ook niet. Ik denk dat, uh, wij hebben de laatste keer gesproken over GPT-5. Dat was tijdens de zomer.
• 8:32
  Die kwam toen uit en het was een soort dud. Iets wat niet spectaculair was, maar ook spectaculair tegelijk. Kleine recap: er zat een router tussen of zit een router tussen die het model kiest aan de hand van jouw vraag.
• 8:44
  Inmiddels zijn we bij GPT-5.4, dus.1,.2,.3 en nu.4 en hebben we eigenlijk, in ieder geval dat is mijn lezing, een iets meer volwassen versie van wat GPT-5 is. Misschien wel,
• 8:58
  als we dit hadden gehad in augustus, dan had het meer effect gehad denk ik. Uh, wat vind jij?
• 9:05
  5.3 hebben we niet gehad voor de consumenten, alleen Codex, dus dat was alleen het code, uh, het gespecialiseerde coding model. Het is misschien wel goed om een beetje toe te lichten, dicht-lichten voor de luisteraar.
• 9:19
  Rick en ik zijn ontwikkelaars, dus zitten, praten met deze modellen en zien deze modellen op een andere manier dan dat jullie, veel van de luisteraars, ze zien in jullie ChatGPT app.
• 9:29
  Als je al bewust aan het kiezen bent tussen modellen daar. En inderdaad de vijf punt, het 5.3 model was een Codex model en is dus nooit voor de eind-eindgebruiker beschikbaar geweest.
• 9:39
  Klopt en ik maak zelf ook wel gebruik van de ChatGPT app.
• 9:43
  Ik vergelijk eigenlijk dagelijks de Gemini app, ChatGPT, xAI Grok en, uhm, Claude van Anthropic, omdat ik gewoon merk dat ik nog steeds niet de vinger erop kan leggen op dit moment
• 9:56
  voor wat soort vragen, uhm, eigenlijk altijd één app dominant is. Dus, dus soms merk ik: hé, ik vind dit antwoord net iets fijner en soms dat antwoord net iets fijner.
• 10:05
  Dus ik, ik gebruik al die apps en dus ik gebruik ook ChatGPT. En ik had dus ook geen 5,3 in, of 5.3 in, in mijn ChatGPT omdat dat een, uh, zeg maar coding only model was. En nu zijn we bij 5.4.
• 10:19
  Wat, die is vorige week donderdag uitgekomen, net toen ik aan het opnemen was, maar met Alexander, dus wij hebben het daar nog niet over gehad. Hoe is nu een beetje de, wat is jouw gevoel erbij?
• 10:30
  Jij dacht net en ik ook, dat hij een maand geleden was uitgekomen. Ik denk dat dat al iets zegt. Want dat is niet waar. Het is een week geleden [lacht] en dat is een soort hele rare tijdsverdichting of zo.
• 10:40
  Of tijdsverlen-- ik weet niet hoe ik het moet noemen, die er nu plaatsvindt. Maar ben jij, ben je onder de indruk? Wat zijn de teksten die je online hebt gelezen?
• 10:48
  Ja, ik, ik heb het idee zelf ook als je kijkt naar de berichtgeving van OpenAI erover dat die wel ook klopt met mijn perceptie en ook hoe ik andere mensen buiten OpenAI er, erover hoor spreken.
• 10:58
  En dat is dat, het was een, uh, een unificatie of een unification, een vereniging, het samenbrengen van eigenlijk, uh, het Codex model, de Codex serie dus.
• 11:09
  Dus het is op zich handig dat je ook net die context gaf, want er zijn dus echt twee modellen. Je hebt 5.3 Codex. Dat is echt een model gemaakt voor gebruik tijdens het programmeren in een code.
• 11:19
  Wat best bijzonder is, want Anthropic bijvoorbeeld heeft hun Opus. Er is maar één. Heeft er maar één, maar OpenAI had dat ook heel lang, dus het is volgens mij ook een beetje Conway's Law.
• 11:27
  Dat is een, uh, principe dat je je, de organisatiestructuur, dat dat uiteindelijk ook bepaalt hoe producten naar buiten komen. Dat die dan een soort reflectie zijn van interne initiatieven.
• 11:37
  En ik heb het idee dat er ook een soort skunkworks project misschien was. Weet ik niet, is gewoon gokken van mij van buitenaf.
• 11:45
  Dat, uh, Codex kwam uit een soort, uh, push om beter te gaan presteren op coding en dat er daardoor die modellen kwamen.
• 11:53
  Wat we ook weten is dat die Codex modellen, die zijn over het algemeen heel gekoppeld aan, uh, de specifieke structuur van de, uh, codingHarness wordt dat genoemd.
• 12:05
  Uh, j-- praktisch gezien is dat een soort terminal programma waar je in, uh, kan praten met het model. Dat, dat het model gekoppeld is aan de specifieke details van dat coding harness.
• 12:16
  Ja, misschien voor de mensen die wat termen tegelijk horen.
• 12:19
  In het geval van bijvoorbeeld Cloud Code, wat een harnas is rondom de cloud modellen, praat Cloud Code eigenlijk met de standaard, uh, Haiku, Sonnet en Opus modellen.
• 12:30
  Ook al zijn die modellen al wel weer een beetje gefinetuned op de harness heb ik begrepen, maar het zijn dezelfde modellen. Codex, een app van OpenAI voor Windows en, uh, voor Mac en inmiddels ook Windows.
• 12:42
  Die praat eigenlijk standaard met een Codex specifiek model en kan ook wisselen naar andere modellen. Ook naar hun eigen algemene model 5.2 en nu 5.4. En het vij-- maar is nu met die 5.4, komt er ook geen 5.4 Codex.
• 12:56
  Ja, klopt, dat komt er dus niet. Dat is de unification waar jij het over had. Dat is het inderdaad, het samenbrengen van die Codex series, uh, terug naar het main, main model.
• 13:05
  Dus de, de primaire, uh, zeg maar bijdrage van 5.4 ten opzichte van 5.2 is dat Codex nu dus samengevoegd is, geen aparte modelserie meer is.
• 13:17
  Wat ze in 5.4 ook hebben weten te bereiken is ten opzichte van 5.3 Codex, dus ook specifiek voor het code is dat die token efficiënter is geworden.
• 13:25
  Dat wil zeggen: die modellen zijn, uh, reasoning modellen, dus die, die produceren eerst tokens om na te denken over wat er wordt gevraagd en dan, als ze het gevoel hebben: ik ben klaar om een antwoord te geven, schakelen ze van nadenken naar antwoord geven en hoeveel, uh, tokens ze tijdens dat nadenken produceren, dat is token efficiency.
• 13:45
  En daar hebben ze een verbetering in ge, ge, gerealiseerd met 5.4 ten opzichte van 5.3 Codex.
• 13:51
  Dus hij is voor het bereiken van hetzelfde kwaliteitsniveau, dat, dat, je kan vaak een soort knop, uh, uh, low, medium, high of extra high.
• 14:01
  En op diezelfde high stand, uh, bereiken ze dus dezelfde kwaliteit als dat 5.3 Codex model op high, maar in iets van, ik geloof de helft van de hoeveelheid tokens. Dus echt een stuk efficiënter.
• 14:14
  Ja, en die knoppen die jij net, uh, beschrijft, hè, medium, high, uh, ultra high, extra high.
• 14:19
  Ik, nou, ik zie ze heel vaak online langskomen en ik kies dan zelf in het geval van programmeren altijd maar voor hoog, omdat ik denk: dat zal wel beter zijn, maar ik ben daar eigenlijk best wel naïef over.
• 14:29
  Uh, i-- dit is trouwens niet iets wat je in de consumer app van ChatGPT kunt aangeven, toch? Ik bedoel, daar kun je- Kan je wel. Hoe?
• 14:34
  Er is een, uh, als je dus kiest voor het, uh, thinking model in de ChatGPT app en dan sidestep je dus die router. Dan ga je dus altijd naar het thinking model.
• 14:46
  En dan, als je dat doet in die app, dan krijg je een soort pop-up in je text area waar je de prompt kan invoeren en daar kan je op klikken en dan kan je klikken op extended en hij staat standaard op standard.
• 14:57
  En dus bij standard zal die wel, weet ik niet zeker, maar dan vertaalt hij waarschijnlijk intern naar medium op de API. En als je klikt op extended dan gaat hij naar high.
• 15:04
  Interessant, dus we hebben wel een soort keuze daar als eind-eindgebruiker. Ja. Maar kan je-- want wat gebeu-- wat doen we daar dan eigenlijk? Je geeft daarmee aan dat je
• 15:15
  bereid bent om te wachten, langer te wachten op een hogere kwaliteit antwoord, uhm, en waarschijnlijk dat je ook iets sneller door je budget heen gaat, want er zijn van die, van die limits.
• 15:28
  Als jij de hele dag ChatGPT gebruikt, kom je op een gegeven moment een keer, zegt ie: je mag over zoveel uur pas, uh, opnieuw weer een vraag stellen binnen je, binnen je abonnement.
• 15:36
  Ja, want zit er dan aan de achterkant een soort, of in dat model iets van: oké, sorry, je hebt lang genoeg nagedacht. Het is bijna een soort mondeling examen waar de, waar de docent zit van: ja. Tijd is op. Sorry man.
• 15:46
  En is dat, is dat, die tijd is gewoon langer. Ef, ef-- of zeg ik het nu veel te simpel? Nou, hoe het werkt is dat, die modellen die krijgen deze informatie over hoeveel tijd ze mogen nadenken mee in het system prompt.
• 16:00
  Dat is een techniek die nu gebruikt wordt en misschien dat ze het op een, in de toekomst op een andere manier doen. Maar dat is een, geen, geen strikt limiet, maar is een hint naar het model.
• 16:09
  En dus als je het model, uh, de, de, de modellen, dus de beste modellen nu van OpenAI en zowel Anthropic, die zijn niet meer strikt gebudgetteerd in de zin van: je mag 16.000 tokens nadenken en, uh, je moet ook echt 16.000 tokens nadenken.
• 16:24
  Er wordt dan bijvoorbeeld gezegd: denk extra lang na en dan gaat ie langer nadenken. Maar als jij dan hele domme simpele vraag zegt of, of je zegt gewoon: zeg hallo, dan is het wel direct.
• 16:34
  Dus hij is nog steeds wel dynamisch. Hij kan ook beslissen om, om gewoon eerder te stoppen als het niet iets echt is om aan te denken. Is, uh, de router waar wij het in augustus over hadden weg?
• 16:44
  Die domme router is er ook nog. Nee, die router is er. Of die beter is geworden, daar laten zij volgens mij, voor zover ik weet, geen statistieken over of een soort evals over los.
• 16:54
  Uhm, ik ben nu geconditioneerd in ieder geval om in die ChatGPT app altijd gewoon thinking aan te klikken, omdat ik weet als ik naar dat instant model ga, dan is het antwoord over het algemeen vrij slecht.
• 17:06
  En, uhm, ik weet wel dat ze 5.3 Instant hebben gelanceerd, heel recentelijk, dus er was wel eigenlijk, zeg, zei, heb ik kitscherig in het begin. Er was wel een 5.3 model. Alleen de kleine. De instant variant.
• 17:19
  Uh, die was eerder dan 5.4 en die wordt voor zover ik weet nu ook gebruikt als je routing doet, uhm, naar, uh, als je dus 5.4 met automatisch selecteert, dan ga je volgens mij naar 5.3 Instant als die beslist: we gaan niet nadenken.
• 17:34
  Ja, en nu, uh, ik lees best wel veel online dat, uh, de stap 5.2 naar 5.4, hè. Laten we heel even vergeten dat er een mini 5.3 geweest is en dat er een 5.3 Codex geweest is. Aha.
• 17:49
  Dus ik heb het echt over de meeste eindgebruikers van de ChatGPT app.
• 17:54
  Hoe die, als ze thinking aanzetten, hè, of in ieder geval een vraag stellen die thinking triggert via de router, een kwalitatief verschil voelen tussen 5.2 en 5.4.
• 18:05
  En ik, ik zie, ik zie bijvoorbeeld gewoonGemiddelde gebruikers die zeggen van: oké, wow, ik, ik, ik heb mijn eigen vragen die vroeger niet konden, et cetera.
• 18:13
  Maar ik zie ook vooral heel veel indrukwekkende opmerkingen langskomen en ook wel wat hype bij mensen die dingen doen in wetenschap, wiskunde en hard science. Kan je dat verklaren? Wa-wat gebeurt daar nu ineens?
• 18:26
  Nou, het, het, uhm, [schraapt keel] het feit dat je van 5.2 naar 5.4 bent gegaan zonder een 5.3 thinking zegt al wel iets.
• 18:37
  Ik denk omdat dat, uhm, aanduidt dat wat ze in plaats van een 5.3 thinking lanceren hebben ze, zijn ze zeg maar in één keer gesprongen naar, naar dat Codex model erin en dus hebben ze-- i-ik denk dat ze intern en ik speculeer een beetje, maar dat ze, ze zeggen ook best wel veel, dus dit is ook een beetje gewoon lezen wat zij zelf erover zeggen, is dat ze dus gewoon een los, uh, model hebben dat n-niet aan reasoning doet.
• 19:02
  Daarnaast hadden ze het reasoning model voor de ChatGPT app, de, de thinking variant en daarnaast hadden ze de Codex variant en het samenvoegen van die Codex variant die heel erg goed was in coding en het en het, uh, algemene thinking model.
• 19:17
  Die twee gezamenlijk, uhm, dat was denk ik best wel een grote stap intern. En dat betekent misschien ook het combineren van de training pipeline en, en andere stappen die je zet om zo'n model te produceren.
• 19:28
  Het zijn niet even twee soepen die je bij elkaar gooit in een pan. Ja, en, en die combinatie, die voelt heel anders lijkt wel. En, en, en, en een misschien een grotere stap gevoelsmatig.
• 19:39
  Maar wat wel denk ik gezegd moet wo-worden is dat ten opzichte bijvoorbeeld van 5.3 Codex voor als je het gebruikt, want jij, jij noemt wetenschap, maar er zijn ook veel wetenschappers die bijvoorbeeld programmeren om hun wetenschap te doen.
• 19:51
  En 5.3, uh, Codex en 5.4 zijn qua code in principe even capabel. Alleen de ene is dus efficiënter en gebruikt minder tokens, maar ze bereiken wel hetzelfde niveau. Ze plateauen ongeveer op hetzelfde punt.
• 20:04
  Eén ander belangrijk ding over 5.4 nog en ik weet niet hoeveel je nog over 5.4, maar 5.4 is ook een stuk beter geworden.
• 20:11
  Het heeft ook wel een beetje meer te maken met: wat is die, die 5.4 lancering nou eigenlijk inhoudelijk? Is heel veel beter geworden in computer use.
• 20:19
  En dan heb ik het specifiek over dat multimodel van je ziet een scherm en je kan klikken. Ja, muis emuleren. Muis emuleren. Gebruiker nadoen. Browser bekijken, software openen, dat soort dingen.
• 20:30
  En daar- Een flinke, flinke stap. Hele grote stap.
• 20:32
  En dat is misschien wel een boeiende, want er is, uh, er wordt al lang onderzoek gedaan naar en gespeculeerd over wat, uh, bij mensen is het bijvoorbeeld zo dat, uh, wanneer jij, uh, gaat, uh, boulderen, uh, klimmen, uh, dan krijg je best wel goeie fijne, fijne motoriek, uh, dankzij het boulderen.
• 20:52
  Want je moet die, uh, holds vasthouden, je klimt omhoog, et cetera. En op alle andere punten in je leven waarin, zeg maar, die fijne motoriek handig is, heb je dan allemaal voordeel. Ook buiten het boulderen.
• 21:03
  Net als oosterse vechtsport.
• 21:05
  Als jij daar leert, uh, bijvoorbeeld je ademhaling te beheersen om, uh, je tegenstander beter te kunnen, uh, uh, uh, anticiperen, dan ga jij op andere plekken in je leven ook beter anticiperen.
• 21:16
  Dit is waarom het, uh, zo goed is om je kinderen op Japanse vechtsport te doen bijvoorbeeld. Want het, dat generaliseert naar veel meer facetten van je leven.
• 21:23
  En wat ik jou nu eigenlijk hoor speculeren is dat op het moment dat jij, uh, dat ze bij OpenAI Codex, een model wat eigenlijk specifiek, uh, uh, ja, een soort van expert coding model is,
• 21:38
  merged in een soort hybrid model, uh, met het meer generalistische, uh, GPT model dat alle, uh, problemen die geformaliseerd kunnen worden, dus hard science, de wetenschap, eigenlijk voordeel hebben bij het, uh, blenden van dat, van dat programmeermodel in ieder geval dat sugge-- dat, dat is een beetje de suggestie toch, die er is?
• 21:59
  Dat is, denk ik wel de richting die veel mensen terugzien die modellen maken. Dus dat je in die zin transfer learning hebt tussen bepaalde subdomeinen als die elkaar best wel direct, zeg maar, beïnvloeden.
• 22:15
  Dus als jij, uh, in de wiskunde bijvoorbeeld is er heel veel te doen nu ook met bijvoorbeeld ook veel, uh, heel nuttig commentaar van Terence Tao.
• 22:23
  Dat is een, een bekende wiskundige, uhm, soort child prodigy en heeft heel veel bijzondere resultaten al behaald en is jong professor bij allerlei goede universiteiten en zo.
• 22:33
  En hij, uhm, gebruikt modellen net als heel veel andere wiskundigen om wiskundige bewijzen te schrijven in formele programmeertalen zoals Lean.
• 22:43
  En, uhm, als jij voorheen aan ChatGPT 5.2 vroeg: kun je mij in Lean een bewijs geven voor dit, uh, voor dit, voor dit, voor dit wiskundeprobleem? Dan kon die dat al, maar 100% dat, dat 5.4 dat beter doet.
• 23:01
  Want 5.3 Codex was wel veel beter in code dan 5.2. En als je dan kijkt, ik heb dit wel eens, uhm, de CEO van Anthropic horen zeggen, Dario Amodei, dat, uh, er een soort, uhm,
• 23:16
  stappen, stappen zijn van, uh, software maken. Dus je hebt AI die software maakt. Uh, AI zelf is ook software, dus daar kan je dan, uh, AI inzetten om je AI-software te verbeteren.
• 23:29
  Dus cloud code, bout cloud code, daar zijn we al, zeg maar. En Codex bout Codex, enzovoorts. Maar dat je, en, en dat je uiteindelijk ook, uh, wetenschap kunt gaan doen.
• 23:40
  In ieder geval een deel van de wetenschap, de exacte wetenschappen. Omdat een programmeur in essentie ook software kan maken die kan helpen bij wetenschap.
• 23:48
  Die wetenschap gaat er weer voor zorgen, uh, dat je fundamentele uitvindingen doet die er weer voor zorgen dat je applied science kan doen, enzovoorts.
• 23:56
  En dat ze daar een soort loopy cirkelig, cirkelig gedrag in herkennen en dat het doorduwen op de programmeerkracht van deze modellen als een soort expert eigenlijk heel logisch is als je ziet welke vruchten je allemaal kunt plukken, de breedte in, in de toekomst door je eerst te focussen op de meer exacte.
• 24:16
  En daarna krijg je als het ware de rest er, ik zeg het even heel makkelijk, gratis bij.Ja, nou dat is dat is waar nu heel veel om te doen is.
• 24:26
  Omdat het idee werd al heel vaak herhaald, dus ook al twee jaar geleden hadden mensen het over. Ja, en als je.
• 24:32
  Want als je het in de algemene termen ziet als je een AI maakt die AGI is, dan kan die AGI aan zichzelf werken en dan krijg je een loop en dan krijg je singularity.
• 24:44
  Dat was het simpele argument wat we al heel lang hoorden. Heel veel mensen hadden vraagtekens bij me. Hoe werkt het dan precies? En blabla.
• 24:50
  En er was veel scepsis, maar ook wel mensen die nog steeds best wel vasthielden aan dat idee. Het zijn hele grote verfstroken die je dan. Heel, heel, heel hoog over.
• 24:58
  Ja, nu zijn dingen een stuk concreter geworden, namelijk er is veel meer kennis en ervaring over wat het proces is wat leidt naar de volgende stap van verbetering in AI modellen.
• 25:14
  Dus de teams bij OpenAI die gepusht en hard gewerkt hebben om het eerste O1 model te maken waarbij ze voor het eerst een reasoning model produceerden wat snel gekopieerd werd in China met Deep Seek R1.
• 25:30
  Dat was een leerproces van hoe ga je van niet reasoning naar reasoning modellen.
• 25:33
  Toen hebben ze die coding agents die zeg maar steeds heftiger gebruik maken van een soort omgeving waarin dat model iets probeert, een klein stukje feedback krijgt door bijvoorbeeld een stukje code uit te voeren en weer opnieuw iets probeert.
• 25:49
  En dat hele fenomeen met Codex CLI en Cloud Code, dat zijn voorbeelden waarin. Wat hele rauwe tools waren die intern bijna een soort skunkworks achtige weekend project waren. Verkennen. Wat kunnen we het model?
• 26:01
  En toen is heel erg natuurlijk weer opnieuw een soort research intern gedaan van hoe kunnen we die modellen beter maken in dat. En dat zie je in de aankondiging van Codex 5.3 Codex.
• 26:12
  Dat dat model, dat coding model wat voor veel mensen echt voelde als een een flinke verbetering voor OpenAI modellen voor coding in het algemeen. Trok ze eigenlijk gelijk en zelfs voor voor Opus 4.6.
• 26:26
  Ja dus daar zitten ze daar. Daar is het echt trading blows momenteel. Er zijn echt aantoonbaar allerlei coding gebieden, want het is weer een beetje verspreid over welk deel code waar 5.3 Codex het beste is en 5.4 nu.
• 26:41
  Dus omdat dat echt een strikt superset is van wat Codex 5.3 doet. Dat is de consensus dat het beter is. Maar om het punt terug te brengen dus
• 26:49
  in die blogpost aankondiging van 5.3 Codex hebben ze gezegd dit is het model, het eerste model waarbij we echt wezenlijke autonomie en delegatie van testen en dingetjes implementeren en programmeren hebben toegepast
• 27:08
  op het model ontwikkelproces zelf. Dus dat ze daar een soort van echt heel veel konden delegeren in het ontwikkelproces van 5.3 Codex. Codex heeft geholpen om Codex te maken.
• 27:19
  Ja, en ze zeggen daar specifiek een early checkpoint in de blogpost post. Dus ze zeggen het model zelf. Dus we hebben zeg maar zijn model aan het trainen.
• 27:27
  We merken het model gaat heel goed worden en in de afronding van het model hebben ze al zeg maar een soort V1 of alfa versie van het model eruit getrokken en gebruikt om hem zeg maar over de eindstreep te trekken.
• 27:38
  Dus het brood is eerder uit de oven getrokken, was nog niet helemaal gebakken, maar zelfs onaf gebakken. Al sterk genoeg om aan zijn toekomstige zelf mee te werken. Ja, ja.
• 27:48
  Dus dat is dus wat zij gezegd hebben in de blogpost. En ik heb ook al eerder in interviews van de lead of de zeg maar de Head of Research van van OpenAI.
• 27:57
  Ik moet even de namen blijven u verschuldigd, maar als je ze ze googelt, dat zijn allemaal. Ik geloof Mark Chan en een nog een hele lastige Poolse naam.
• 28:06
  En zij zeggen ook echt specifiek dat een extreem interne doelstelling is om dit jaar dus voor het eind van dit jaar een wezenlijk doel bereikt te hebben. Als in dat ze een
• 28:24
  intern hebben. Dat is een beetje het niveau wat ze targeten. Stagiair. 1111 capabele stagiair dus denk aan een soort van valedictorian achtige MIT. Echt een super goede stagiair. Zeer getalenteerde junior. Ja, om dat
• 28:39
  niveau te bereiken dat een model dat dat niveau van bijdrage levert, autonoom en ook in termen van wat je kan delegeren en dus op het domein.
• 28:50
  Dus niet zozeer een stagiair in de algemene zin een stagiair marketing stagiair? Nee, echt een stagiair op het gebied van machine learning research. En Karpati André Karpati, een van de medeoprichters van OpenAI
• 29:05
  en ook de Lead AI bij Tesla. Heel lang geweest voor autonomous driving voor de eerste versies daarvan. Echt 11 hele goed geïnformeerde gast. Grote naam.
• 29:19
  Die heeft een een post geplaatst waarin hij zelf AI coding agents is gaan gebruiken voor een project waar hij al heel lang mee bezig was. Overigens, dat project heet Lama of Lama CPP. Nee, niet Lama CPP.
• 29:36
  LM.c heet het volgens mij en het idee is dat je in zo min mogelijk tijd een neuraal network GPT2 traint van scratch. Dus hoe kun je met zo zo efficiënt mogelijk gebruik van GPU. Grow your own GPT kit toch?
• 29:52
  En en En heel heel compact opgeschreven. Dus vorm van democratisering van het kleine taalmodellen maken. Een soort nadoen wat zij bij OpenAI hebben gedaan x jaar geleden. Precies.
• 30:04
  En hij heeft ook regelmatig mensen uitgenodigd om bij te dragen aan dat project. Om het beter te maken. Dus om op de leaderboard waarin ze bijhouden hoeveel uur kost het om helemaal van niks naar getraind te gaan.
• 30:19
  Om daar telkens ideeën aan bij te dragen. Dus onderzoeksideeën als het ware over kun je niet deze parameters aanpassen of kun je niet beter terwijl je de data laadt al iets doen op de GPU?
• 30:30
  Om eigenlijk met minder rekenkracht in kortere tijd. Die twee zijn met elkaar verbonden. Te komen tot iets wat goed mee kan doen met GPT2.Class modellen, right?
• 30:42
  En wat dus, uh, het bijzondere is, is dat dus, uh, OpenAI dus zegt van: wij, wij hebben in 5.3 al dat zelf gebruikt en hij heeft dat heel concreet gemaakt door te zeggen: ik ga een coding agent, uh, vrij spel geven.
• 30:57
  Ik ga hem gewoon toegang geven tot de huidige versie en ik ga hem vragen om gewoon ideeën te testen die hij zelf moet verzinnen.
• 31:03
  Dus niet Andre zijn ideeën, maar de ideeën die die agent zelf moet bedenken en die die dan vervolgens moet implementeren in de code.
• 31:11
  Moet ie een testje uitvoeren om te kijken hoe goed werkt het idee, zelf bijhouden welk idee werkt wel, welk, welk idee werkt niet?
• 31:18
  En dan zo proberen telkens weer beter te scoren op die benchmark van hoe efficiënt en snel is het getraind.
• 31:24
  En daar heeft hij dus echt soort van sparks, Sparks of AGI is een, uh, een bekende paper voor de mensen die al een tijdje meedraaien over dat ze de eerste keer een soort GPT-2, GPT-3 level model zagen.
• 31:37
  Dat waren de eerste vonkjes. En nu zien ze dus een soort van sparks of auto research. Ja, want dat is misschien om heel even uit te zoomen wat een beetje, uh, gebeurt nu in het debat, het verhaal rondom AI.
• 31:50
  Uh, uh, in ieder geval, dat komt wat meer naar de voorgrond is het idee van recursive self improvement, RSI.
• 31:56
  En dan niet pijn in je handen, maar het, het idee dat je iets hebt wat recursief is, dus herhalend op zichzelf, uh, informatie aan zichzelf loopend, zeg maar, uh, eigenlijk zichzelf aan zijn eigen veters omhoog trekt, zeg maar.
• 32:11
  Wat een beetje een raar beeld is, maar evolutie heeft het ooit eerder gedaan, dus mogelijk kunnen we het nabootsen in een machine.
• 32:17
  En dat idee van recursive self improvement is heel erg belangrijk, omdat, zoals ik begrijp, uh, dat een beetje richting die take off achtige scenario's gaat.
• 32:27
  Scenario's waarin, uh, je eigenlijk AI zo ver hebt doorontwikkeld dat het kan meewerken aan, uh, de ontwikkeling van zichzelf, waardoor wij als het ware achterover kunnen leunen met een glas limonade terwijl we kijken hoe onze creatie zichzelf, uh, je zit al te glimlachen, zichzelf verbetert, zeg maar.
• 32:47
  Wa-wa-waarom zit je te glimlachen? Je zag het voor je. Nou [lacht], omdat ik nog weet hoe ver weg het is. Ja, waarom is het nog zo ver weg? Stelt mij gerust trouwens dat je dat zegt. Maar ja.
• 32:58
  Omdat het, uh, zeg maar, wat denk ik niet ver weg is, is dat het voor het werk wat ze zelf doen echt heel bruikbaar is. En ik gebruik het zelf ook op een hele vergelijkbare manier voor mijn werk bij Nvidia. Uhm.
• 33:12
  AI als augmentation om jou te helpen met het verbeteren van AI systemen. Nou ja, maar nog specifieker autonome coding agents die ik alleen high level hoogover instrueer van: ga dit eens uitzoeken.
• 33:26
  Waar-waarbij die, uh, minuten, soms wel tot aan een uur, autonoom aan het werk is. Het is ongeveer een beetje het limiet, zo vaag ergens, misschien een keer 40 minuten, misschien een keer net over het uur.
• 33:38
  En dan dat ik ga kijken: wat heb je nou eigenlijk gedaan? Ben ik overtuigd? Kan ik het gebruiken? En ik, ik, ik zie dus dat dit wel werkt in dit hele,
• 33:49
  uh, in het, in het soort van specifiek ge-- afgebakende gebied van schrijf code aan een systeem waarbij we heel duidelijk weten hoe goed en slecht eruit ziet. Verifieerbaar.
• 34:01
  En binnen verifieerbare domeinen zie je dus deze enorme, uh, versnelling in, uhm, vooruitgang.
• 34:11
  En voor andere domeinen waar verifieerbaarheid lastiger is, zien we gewoon nog veel minder, veel minder vooruitgang.
• 34:20
  Ja, wat ook bijvoorbeeld verklaart waarom die modellen zo goed zijn geworden in wiskunde en, uh, programmeren, maar nog steeds matige artikelen schrijven, matige boeken.
• 34:29
  Uh, ik moet wel zeggen, heel even side tangent, maar de New York Times had een onderzoek gedaan bij hun- Die is leuk, ja. Schrijvers of, uh, lezers of ze bepaalde tekst prefereerden.
• 34:40
  Hè, dus je had dan AI-tekst en mensgeschreven tekst en voor mij prefereerde 60% of zo de AI geschreven teksten. Wat dan ook wel weer een beetje tegen mijn punt ingaat dat die teksten matig zijn.
• 34:51
  Of de New York Times moet tot nu toe matige teksten hebben geschreven zelf. Mag je zelf uitvinden, uhm, maar het is overduidelijk wat ze dan ook die jagged edge noemen.
• 34:59
  Dus een soort kartelrand op, uh, die modellen aan intelligentie, dat ze een soort idioot savanten zijn die ongelooflijk excelleren op een bepaalde competentie of een be-bepaald thema, om vervolgens een enorm gat aan competenties te hebben op een ander thema.
• 35:14
  En dat heeft onder andere te maken met hoe verifieerbaar de sector is of het thema waarbinnen ze dan kunnen groeien, right? Ja.
• 35:21
  Dus we, we hebben als het ware, en ik zeg we, als in de, de, de AI-sector, heeft uitgevogeld hoe we die modellen kunnen laten leren. Als we maar een soort
• 35:34
  omgeving kunnen creëren waarin ze het kunnen hill climb als het ware, waarin ze heel veel kunnen proberen en elke keer als iets begint te werken daar op een soort van double down. Schaken tegen jezelf.
• 35:45
  Go spelen tegen jezelf. Self play. En waar veel om te doen is, en misschien ook een leuk bruggetje, bruggetje naar, uh, het nieuwe AI-lab van Jan de Koen. We kunnen ook nog even bij andere dinges, uh, wat jij wil, maar
• 36:02
  er is dus nu heel veel aan gelegen om de verifieerbaarheid van andere domeinen waar het ook nuttig zou zijn om AI in te zetten en waar we ook de capaciteit van die AI-modellen willen zien groeien om de verifieerbaarheid te vergroten.
• 36:16
  Ja, wat ik bijvoorbeeld las, dat ging over chemie. Uh, dat je eigenlijk zegt: ik wil de interactie tussen twee stoffen weten. Dan bouw ik een laboratorium waar ik een robot heb.
• 36:25
  Het hoeft helemaal geen humanoïde te zijn, maar gewoon een mooi systeem met pipetjes en, uh, buisjes die uit een stok van chemicals dingen kan trekken, bij elkaar kan voegen. Er staat een camera op.
• 36:36
  GPT kijkt mee, doet zijn eigen experimenten en kan dan toch in de fysieke wereld verifieerbaar experimenten gaan doen. En dan ga je natuurlijk weer andere domeinen in dan alleen maar wiskunde en programmeren. Absoluut.
• 36:50
  En dit isWat, wat echt op hele grote schaal nu op allerlei gebieden waar je maar mensen met interesse hebben. Of het nou biotech is of, uhm, het fysieke domein, helaas ook oorlogsvoering en, en wapens.
• 37:07
  Er wordt heel, uh, actief gezocht naar hoe kunnen we een, een loop opzetten, een, een autonoom systeem wat gebruikt kan worden voor het verzamelen van het signaal en daar dan op trainen, uhm, zodat die modellen beter worden op allerlei dimensies.
• 37:24
  En zijn er dan dingen die jij intuïtief ziet als, uhm, er is toevallig recent een, uh, uh, onderzoek uitgekomen vanuit Anthropic. Dat ging over de arbeidsmarkt.
• 37:34
  Zij hebben natuurlijk bijzonder rijke statistieken rondom het gebruik van Claude. Uh, zij, ja, wat, wat, dat is dat vinkje wat je dan aanzet dat je anonieme statistieken toestaat.
• 37:44
  En ik denk als je niet betaalt voor Claude, dat je het daarmee toestaat, uh, waardoor zij kunnen zien hoe hun modellen worden ingezet en wat ze in het onderzoek, uhm, eigenlijk, uh, concluderen is dat, zij maken dan een cirkel van allemaal thema's in, uhm, in een, uh, visualisatie en dat bijvoorbeeld legal, hè, dus, uh, uh, ja, werk wat aan de Zuidas gebeurt in Amsterdam, dat daar, uh, zij maken een onderscheid tussen twee dingen.
• 38:09
  In hoeverre kan Claude daar al ingezet worden, hè? Dus we weten dat Claude er goed in is, uh, en kwaliteit kan leveren. En in hoeverre wordt Claude al ingezet?
• 38:17
  Dat zijn eigenlijk een, twee afbeeldingen die over elkaar heen gezet zijn. Daar zie je letterlijk de jagged ed of-- edge of intelligence, want het is een heel puntig, raar, hoekig ding met gaten erin.
• 38:27
  En het is een soort, uh, landkaart met hapjes eruit.
• 38:30
  Uhm, maar ik ben dan benieuwd of jij, als je zo gewoon puur op basis van intuïtie, uh, sectoren ziet of probleemvelden, zeg maar, die zo open-ended zijn dat, dat zijn, dat wat zulke, nou ja, uh, complexe chaotische systemen zijn als het ware, waar je heel veel, uh, data moet halen die, die niet zo makkelijk te halen is met een sensor bijvoorbeeld, waardoor het daar misschien langer duurt.
• 38:54
  Nou ja, dat is zeker, uh, aan de orde, want sommige dingen duren nou gewoon eenmaal lang om te valideren.
• 39:02
  Dus zelfs als je een systeem wilt bouwen dat, uh, bijvoorbeeld juridisch advies toetst en kijkt of het goed juridisch advies is.
• 39:11
  Uh, soms duurt het jaren voordat, uh, een oordeel geveld wordt over of een bepaalde handeling wel of niet, uh, juridisch gedekt wordt door weet ik veel welke regels en hoe dan ook.
• 39:22
  Dus niet alles is, uh, snel te valideren. En toch, en, en dan, dan wordt het toch lastig om daar vooruitgang in te boeken. Uhm, er zijn wel allemaal trucs die je kunt toepassen. Dus je kunt wel bijvoorbeeld,
• 39:36
  uhm, gebruik maken van een heel intensief validatieproces wat toch volledig digitaal is, dat heel uitgebreid onderzoek doet naar bijvoorbeeld alle uitspraken van alle rechters ooit. Zou je kunnen,
• 39:54
  naast een bepaalde tekst kunnen houden om te kijken of er gaten in te schieten zijn. Maar als je alle uitspraken ooit, je zou nogal makkelijk kunnen zeggen alleen de uitspraken die, uh, betrekking hebben op deze zaak.
• 40:05
  Maar je zou heel even naïef kunnen zeggen alle uitspraken ooit waar we toegang tot hebben, die gaan we ernaast leggen om, om iets van validatie te doen. Dat is wel iets wat je kunt doen.
• 40:15
  Dat, dat kost heel veel tijd en het is waarschijnlijk niet de efficiëntste manier. Maar er zijn wel manieren om ook dingen die minder zwart-wit zijn om die te valideren.
• 40:26
  En ik denk dat het ook wel een leuk bruggetje is naar world models, omdat er ook een, een vorm van foundation modellen aankomt die helpen bij valideren.
• 40:39
  Ja, het is misschien wel goed om te zeggen, want je haalde net Jan LeCun al aan iets eerder. Uh,
• 40:44
  er is een substantiële groep binnen de industrie en onderzoek die eigenlijk zeggen: taalmodellen, uh, voor, tokenvoorspellers die vooral teksttokens voorspellen, uh, ook als ze multimodaal zijn, eigenlijk als ze geboren zijn uit het soort taalmodel paradigma van de GPT's.
• 41:02
  Daar zit een soort maximum aan. Die hebben uiteindelijk een soort dead end en we hebben eigenlijk moeten we een paar stappen terugdoen, een paar flinke stappen terugdoen en een andere start maken.
• 41:12
  Eigenlijk zelfs een ander paradigm van modellen. Een ander paradigma van AI. Uhm, die kunnen later met elkaar gaan samenwerken, hè, die modellen.
• 41:21
  Dat zal wel, maar er is best wel een substantiële, best wel vocale groep, ook, uh, binnen de industrie die zeggen: we hebben dit taalmodel/multimodale model wel een beetje uitgespeeld nu, hè, daar kunnen we nog wel andere tricks op doen, maar dat, dat, daar zitten we aan een soort glazen plafond.
• 41:37
  Wat we nodig hebben zijn een paar hele, uh, nieuwe strategieën om te komen tot wat dan AGI genoemd wordt. En dat is onder andere, uh, world models. Kan je daar iets meer over vertellen? Wat is Jan LeCun aan het doen?
• 41:50
  Ja, ik denk dat je het al heel goed inleidt. En dat, dat gaat dan over waar liggen de echte limieten van, uh, AI-modellen die gebaseerd zijn op teksttoken, next token prediction.
• 42:01
  Dus, dus die, uh, die ChatGPT en Claude en Gemini, dat zijn allemaal next, next token prediction modellen en die worden allemaal blootgesteld aan grote hoeveelheden tekstdata.
• 42:13
  En, uhm, een heel belangrijk deel van deep learning, het heette ook wel representation learning, is dat je, uhm, als het ware een, een, een, een mapping vindt van ruwe data naar een betekenisvolle, uhm, als het ware beschrijving van die data.
• 42:33
  En een, een goed voorbeeld om ook echt LeCun's, uh, strategie, want zijn onderzoekspaper waar zijn lab, nou, niet op gebaseerd is, maar zeker wel, uh, heel erg overeenkomt met de richting.
• 42:45
  Voor de context: hij is vertrokken bij Meta. Hij is weg bij Meta. Hij was een grote naam binnen Meta. Zeker. Uh, heeft in interviews aangegeven, uh, ik parafraseerIk vind taalmodellen eigenlijk een beetje saai.
• 42:55
  Ik ben er wel op uitgekeken. Ik ga wat anders doen. Sterker nog, we moeten wat anders doen.
• 43:01
  En hij is nu weg bij Meta en is op basis van zijn inzichten en zijn, zijn gok op de toekomst zou je kunnen zeggen, een nieuwe weg ingeslagen. Ja, en hij heeft echt serieus geld opgehaald.
• 43:11
  Hij heeft $ 1 miljard opgehaald, uhm, dus daar kan hij echt, echt deze ideeën die hij heeft, uh, op gaan testen op schaal. Want hij laat in zijn paper, dus de paper waar het over gaat heet JEPA, J E P A.
• 43:22
  Van wanneer is hij ongeveer? Ik, ik dacht dat hij al echt oud, ik, ik geloof, komt ie 2022. Heel oud, ja. Superoud. Maar, uh, ik pin me er niet op vast, want het is ook een onderzoeksrichting die meerdere vormen kent.
• 43:35
  Dus JEPA zelf is waarschijnlijk niet eens de eerste versie van die paper. Er zijn ook- Vrij recent.
• 43:41
  Het komt erop neer dat als je een, een bijvoorbeeld een sensor input hebt, want je kunt zien, een tekst is gewoon een soort, uhm, input die geproduceerd is door mensen.
• 43:49
  Dus dat is een soort van, er wordt overal op allerlei manieren wordt er tekst geproduceerd, dus dat komt tot stand door een proces en er wordt dan ergens opgeslagen.
• 43:56
  Dus dat is in, in zekere zin niet heel veel anders dan bijvoorbeeld een camera ergens op richten en dan die, die lichtsignalen vangen en dat opslaan, zeg maar. Het is een, een manier om een soort datageneratieproces.
• 44:07
  Bij een camera, uh, is het heel duidelijk dat als jij, uhm, een camera hebt en hij beweegt heel erg, je hebt bijvoorbeeld een handheld camera, je, je selfiecamera en je loopt rond in de stad, dat het extreem lastig is om de volgende pixel met hoge nauwkeurigheid te voorspellen.
• 44:21
  Want als jij niet kan zien op dat camerabeeld dat er een persoon naast die persoon is en in één keer draait ie en, en er staat een persoon, is heel lastig om te voorspellen van waar gaan die, die pixels precies veranderen op het moment dat in de, op de rand van dat beeld, zeg maar, de persoon voor het eerst in beeld komt.
• 44:37
  Want het zijn hele, uhm- Een jas aan een kapstok of een mens. Precies. Dus het zijn heel hoog variabele soort van inputs.
• 44:44
  Maar als je, als ik jou vraag, uhm, gewoon semantisch als het ware, dus niet op, op cameradata, pixeldataniveau, maar ik zeg gewoon: als er een, uh, als er een jong persoon op een vakantiegebied met een selfiecamera, uh, praat, uh, uh, wat is de kans dat, dat, al-, dat, dat, dat tijdens de volgende vijf seconden er nog een persoon naast die persoon in beeld komt?
• 45:06
  Dan kun je wel zeggen van: nou ja, heel veel mensen die zo op een vakantielocatie zijn, niet alleen, dus ja, vrij hoge kans.
• 45:12
  Maar dan heb je het dus over kansvoorspelling in een dimensionaliteit die niks te maken heeft met die ruwe pixeldata, maar meer de situatie van mensen. Oh, het is zo'n, zo'n vakantielocatie of wat dan ook.
• 45:23
  Het is druk, mensen zijn vaak niet alleen op vakantie, et cetera. Dus, uh, Jans argument, ook met, met JEPA, is dat je dus niet moet willen voorspellen op die hoogdimensionale, hoge variabele camera pixeldata niveau.
• 45:38
  Maar je wilt in een latente representatie, dus dat is als het ware een, een soort vertaling van dat camerabeeld naar een andere representatie van datzelfde, van dezelfde werkelijkheid.
• 45:51
  Niet dezelfde camerabeeld, maar van de werkelijke situatie die die camerabeelden beschrijven. En dat, daarin zitten letterlijk misschien, uh, vrij
• 46:00
  letterlijk, uhm, uh, stukjes informatie die letterlijk alleen maar zeggen van: zijn ze op vakantie ja of nee? Uh, is het een persoon, ja of nee?
• 46:08
  Als ik je een beetje help, zou je kunnen zeggen: je hebt de ruwe realiteit, pixeldata. Dan heb je de interpretatie van die realiteit. Wat wij bijvoorbeeld als mens doen, dat is, je kunt, uh, naar een museum gaan.
• 46:21
  Uh, is leuk om ook met kinderen te doen en dan aan kinderen te vragen wat ze zien als ze naar kunst kijken. Dat zijn hele andere verhalen dan de meeste mensen.
• 46:28
  We zijn allemaal subjectief, maar kinderen hebben er een handje van. En daarbij gaan we niet alleen maar meer kijken naar ruwe brush strokes op een schilderij, maar gaan we interpreteren.
• 46:37
  En dat doen we vanuit menselijke cultuur. Dat doen we ook, daar zijn we ook aan het voorspellen eigenlijk. En wat jij volgens mij zegt is, uhm, de, het is bijna de resolutie als het ware, de rijkheid.
• 46:49
  Je moet niet op pixelniveau voorspellen, je moet eerst een interpretatie doen van wat daar gebeurt. Een interpretatie binnen context eigenlijk.
• 46:57
  En als je dan binnen die interpretatie gaat voorspellen, hè, bijvoorbeeld een zelfrijdende auto, zou je kunnen zeggen: er staat een, uh, zwangere vrouw bij een, uh, oversteekplaats.
• 47:08
  Nou, dat is een situatie eigenlijk die je beschrijft als een soort script in een film. En als je dan gaat zeggen: wat gaat hier gebeuren?
• 47:13
  Nou, er is een oversteekplaats, er is een zwangere vrouw, die zal wat langzamer naar de andere kant gaan lopen. Dat kan een tekstmodel zelfs een beetje voorspellen.
• 47:20
  Dan ben je niet per se in pixel, uh, in de, in de pixel, uh, modaliteit aan het voorspellen. Je bent in het verhaal, in de interpretatiemodaliteit aan het voorspellen in plaats van in de pixelmodaliteit. Zeg ik dat goed?
• 47:33
  Dat zeg je goed. En het is inderdaad ook zo, en dat is ook belangrijk om te benadrukken, dat, het is gewoon een keuze. Van welke ruwe data ga je die, uh, semantische, uh, representatie, interpretatie, ga je die leren?
• 47:50
  En, uh, de bitter lesson is een, is een idee of een, een, een soort zienswijze dat, uhm, je kunt hele slimme efficiënte dingen proberen te bedenken om dat eruit te trekken.
• 48:03
  Dus je kan bijvoorbeeld zeggen van: nou, ik ga een filter, uh, ontwikkelen dat mensen herkent in afbeeldingen en dan krijgen we een losse, een los stukje informatie dat puur en alleen gaat over wel of niet mensen in de foto.
• 48:14
  Maar dat is heel handmatig. En de bitter lesson zegt eigenlijk: je moet gewoon enorm veel data verzamelen en enorm veel compute ertegenaan gooien.
• 48:21
  Dus heel veel tijd geven als het ware aan het model om al die ruwe data te, te bekijken om vervolgens tot een, een, een interpretatie te komen.
• 48:30
  Een, een, uhm, uh, dus die, die latente representatie die, die kan leren van die, van die data.
• 48:37
  En wat LeCun eigenlijk gewoon zegt is: dat kan je beter niet uit tekst halen, maar dat kan je beter uit veel ruwere data halen, omdat tekst al een soort gecomprimeerde versie is van een situatie.
• 48:51
  Dus daarom zijn taalmodellen bijvoorbeeld- Maar niet zo ruw als pixelsNiet zo. Tekst Wat zit er, wat zit er tussen tekst en? Wat zit er tussen tekst en pixels bij?
• 49:00
  Als ik het goed begrijp dan voor hem is dat te beschrijven. Foto's misschien, want bijvoorbeeld video's is ook time series zeg maar. Heb je ook, heb je ook zeg maar wat over de tijd, uh, als zeg maar gebeurt.
• 49:11
  Uhm, video met audio is ook alweer meer dan alleen foto's. Dus foto's, video's, video's met audio. Dus eigenlijk hoe dichter je bij de, de werkelijkheid komt, de ruwe werkelijkheid, uhm, hoe rijker de informatie is.
• 49:27
  Maar je wil uiteindelijk niet de daadwerkelijke ruwe werkelijkheid. Nee, je wilt gewoon representaties leren die, uhm, goed vangen wat er toe doet.
• 49:40
  Ja, ja, het is, het is, het is een beetje filosofisch bijna, hè, want ik zie ook bij Meta, uh, waar LCOON vandaan komt, hebben ze best wel wat, uh, open source modellen uitgebracht als het gaat om, uh, objecten herkennen in beeld.
• 49:54
  Uh, dus dieren, mensen en daar een, uh, bounding box, een, een doosje omheen tekenen. Als ik die- Segment anything. Precies. Als je dan, uh, die segmentation bijvoorbeeld een voetbalwedstrijd, de bal en de spelers.
• 50:07
  Ja, en dan denk je misschien oké, ja, coole demo man. Dat is echt best wel, uh, bruikbare technologie, want je kan eigenlijk speler tracking doen zonder dat zij Bluetooth beacons of whatever voor ultra, uh, uh, l-, uh,
• 50:20
  ultra radio beacons hoeven dragen. Die segmentation, als ik jou zo begrijp, heeft hiermee te maken dan toch? Want eigenlijk, uhm, kan je dan gaan beschrijven,
• 50:31
  uh, je gaat niet de pixels voorspellen van de videofeed van de voetbalwedstrijd. Nee, nee, nee, je gaat de spelers de bal eruit extraheren en de spelsituatie voorspellen in plaats van de pixels.
• 50:44
  Maar je gaat niet een boek over voetbal gebruiken. We ga-, ik ben een beetje aan het zoeken naar, want het is best wel abstract wat ik beschrijf. Ja, dus ik kan het nogal concreter maken.
• 50:53
  Ik denk dat segment anything een goed voorbeeld is. Uhm, uh, hoe die GEPA modellen getraind worden uiteindelijk is door masking, dus dat je een stukje weghaalt van de afbeelding en dat je dan zegt: wat stond daar?
• 51:07
  Dus fill in the missing blank zeg maar en, en dat wordt gebruikt als basis, uh, opzet om dat pre-trainen te doen. Dus door al die ruwe data heen te gaan en dat te leren voorspellen.
• 51:17
  Want wat is dan eigenlijk de, want die, even een paar stapjes nog. LCOON GEPA Paper 2022-ish.
• 51:24
  Ja, een, een, een andere manier om AI te trainen of eigenlijk AI te ontwikkelen moet ik zeggen, waar ook training, uh, bij hoort. Wat is de input data source van die GEPA modellen? Wa-wat moet je erin stoppen? Foto's.
• 51:38
  Foto's. Maar het generaliseert ook naar rijkere data, dus ook naar video en andere dingen. Ja, dat kan er ook in. Ja. Ja, ja. En, uhm, wat je dus dan, uhm,
• 51:51
  een goede-- hoe, hoe weet je nou dat je representatie goed nuttig is? Goed is? Zonder de mens bedoel je?
• 51:57
  Nou ja, hoe, hoe kan je die vraag beantwoorden, uhm, of je nou een goede representatie hebt, uh, geleerd met een model? Uhm, dat moet je op een of andere manier kwantificeren.
• 52:08
  Zo van: je kan dus gaan van een, van een ruwe beschrijving van een camera naar een andere beschrijving.
• 52:14
  Nou ja, dat wordt, hoe, hoe machine learning werkt is dat het dan neurale netwerken zijn die dan iets vertalen naar een matrix.
• 52:20
  Dus je gaat van de ene matrix, de matrix die letterlijk de camera pixel, pixel kleuren beschrijft naar een nieuwe matrix. Is dat een goede matrix? En is een slechte matrix?
• 52:29
  En een van de dingen waar je dat dus mee kan toetsen is als je dus een taak gaat vervullen. Bijvoorbeeld vervang de bal voor of zeg waar de bal is.
• 52:38
  Om het even simpel te houden, uhm, of, of teken een hele strakke bounding box om alleen de bal, uh, en niet om de speler.
• 52:45
  En als dus de speler half boven de, o-over de bal zit, dan, dan is het dus als dat, als hij echt alleen de bal doet en niet de speler omdat hij dan denkt ja, maar het moet altijd een rondje zijn. Goed voorbeeld, ja.
• 52:55
  Dan heb je dus zeg maar een goede, uh, representatie als, als hij dat makkelijk kan.
• 53:01
  En dus de kwaliteit van de representatie is, uh, als het ware te meten door te kijken naar hoe snel en efficiënt kun jij een downstream task leren.
• 53:12
  Dus je, je, je pakt als het ware, dat is ook het idee van pre- en posttraining. Je pre-training, je leert de distributie van de data op, met zo'n manier dat je een, dat je een, een, een representatie hebt geleerd.
• 53:24
  En hoe goed die representatie is kan je uitdrukken als in hoe efficiënt kun jij nu leren om taken te vervullen.
• 53:30
  En wat je dus ziet, en dat is het bijzondere aan deze- Ja, dus heel even tussendoor, dat zijn dan twee leerprocessen. Ja. Daarom zeg je pre en post.
• 53:38
  Je hebt het, uh, het eerste leerproces is goede representaties leren om die vervolgens in te zetten om weer mee te gaan leren.
• 53:45
  Dat zijn als het ware de legoblokken van representatie waarmee je daarna taken gaat leren om uiteindelijk, stap drie, ingezet te worden om taken te vervullen.
• 53:55
  Ja, en het is niet zo heel, uh, uh, exotisch als het klinkt, denk ik. Want het is ook bijvoorbeeld net als met lezen.
• 54:01
  Als je hebt leren lezen, dan, dan op een gegeven moment kun je lezen en daarna kun je mensen vragen gaan stellen over de tekst.
• 54:07
  Maar als jij niet hebt leren lezen, dan zal dat, a-, vragen beantwoorden over wat er in de tekst beschreven wordt best wel lastig gaan.
• 54:13
  Dus, uhm, het, het is echt een gewoon een soort logisch vervolg wat bouwt op een bepaald fundament en daarom wordt het ook foundation mode-modellen genoemd.
• 54:22
  En die, uh, pre-training voor bijvoorbeeld vision dan als je een heel goed beg-begrip hebt van semantisch, van: o ja, het is gewoon een bal en die bal verdwijnt gewoon achter die persoon.
• 54:30
  En dat kan gewoon, want in de echte wereld, uh, heb je diepte. En, uh, als een object voor een ander object zit, dan is het niet te zien, tenzij het transparant is. Dat heb je ook, zeg maar.
• 54:39
  Dus dat, dat, die intuïtie over, uh, wat die cameradata eigenlijk beschrijft achterliggend, als dat heel goed, uh, getraind is in dat model, dan zou het heel makkelijk moeten kunnen zijn om te zeggen: nou,
• 54:54
  jij bent nu verantwoordelijk voor de bal vinden en exact de positie van de bal en dat is jou, uh, dat is de taak waar je, waarop je het goed moet doen en dat laat hij gewoon zien in die paper.
• 55:04
  Dus die paper toont gewoon aan dat met die vorm van die interpretatie van ruwe data, dat je daar hele goede, uhm-Uh taken, zeg maar het, het trainen van dat, van zo'n gepre-traind model voor specifieke taken zoals, uh, objectdetectie, dat dat heel efficiënt is.
• 55:21
  En is dan nu het idee dat, want, uhm, heeft hij dan het vertrouwen erin?
• 55:26
  Uh, want het is natuurlijk supertof dat je empirisch bewijst, uh, in je paper dat jouw, uh, aanvliegroute, je strategie, uh, eigenlijk state of the art is, hè.
• 55:37
  Dus niets anders kan het binnen die tijd of- Zeker Espari best state of the art. Ja, ja, precies. Allemaal de goede. Zolang alles- Appels en appels vergelijken.
• 55:44
  Precies, binnen die wereld, zeg maar, waarin alles te vergelijken is.
• 55:47
  Ik bedoel tof, maar betekent dat dan ook-- ik twijfel wel eens en ik heb er te weinig verstand van om die, om die claim te kunnen, uh, bewijzen of onderbouwen, dus ik, daarom vraag ik het aan jou.
• 55:59
  Is wat hij aan het doen is, uh, op korte termijn toe te passen? Heb je niet kans dat ie ingehaald wordt door patches op een soort, op het oude paradigma? Als we het, als we het zien als een soort horse race.
• 56:14
  Ik denk dat ie, ik kan me voorstellen dat hij gelijk heeft dat het, dat het, dat de tekstuele representatie van de wereld en al die modellen trainen op een, op een lossy en ver van de rauwe realiteit afzijnde representatie, namelijk tekst, menselijke cultuur in de vorm van tekst.
• 56:29
  Dus wat mensen hebben gezien en hebben opgeschreven in een formaat wat heel, uh, dun is en, en, en arm in vergelijking met de rauwe realiteit.
• 56:39
  Dat hij zegt: dat is zo dun en arm, uh, daar kan je blijven plakken, maar je komt er niet. Uhm, dus we moeten een nieuwe, op ergens anders beginnen.
• 56:48
  En uiteindelijk gaat mijn paard, ook al rent hij nu nog achteraan, hè, wacht maar, als die op stoom is jongen, dan rent hij heel die groep voorbij.
• 56:54
  Of is het zo, en/of is het zo dat de, dat de bestaande paarden geüpgraded kunnen worden op een manier dat eigenlijk zijn diepte-investering in een nieuw paradigma mogelijk, uh, niet op tijd komt.
• 57:06
  Ik denk dat, uhm, het ongetwijfeld zo zal zijn dat, uh, zijn aanpak voor de domeinen waar de tekortkomingen van die taalmodellen het, het, het, het meest duidelijk aanwezig zijn.
• 57:20
  Dat hij, dat hij daar echt heel veel specifieke dingen kan aanwijzen waarbij hij straks echt superhard veel beter is dan, dan die aanpak die gebaseerd is op wat nu wordt gedaan. Ja, als we hem terugpakken. Voor modellen.
• 57:30
  Die eerdere jagged edge of intelligence, hè. Dus die modellen hebben gaten erin. Roteer die as van jaggedness. En dan komt, dan komt.
• 57:36
  Dan zie je dat hij hele andere spikes krijgt en, en, en soort van, uh, ook de, de, de spikes hebben ook de, de, de dalen, zeg maar.
• 57:44
  Dus je hebt, zeg maar, waar het goed en slecht is, dat wordt gedraaid en dan hele andere gebieden is hij sterk. Als je genoeg sterren over elkaar heen legt en draait heb je een cirkel uiteindelijk. Dus in, in essentie.
• 57:53
  En dat is ook waarom het denk ik zo boeiend is. Uiteindelijk, hoe bijzonder goed AI ook werkt voor heel veel van de dingen die we ermee kunnen doen, zijn het eigenlijk een stapel aan hacks die we tot nu toe gebruiken.
• 58:06
  Oh ja, we hebben nou eenmaal toegang tot heel veel tekstdata, dus gaan we gewoon kijken wat we daaruit kunnen halen. En we hebben heel veel ruwe, uh, uh, beelddata. Gaan we kijken wat we daaruit kunnen halen.
• 58:16
  En we kunnen met die verschillende benaderingen, daarom heb je ook, uh, je hebt, je hebt sowieso, voor mensen die niet in, in AI werken is misschien niet heel duidelijk, maar het hele vision domein is allemaal diffusion, is allemaal een heel ander paradigma dan de, dan de tekstmodellen.
• 58:29
  Nu zien we de laatste tijd wel dat de transformer architectuur nu samen is gevoegd met diffusion, dus dat het a-afbeelding domein, dus het maken van genereren van plaatjes, dat is nu- Nano banana. Nano banana.
• 58:40
  Uh, dat is nu een combinatie van transformer en diffusion, maar er zit nauwelijks diffusion nog in tekstmodellen. Ook al is daar zijn ook experimenten mee, maar dat is early early.
• 58:49
  Voor de, voor de luisteraar, dat is wel grappig om een beetje een intuïtie te krijgen.
• 58:53
  Als je diffusie gaat gebruiken om tekst te genereren, dan wordt de alinea opgebouwd met woorden die op verschillende plekken verschijnen.
• 59:01
  Dus niet achter elkaar sequentieel als een ketting, maar de woorden poppen gewoon op in de alinea op verschillende plekken en langzaam wordt als het ware het hele verhaal zichtbaar.
• 59:10
  Om je een beetje een gevoel te krijgen bij hoe diffusie erin de techwereld- Van noise, van ruis naar een- Ja, bizar. Naar een, uh, gekristalliseerde.
• 59:16
  Ik vind het wel grappig, hè, want die hybrids tussen dan bijvoorbeeld transformers en diffusie modellen, uh, de nano banana van deze wereld voor de luisteraars die dat wat meer zegt.
• 59:25
  K-, zou je dan kunnen zeggen: oké, dan is Le Cuns, uh, uh, manier een derde en krijg je een soort, nou ja, niet hybrids tussen drie. Triple hybrid. Triple hybrids [lacht]. Ja, dat is zeker denkbaar, 100%.
• 59:37
  Ja, dus ze kunnen complementair zijn, die paradigma's. Absoluut. Absoluut. En dat is denk ik, uhm, de bitter lesson maakt ook dat het zo moeilijk is om een paradigma-afwijking te maken. Want- Hoe bedoel je dat?
• 59:50
  Uhm, de bitter lesson zegt dus: je moet er gewoon meer compute tegenaan gooien en je moet gewoon de boel opschalen. Maar opschalen is duur.
• 59:57
  Opschalen betekent heel veel data verzamelen, heel veel mensen eraan laten werken om het allemaal engineering werkend te krijgen.
• 1:00:02
  Want er zijn een hoop uitdagingen als je iets op één GPU werkend hebt op jouw lab opzetting en dat is waarschijnlijk hoe Jeppa gedaan is en je wilt het dan in één keer naar twee datacenters schalen, naar 100.000 GPU's.
• 1:00:15
  Dat is gewoon een, een hele grote stap en het kan jaren aan engineering kosten, uh, om tot dat punt te komen. Is dat de moeite waard? En dan moet je dus een onderzoeker hebben met overtuiging van:
• 1:00:27
  ik weet zeker dat voor in ieder geval een hoop problemen dit echt wel veel, veel, veel beter gaat werken dan language modellen, modellen.
• 1:00:35
  Ik denk ook niet dat Yann Le Cun denkt dat bijvoorbeeld voor coding Jeppa state of the art gaat zijn. Want coding leent zich gewoon heel erg goed voor dat tekstparadigma.
• 1:00:43
  Want alle code die we tot nu toe met mensen geproduceerd hebben is geschreven in tekst. Is gebleken. Daar leven we nu in. En, en coding is ook, het werkt ook als een tierelier, zeg maar.
• 1:00:51
  Het is ook een domein waar het gewoon supergoed werkt, wa-waar het ook heel veel adoptie vindt en ook heel veel impact heeft. Het is ook nog eens valideerbaar. We hebben, we hebben superveel code.
• 1:01:01
  Het is al een representatie in tekst van een wereld. Misschien wel het meest geschikte voor de transformer is, uh, coding models. Ja. Eigenlijk.
• 1:01:10
  Dus, dus dat is ook waarom je, uh, denk ik, waarom het goed is dat er dan mensen die gok nemen.
• 1:01:17
  En er was een heel interessant interview met Ilya Sutskever en ik geloof dat hij met Dwarkesh dat interview heeft gedaan, vrij recentelijk.
• 1:01:25
  En in dat interview zegt Ilya dat we een soort van terug zijn in de age of research.En, uh, daarmee doelt hij op het punt dat we wel bij bepaalde diminishing returns aankomen op het gebied van die standaard transformer language modellen.
• 1:01:41
  Het is een soort terug naar de tekentafel-achtig moment.
• 1:01:45
  Soort van, ja, want het, het doel voor heel veel van deze onderzoekers, zoals Yann LeCun als Iia, Ilya Sutskever en ik denk ook wel van OpenAI, maar die zitten het diepst al met een bepaalde bet die ze nu, zeg maar, zo ver mogelijk laten gaan.
• 1:01:58
  Uhm, dat is AGI in de zin van een, e-, jaggedness is echt een, een doorn in het oog. Zeg maar, jaggedness is geconstateerd, maar het is verschrikkelijk voor AI-onderzoekers dat, dat een model heel slim is.
• 1:02:13
  En dan draai je het probleem heel iets en dan is het in één keer superdom. Dat, dat is verschrikkelijk. Dat wil je helemaal niet, want je wilt eigenlijk robuuste algemene intelligentie maken. Zoals mensen. Zoals mensen.
• 1:02:24
  Meer zoals mensen. Mensen zijn in zekere zin misschien ook wel jagged, want je kan een savant zijn in een bepaald onderwerp, maar niet, uh, misschien is je taal, uh, super zwak.
• 1:02:34
  Ik vind het wel boeiend, hè, want als je dat nu zo zegt mens, mensen, uhm, ik vind, het is ook maar net, uh, in, in, uhm, je hebt zo'n, zo'n paar van die toffe animaties. Die zijn al gemaakt in de jaren 80 volgens mij.
• 1:02:50
  Dat er wordt, uh, ingezoomd. Dus je ziet de mensen volgens mij ergens op het, op het strand of zo. Dan zoomen ze in op het atomair niveau.
• 1:02:58
  Stap voor stap voor stap voor stap en daarna zoomen ze uit op het, op het galaxy, hè, niveau, zeg maar. En dan daartussen. En dat zijn eigenlijk zoomlevels, uh, uh, abstractieniveaus, uh, noem het maar op.
• 1:03:09
  En ik vind het wel boeiend. Je, je zou natuurlijk kunnen zeggen: we hadden het net over een soort triple hybrid, uh, wat eigenlijk dus een systeem van AI's is.
• 1:03:20
  Dat, kijk, als de discussie gaat, ik vind het ook interessant bijvoorbeeld kijken naar Gary Marcus. Uh, die halen we vaak in de nieuwsbrief ook aan. Ook om onszelf een beetje op de grond te houden.
• 1:03:29
  Omdat Gary gewoon heel, uhm, kritisch schrijft over taalmodellen, kritisch schrijft over de beloften van de labs. En dat creëert wat mij betreft ook een mooie tegenkracht in, tegen de hype, zeg maar.
• 1:03:40
  Hij is echt een soort de anti-hype, uh, persoon wat mij betreft op dit gebied. Maar ik denk dat, je kunt alsnog systemen krijgen die minder jagged zijn en, uh, bovenmenselijk gaan opereren.
• 1:03:56
  Terwijl Gary Marcus en LeCun gelijk hebben. Waarom zeg ik dat?
• 1:04:01
  Dan schuiven we namelijk de zoom, het zoomlevel één omhoog en dan zeggen we: als we nou Transformers, Diffusion en LeCun's idee en nog twee ideeën in een agentic swarm laten samenwerken en daar de stempel AI AGI op doen, dan hebben we toch-- kijk, ji-jij kunt tegen mij zeggen: één individu, een mens is jagged.
• 1:04:22
  Ja, fair. Maar een groep van duizend mensen is veel minder jagged, want dat is een soort cr-crowd knowledge, zeg maar.
• 1:04:29
  Kunnen we niet op diezelfde manier zeggen dat de verschillende AI, uh, expertmodellen in een groep mogelijk ook tot een minder jagged profiel komen?
• 1:04:38
  En is de discussie of GPT 5.4 ooit zonder jagged wordt niet de, het verkeerde zoomlevel? Ja, ik, dat, dat is een van de grote vragen eigenlijk waar iedereen zich nu mee bezighoudt. Van: hoe reduceer je die jaggedness?
• 1:04:53
  En, uh, één antwoord is overduidelijk een nieuw paradigma uitproberen. Uh, dus, dus Yann LeCun is heel erg van het, uh, GEPA-paradigma wat we zojuist besproken hebben.
• 1:05:05
  Dan heb je, David Silver is een nieuw lab begonnen en hij is heel erg van het experiential van: je moet die AI dingen laten proberen in de echte wereld en, en daar feedback zien. Dat kunnen baby's ook. Ja.
• 1:05:16
  Dus je moet in een soort trial and error zou je eigenlijk jezelf uit de modder moeten kunnen trekken. Ja, en dat vind ik eigenlijk niet eens per se een heel apart, zelf op zichzelf staand paradigma.
• 1:05:25
  Omdat dat is eigenlijk hoe de beste codingmodellen nu op dit moment getraind worden. Uhm, maar je zou daar nog meer in kunnen leunen als het ware, zeg maar.
• 1:05:34
  Je zou dat, dat, dat, dat wordt nu gedaan, maar dat zou je nog extremer kunnen doen. En dat is bijvoorbeeld ook hoe AlphaGo en AlphaZero, dat zijn modellen die in dat, dat spel Go- Self-play. Toen jij het erover had ook.
• 1:05:45
  Ja, dus die, die hebben, uh, leren Go, dat bordspel spelen door Go, uh, zelf met zichzelf te spelen. Dus dat is natuurlijk een heel erg, uh, afgebakend domein. Maar, nou, dat is in ieder geval ook een ander paradigma.
• 1:05:59
  Maar het punt is dus dat de integratie van deze verschillende paradigma's, uh, op heel ve-, u-u-, op fundamenteel verschillende manieren kan plaatsvinden.
• 1:06:08
  Dus je kunt dat aan elkaar knopen als het ware als een soort Rube Goldberg machine die, zeg maar, oké, jij gaat eerst dit doen en dan kom jij met een half resultaat en dan geef ik dat weer door aan het andere model.
• 1:06:18
  Van de agentic workflows die ik nu zie.
• 1:06:21
  En dan ga je, ja, en dan ga je dus, uh, een beetje router per, per paradigm, uh, heen en, en er zijn, uh, heel veel indicaties dat, dat, d-die naïeve vorm van combineren eigenlijk waarschijnlijk niet zo goed gaat werken, omdat je dan toch altijd een soort
• 1:06:36
  gat blijft houden. Dus bijvoorbeeld taalmodellen. Als je een verkeerssituatie beschrijft in een taalmodel en je zegt: uh, a car was going at bla bla bla miles an hour bla bla bla en die beschrijft de hele context.
• 1:06:46
  Dan kunnen ze sommige dingen heel goed beantwoorden en sommige basale soort van spatial logic kunnen ze helemaal niet goed beantwoorden. Hebben ze echt een soort blind vlek.
• 1:06:55
  Ja, je hebt het typische voorbeeld van, uh, de autowasserette is op acht minuten van mijn huis lopen. Ja. Moet ik met de auto gaan of lopen? En zeggen ze: loop maar gewoon. Ga maar lopen.
• 1:07:05
  Maar dan heb je natuurlijk je auto niet bij je. Dus dat, dat, dat soort- Dat soort logica. En dat vind ik eigenlijk een, een heel erg, uh, heel, heel schadelijk voorbeeld.
• 1:07:14
  Of, of een heel extreem, een heel goed voorbeeld van: het is niet eens echt het voorbeeld waar we n-net over hadden in zekere zin. Want het is niet per se dat het heel erg leunt op spatial understanding.
• 1:07:25
  Het is bijna zelfs common sense understanding, want het is gewoon logic.
• 1:07:28
  Een slecht voorbeeld als je, pre-precies, pro-probeert het punt te maken: wat gebeurt er als een appel onder een tafel ligt, hè, dat wat meer te maken heeft met de dimensies. Precies.
• 1:07:36
  Dus stel, stel je hebt een foto geüpload naar ChatGPT en je zegt: uhm, uh, teken, uh, zeg maarDie appel als die doormidden is gesneden of zo. En beschrijf dan welke pixels dit of zo moeten zijn.
• 1:07:51
  Dus een soort van, uh, visuele manipulatie of zo. Weet je dat? Dat soort dingen kan die helemaal niet.
• 1:07:57
  En wat jij dus schetst van als je systemen kan combineren en die zijn eigenlijk altijd fundamenteel blind op die gebieden.
• 1:08:04
  Dus dan heeft Jeppa weer iets heel slims in een spatial domein gedaan en dan geeft hij het weer terug aan een LLM-model. En die, die zegt die, die, die komt dan weer met een of andere domme fout.
• 1:08:13
  Dus die, die verpest dan weer een beetje de vooruitgang omdat hij dus weer hele basale fouten introduceert. Dus wat je niet wil is, uh, dat die vormen van intelligentie heel naïef met elkaar verbonden zijn.
• 1:08:27
  Maar je kan ze wel blenden met elkaar.
• 1:08:29
  En als je dus kijkt naar transformer diffusion modellen voor afbeeldingen genereren, dan zie je dus dat als je die combineert op een slimme manier waarbij ze ook tijdens training- Nano Banana Pro bijvoorbeeld is niet naïef verbonden.
• 1:08:42
  Nee, nee. Die is intelligent verbonden. Of in ieder geval die weten van elkaar. Die, die zijn echt symbiotisch verbonden met elkaar, dus dat ze elkaars sterke en zwakke punten compenseren. Is dan die, die, die, uhm,
• 1:08:58
  ik zit nu, e-e-even wat jij,
• 1:09:01
  uh, wat ik voor me zie, hè, dus een soort zwerm van, uh, verschillende modellen die competenties hebben die verschillen van elkaar, maar samen vormen ze een goede groep, hè, en dat heet dan AGI tegen die tijd.
• 1:09:15
  Dat die approach die ik voor me zie, uh, is naïef, hè, om jouw woord te gebruiken.
• 1:09:20
  Hoe moeilijk is het om wat er met Nano Banana gebeurd is, dus eigenlijk een symbiotische integratie van modellen die verschillende strategieën hebben om dat te doen met bijvoorbeeld niet twee, maar vier of vijf verschillende paradigms combineren.
• 1:09:39
  Ik bedoel, praten we dan misschien ineens over tien jaar in plaats van tien maanden?
• 1:09:44
  Ja, dat is, dat is denk ik een redelijke aanname dat-- het is sowieso heel afhankelijk van, want je, je, je vergelijkt nu een, een fictief nieuw paradigma waarvan we niet eens kunnen beoordelen hoe ver het af ligt van de huidige paradigma's.
• 1:10:00
  Misschien dat er wel voor energie-efficiënte intelligentie een, een soort biologisch, uh, soort bio computer, physical computing, analog computing, iets wordt gebruikt.
• 1:10:10
  En dan is misschien integreren, uh, een stuk lastiger. Dus hoe dat paradigma is dat nog steeds gewoon silicon? Is dat gewoon computers? Uhm, werkt dat op GPU's?
• 1:10:21
  Zeg maar, werkt dat, zeg maar, de, al die dingen maken hoe integreerbaar ze zijn en hoeveel werk dat kost.
• 1:10:29
  Er is in essentie iets nog fundamentelers gaande, denk ik, is dat, uhm, kijk, als ik met, la-laten we even, laten we inderdaad zeggen dat, uh, we hebben stukjes die met elkaar kunnen samenwerken en we doen het op een naïeve manier.
• 1:10:42
  Dus wat jij een Rube Goldberg machine noemt, hè, dus touwtjes, houtje-touwtje constructie. Ja, wat de router was op GPT-5. Zo voelde die in ieder geval.
• 1:10:50
  En, uhm, dan heb je natuurlijk een aantal dingen die goed moeten gaan, hè. Stel dat je dat over die, dat we dat zeggen, uh, de autowasserette is acht minuten van mijn huis. Kan ik beter lopen of mijn auto pakken?
• 1:11:02
  Nou, veel modellen nu, bij-bijna allemaal, niet a-, sommigen niet, maar bijna allemaal zeggen dan: je moet lekker gaan lopen, maar dan kom je daar natuurlijk zonder je auto aan.
• 1:11:10
  En wij als mens moeten dan lachen dat we denken: dit is een beetje, is dit nou superintelligentie? Dan moet ten eerste dat model weten: ik twijfel. Dat is stap één, hè.
• 1:11:20
  Ik moet iets anders gaan aanroepen in mijn groep, want ik, ik, ik weet het niet, hè, dus dat moet je fixen. Ja, dus er moet ook wel een soort van de jacketness daarvan is nu nog geen zelfreflectie.
• 1:11:33
  Precies, dus er moet een zelfreflectie zijn. Oei, dit is er eentje waar ik niet te snel een uitspraak over moet doen. Ik kan niet alleen maar naar thinking mode gaan. Je mag hem van mij gewoon pauzeren.
• 1:11:43
  Dit gaat gewoon nooit werken. Zeg maar, die hele soort van samenknopen van dat soort dingen, dat gaat nooit AGI geven. Waarom niet?
• 1:11:50
  Omdat, uhm, er heel veel voorbeelden zijn van hoe in het verleden zo systemen, expert systems of andere systemen aan elkaar geknoopt zijn en dat dan altijd dat verbindingsmechanisme de bottleneck is,
• 1:12:07
  uhm, waarbij uiteindelijk een systeem zo goed is als zijn zwakste component en dat wordt het zwakste component, dus dan gaat het uiteindelijk niet goed werken. En je ziet gewoon dat, uh, bijvoorbeeld Gemini
• 1:12:21
  is class leading, zeg maar het beste op het gebied van multimodal data.
• 1:12:27
  En dat gaat dan over audio en video en image en een stukje tekst tegelijk geven aan het model en dan vragen die modaliteiten te combineren om een antwoord te geven. En dat komt omdat dat model,
• 1:12:41
  uh, fundamenteel multimodaal getraind is. Dus ze hebben dat al gecombineerd in de, in het, in het ontwikkel-, creatieproces van dat model.
• 1:12:50
  En, uhm, zolang, kijk, uiteindelijk de, de AI zoals we het, de, de beste AI's die we kennen in die, in die specifieke slice of nou coding is of afbeelding genereren of video genereren, bijvoorbeeld CDance, uh, C-Dream, CDance 2.0, insane video model uit China.
• 1:13:07
  Uhm, die bijzondere capaciteiten, die komen voort uit het simpele paradigma van machine learning.
• 1:13:15
  Zo van: je ge-, je hebt een systeem, je hebt heel veel data en je traint het model gewoon enorm lang en je blijft maar het model groter maken. Je blijft maar meer data toevoegen en dan krijg je magic.
• 1:13:25
  En dat paradigma werkt. Voor de rest weten we niet iets anders wat werkt, dus gewoon dat werkt. En je moet dus ook een combinatiesysteem,
• 1:13:36
  zeg maar, die moet diezelfde, uh, datzelfde paradigma moet nog steeds daarvoor werken.
• 1:13:40
  Dus dan moet je die systemen knoop je aan elkaar en daarna ga je het trainen, zeg maar in zijn geheel.Omdat het anders nooit gebruik leert maken van elkaars zwakke en sterke punten.
• 1:13:52
  Uhm, omdat het nooit de kans heeft gehad. Dus het is niet magie, het is gewoon dat moet het, dat moet het leren. De leerlingen moeten tijdens de opleiding al opgeleid worden voor het team waarin ze terecht gaan komen.
• 1:14:04
  Voor die samenwerking als het ware. Ja, en, en dat en die als het ware die, uh, uhm, samenwerkingsinfrastructuur, hè, wat alles dan aan elkaar verbindt. Dat is in het verleden geprobeerd.
• 1:14:17
  Daarom noem jij het ook een naïeve approach. Want dat, daarmee doe je eigenlijk een waardeoordeel van dan. Jij denkt dat dit gaat werken, maar dan gaat het echt niet, hoor.
• 1:14:24
  En, en, maar, en betekent het dan ook dat jij persoonlijk, uh, best wel kunt. Want Lecoon is best wel, uh, cynisch.
• 1:14:34
  Of ja, die is best wel aan het down hypen, zeg maar aan het anti hypen van: jongens, jongens, wacht even. Ik ben ook onder de indruk wat er nu allemaal gebeurt, hè.
• 1:14:41
  Ik zie het ook, maar denk nou niet dat we nu ineens doorstoten naar AGI vanuit wat we nu hebben uitgevonden. Er is nog een hoop te doen.
• 1:14:49
  Hij zegt eigenlijk: we missen nog hele componenten van de, van de cirkel, hè, die jaggedness. We moeten nieuwe sterren gaan maken die we naast elkaar kunnen leggen en die zomaar aan elkaar knopen gaat niet helpen.
• 1:15:00
  Dus we moeten ook nog eens hybrids, uh, gaan maken met zeven verschillende dingen en dat is even niet binnen zes maanden gefixt. Ja, en daar is dus wel--
• 1:15:10
  we gaan weer helemaal terug naar het begin van het gesprek, want daar hadden we het over auto research.
• 1:15:15
  En dat je dus nu ziet dat het steeds sneller en steeds capabeler gaat als je vraagt aan een AI coding agent: uh, implementeer dit voor mij en test of het werkt. En heel veel van dit werk,
• 1:15:28
  of het nou, zeg maar, het Jeppa-idee opschalen is en de engineering werkzaamheden die daarvoor nodig zijn, is nog steeds allemaal software engineering.
• 1:15:35
  Ja, tuurlijk, het is ook een stukje datacenters bouwen en die GPU's installeren, verbinden met het stroom, et cetera.
• 1:15:41
  Maar als er al een datacenter staat en je hoeft alleen maar in plaats van transformer te trainen, train je nu Jeppa. Dan kan een agent dat binnen een paar uur gefixt hebben.
• 1:15:51
  En als we straks voor elkaar krijgen om meerdere agents productief samen te laten werken op het gebied van coding, want dat is heel dichtbij, dat werkt al vandaag. En dat, dat in rap tempo wordt dat beter,
• 1:16:05
  is het combineren van dit soort ideeën ook iets wat steeds sneller gaat. Dus dan heb je het niet per se over tien jaar.
• 1:16:12
  Juist omdat je als het ware krachtige instrumenten ontwikkelt en waar we dichtbij zijn voor zelfversnelling. Het is niet per toeval dat de labs zoals OpenAI hebben gezegd: we gaan dubbel downen op transformers.
• 1:16:26
  Die hebben ook al, al die bezwaren gehoord van wat je wel niet met transformers kan,
• 1:16:30
  maar die geloven wel dat je tot het punt kan komen dat het die jaggedness of die tekortkomingen kan gaan adresseren door bijvoorbeeld hybride aanpakken of, of, of, of, zeg maar varianten van een transformer systeem.
• 1:16:47
  Misschien wel helemaal van scratch trainen, want dat kan nog steeds, hè. Je kan nog steeds iets helemaal van scratch, scratch trainen in een paar maanden, uhm, op hele, hele grote schaal.
• 1:16:56
  En dan komen die dingen misschien samen en dan zo, zo druk je misschien de jaggedness eruit. Gewoon puur met die coding agent. Het is wel boeiend, hè, want eigenlijk, uhm,
• 1:17:06
  als, even als voor het gemak van het gesprek Lecoon zit hier ook aan tafel, dan vraag ik aan hem voor wat er nog uitgevonden moet worden aan spelers in het team en de coördinatie binnen het team.
• 1:17:24
  Hoe lang duurt dat nog? En dat hij dan zegt: ja, daar zijn we nog, nog wel tien jaar mee bezig. En als ik dan aan hem vraag: wie is we? Dat hij daar dan misschien toch ook nog met menselijke intuïtie zit.
• 1:17:37
  Dat hij denkt dat we als mensen dit allemaal moeten gaan uitvinden. Want wat ik jou nu hoor zeggen is eigenlijk: ik ben het met hem eens, hè.
• 1:17:46
  De vraag is alleen of de bottleneck die hij ziet voor hoeveel novel science en oplossingen er nog gedaan moeten worden, niet ten dele opgelost wordt en versneld wordt door uit de hand gelopen previous paradigm transformers die als junior researchers Lecoons problemen gaan oplossen in een tempo dat zelfs hij misschien intuïtief.
• 1:18:10
  We zijn heel erg aan het gokken nu op wat hij denkt en voelt, hè. Die man is honderd keer zo slim als ik, dus dat is prima.
• 1:18:15
  En ja, [lacht] dus die zit nu, uh, tegen mij te zeggen: nee, zelfs, ik heb in mijn tien jaar rekening gehouden met- Met supergoede coding agents. Keer 10.000. Zo moeilijk is dit probleem, weet je wel.
• 1:18:25
  Maar toch, wat ik merk wel voor mij, ik projecteer het even op Lecoon is, uh, mijn intuïties.
• 1:18:32
  Ik ben constant, uh, toen ik vandaag in de trein zat naar de studio, zat ik op een gegeven moment gewoon te denken: volgens mij heb ik er nu het meeste aan om te reflecteren op mijn eigen intuïties.
• 1:18:43
  Uh, o-, daarmee bedoel ik te zeggen:
• 1:18:47
  ik vind het, we, je hebt een typisch voorbeeld, uh, dat wordt in, uh, heel veel, uh, uh, eerstejaars economie, uh, opleidingen altijd aangehaald dat wij als mens een bijzonder slechte intuïtie hebben als het gaat om compound interest.
• 1:18:59
  Omdat we, ja, omdat we eigenlijk geen interne simulatie kunnen draaien van exponentials, alleen maar lineair, omdat we dat het meest hebben gezien als wezen. Is dan mijn invulling.
• 1:19:08
  We zien niet zo vaak exponentials en daardoor hebben we daar geen intuïtie voor. Maar ze bestaan wel. Uh, de geschiedenis zit vol met exponentials. Zeker.
• 1:19:16
  Dus hier zou ik, i-ik merk dat in een soort hyper exponentials of whatever, er zullen vast mooie wiskundige namen voor zijn. Ik heb al een bijzonder slechte intuïtie voor exponentials.
• 1:19:26
  Ik heb een bijzonder, uh, slechte intuïtie voor vier dimensies in plaats van drie, hè. Daar kan je blijkbaar als wiskundige na tien jaar werken met vier dimensies een intuïtie voor ontwikkelen.
• 1:19:35
  Maar ik merk dus ook dat in veel gesprekken, ook nu met jou, dat wij dan zeggen: uh, ja, nee, maar dat, dat duurt nog wel tien jaar.
• 1:19:43
  Maar z-zeggen we dan dat we daar, houden we daar dan constant rekening met het feit dat er ook door AI geduwd wordt in wie die wetenschap aan het doen is?Ja, ik, ik denk dus dat de tijdlijnen uiteindelijk het, het product zijn van een hele complexe soort samenloop van, van zaken.
• 1:20:03
  Want stroombeschikbaarheid, de maatschappelijke, ant-, het, het maatschappelijk enthousiasme voor het bouwen van meer datacenters, uhm, de kwaliteit van coding agents,
• 1:20:18
  de verruiming van wat coding agents wel en niet autonoom kunnen. Zeg maar al die, al die dingen zijn samen bepalend voor de totaalsnelheid en dat is lastig te voorspellen.
• 1:20:31
  Maar wat je wel dus nu ziet en daarom denk ik dat er zo'n moment is van auto research als subtrend die nu heel actief besproken wordt.
• 1:20:40
  De autonome AI onderzoeker, uhm, die code schrijft, tests draait en dat, uhm, daar resultaten mee laat zien en dus het proces enorm versnelt. Makkelijk factor tien, echt makkelijk factor tien. Uhm,
• 1:20:57
  ja, dat kan wel gewoon al die tijdlijnen verkorten.
• 1:21:01
  En dan is misschien nog één van de blinde plekken, blinde vlekken die daar zit, in ieder geval bij mijzelf, is, uh, dat er een verschil is tussen executie, uh, dus taken uitvoeren en interpreteren wat dat betekent.
• 1:21:16
  Uh, dus het resultaat van die taak weer verwerken binnen een systeem. Wat probeer ik, uh, te zeggen?
• 1:21:22
  Er is een heel, uh, oud software engineering boek, uh, waar de, The Myth of the Man-Month, de mythe van de man de maand, oftewel, uh, en dan met man grotendeels engineers. Mythical Man-Month. Ja, de Mythical Man-Month.
• 1:21:34
  Dank je wel.
• 1:21:35
  Het idee dat als je een project hebt dat met e-één persoon tien maanden duurt, dat als je er tien personen tegenaan gooit, dat het dan nog maar één maand duurt en dan blijkt het ineens veertien maanden te duren omdat de overhead van het toevoegen van die extra personen het langer laat duren.
• 1:21:51
  En er zitten zelfs grafieken in dat boek van bij hoeveel mensen je weer terugkomt om de oude tien maanden, bij twintig of zo.
• 1:21:57
  En dan, bij boven de twintig ga je inderdaad terug naar zes maanden en al dit soort, ik roep maar getallen als voorbeeld.
• 1:22:02
  Punt is dat veel van, uh, de problemen in de fuzzy realiteit van, uh, ja, waar realiteit ook de wereld raakt, hè, we leven niet alleen maar in computergames.
• 1:22:14
  Dat daar, uhm, als jij een complex systeem hebt waar nodes in zitten van stukjes software die tot resultaten moeten komen en dat al die nodes ineens instant resultaat gaan leveren van de een op de andere dag.
• 1:22:26
  Dus alle blockers in jouw, uh, s-, uh, s-, bedrijf, uh, die technisch waren doen er niet meer 10 minuten over, maar allemaal geven ze gewoon meteen instant antwoord. Dan heb je niet ineens een instant bedrijf.
• 1:22:38
  Nee, je hebt nu een deel van je nodes in je informatiesysteem. Er is ook een hele leuke wetmatigheid hiervoor. Die wordt gebruikt, ook voor het analyseren van de maximaal haalbare speedup.
• 1:22:48
  Als je wel puur kijkt naar het computational probleem, dat heet Amdahl's Law en dat gaat over parallelisatie versus dingen sequentieel doen.
• 1:22:57
  En de, die zegt gewoon simpelweg dat de maximale speedup is de, het sequentiele deel, uhm, bepaalt uiteindelijk of je het parallelle deel oneindig zou kunnen schalen.
• 1:23:08
  Dan bepaalt puur en alleen het sequentiele gedeelte de maximale speed. Kan je een voorbeeld geven? Ja, dus nu om, om met concrete getallen te komen.
• 1:23:15
  Stel je hebt een probleem, uh, wat je wil oplossen in code en het is een berekening.
• 1:23:21
  Misschien een weers-, weersberekening of het trainen van een model en je krijgt het voor elkaar om 95% van het probleem helemaal parallel te doen.
• 1:23:29
  Je hebt 5 miljoen GPU's en je doet het op elke van die GPU's zet je een stukje van het probleem waardoor je instant klaar bent, maar je hebt alleen nog 5% wat je niet kan gebruiken.
• 1:23:39
  Dan is het 5% zorgt ervoor dat je 20x maximale speedup is, want als je nog steeds die 5% sequentieel gaat doen, dan domineert dat deel nu gewoon de tijd die het kost en dus is het volledig reduceren van bottlenecks zoals jij zegt niet direct dan een volledig.
• 1:24:00
  Als twintig, als twintig rijbanen op een snelweg eindigen bij één brug, kan je alles daarvoor, maar uiteindelijk vind jij dan: hey, de nieuwe bottleneck is nu dat ene bruggetje waar al die auto's die met z'n twintigen naast elkaar reden overheen moeten.
• 1:24:13
  Ja. En dan had jij het er nog over dat je zei: in een puur computational realm. Ja, en dan. Oftewel als alles informatie was. En dan heb je dat het niet als informatie is. Maar wat wel een interessante, uh,
• 1:24:26
  een bruggetje is naar de, de fysieke wereld. Als we het nu dan toch hebben over ja, je hebt, je hebt je digitale wereld, maar er is ook nog een fysieke wereld. En dat, daar i-is wel ook best wel veel
• 1:24:38
  snelle ontwikkeling nu op het gebied van robotics en kun je voor een, dus, dus autonomous driving, zeg maar selfdriving cars die, uh, die werken. Ze zijn nog niet beter.
• 1:24:51
  Ze zijn beter dan mensen, maar ze zijn nog niet perfect. Maar ze zijn wel vele malen veiliger dan mensen, menselijke bestuurders. En, uhm, zo heb je nu dus de trend van humanoïde robots.
• 1:25:02
  En die, uh, zijn nog heel basaal, maar worden wel in rap tempo beter. En dan heb je het weer over die intuïtie van exponentials.
• 1:25:11
  Hoeveel, hoeve-hoeveel zinnigs kunnen wij nu zeggen over de, uh, snelheid van verbetering van humanoïde robots als we nog niet eens begrijpen hoeveel sneller die coding agents beter worden?
• 1:25:24
  En wat een veel betere coding agent betekent voor de snelheid waarmee we de ro-, de, de, de humanoïde robots beter kunnen maken.
• 1:25:33
  Want als, zeg maar, het, v-, het, het maken van die AI systemen uiteindelijk een heel groot fysiek component blijkt te he-, te hebben, omdat we, uh, een aantal keren bijvoorbeeld hele datacenters opnieuw moeten inrichten.
• 1:25:45
  Als dat volledig geautomatiseerd is, dan kan je dat ook helemaal digitaal aansturen en wordt dat door een robot uitgevoerd. EnIk weet dat heel veel mensen denken: ja, maar nu ga je echt te ver.
• 1:25:58
  Dat we humanoids hebben en dat die coding agents ook heel goed zijn. En nou ja, daar zijn we gewoon nog lang niet. Maar het is wel exact de realiteit waar keihard gedrukt wordt om naartoe te komen.
• 1:26:09
  En ik denk met goede reden, omdat als we daar eenmaal zijn, dan ben je in staat om heel veel grote problemen die, als je die, zeg maar, als je, uh, als je, zeg maar, dat coding gedeelte helemaal opgelost hebt.
• 1:26:23
  Dus je kan alle software die je kan bedenken kan je pr-praktisch instant schrijven en je kunt alle fysieke, uh, stappen die gezet moeten worden om, om, uh, om, om het gat dicht te-- stel je bent een farmabedrijf en je moet ook, uh, uh, logistiek, zeg maar, uh, de, de medicijnen naar de mensen toe brengen zodat ze ook daadwerkelijk de medicatie kunnen nemen.
• 1:26:41
  Ik noem maar wat. Dat, dat kan wel heel veel welvaartcreatie uiteindelijk opleveren. Dus. Dat is een beetje Hassabis idee, Demis Hassabis, van: de laatste uitvinding is een syte-synthetische uitvinder. Ja.
• 1:26:55
  Want als je eenmaal een hele grote, als je een uitvinder uitgevonden hebt, ja, dan, dan gaat de rest vanzelf. En, uh, ik denk dat de laat-laatste misschien wel, om het af te sluiten, is
• 1:27:08
  als je al een tijdje programmeur bent en je bent zoals ik ook heel erg bezig met AI-onderzoek en ideeën implementeren, ideeën bedenken, dan implementeren, testen of ze werken en dan, en dan dat riedeltje herhalen. Dan,
• 1:27:23
  v-, dan zie je nu wat die coding agents zelfstandig voor elkaar krijgen. Wat Karpathy dus liet zien, dat hij een grafiek post op zijn Twitter waarbij die, uh, liet zien, want ik heb een systeem gebouwd.
• 1:27:33
  Hij is echt een van de, de, de beste. Hij is, zeg maar, uh, Michael Jordan van AI-onderzoekers. En hij, uh, ziet dus, hij zegt: ik begon met een systeem wat ik zo, zo goed geoptimaliseerd had als ik ongeveer wist.
• 1:27:47
  En dan liet hij die grafiek zien. Dat was het startpunt. En die AI-agent, die vindt gewoon verbetering naar verbetering, naar verbetering.
• 1:27:51
  Er staan volgens mij 40 puntjes op die grafiek en dan zie je dat lijntje naar beneden gaan. En dan, dan, en, en dan ben je zelf als programmeur, gebruik je deze coding agents om jouw werk gedeeltelijk te automatiseren
• 1:28:04
  en dan voel je gewoon van: damn, het kan gewoon echt. Het zijn echte ideeën. Hij doet het helemaal zelf. Het zijn echt capabele, zeg maar, uh, uh, uitvoeringen, uh, ervan.
• 1:28:16
  Dus hij heeft niet, uh, de, de kantjes ervan afgelopen en zich 10 keer gestoten. Nee, hij heeft gewoon netjes goed dit geprobeerd, tot de conclusie gekomen en het op de juiste manier verwerkt.
• 1:28:26
  Dan, dan voel je gewoon ineens: holy shit, we zijn wel veel dichter bij die realiteit dan we denken. Ja, en ik denk ook dat, uhm,
• 1:28:33
  je hebt eigenlijk twee dingen nodig op zijn minst om tot een soort, uhm, ja, uh, dat, dat gevoel over je heen te krijgen wat jij nu beschrijft, wat Karpathy heeft gehad, wat, wat ik op mijn eigen manier binnen mijn eigen werk een aantal keer heb meegemaakt, vooral in de laatste maanden.
• 1:28:50
  Een gevoel waardoor ik vrienden wil gaan opbellen om ze te vertellen: d-er is iets substantieels aan de hand. Daar heb je twee dingen voor nodig. Ten eerste heb je een, uh, principe nodig dat werkt.
• 1:29:03
  Dus, uh, iets wat een cirkel kan maken en zichzelf kan verbeteren, zeg maar. Ik zeg het heel even vaag, maar iets recursiefs wat eigen onderzoek kan doen. Auto research, dat heb je nodig. Dat is er nu eigenlijk.
• 1:29:16
  En dan heb je nog nodig dat, dat, dat de principes die je daar hebt, dat, dat, dat, dat idee generaliseert naar alle andere domeinen. Of in ieder geval genoeg domeinen die weer doorgeneraliseren naar de rest.
• 1:29:29
  En ik denk dat j-jij en ik, ik spreek even voor ons allebei, niet kunnen garanderen dat dat niet zo is. Ja, en het is, en het is altijd een, zo'n s-, zo'n inschatting. Weet je wel, van
• 1:29:44
  toen ik, uh, GPT-3.5 zag, toen dacht ik ook wel van: wow, super bijzonder! Vet dat dit nu kan. Maar je wist wel gewoon gut check. We zitten superver af van AGI, wat het dan ook mag zijn.
• 1:29:58
  Maar je voelt nu gewoon dat de technologie een bepaald punt heeft bereikt. Dat het, uh, zo goed is dat je weet: holy shit, alles wordt, uh, heel anders. En dan weten we nog steeds
• 1:30:12
  eigenlijk niet hoe dicht we bij nog betere intelligentie zijn. En er kan, er kunnen nog steeds allemaal-- maar je voelt wel van: hey, het kan wel eens dichterbij zijn dan we denken.
• 1:30:23
  En dan heeft iedereen het over: stel, je survey't een aantal experts uit het veld over wat zijn jouw AGI timelines. En dan kan je het vragen aan Demis Hassabis. Dan kan je het vragen aan Sam Altman.
• 1:30:33
  Dan kan je het vragen aan wie dan ook, zeg maar, daar. Demis Hassabis vijf tot tien. Sam Altman één tot twee. Dario één tot twee op dit moment.
• 1:30:40
  En, uh, Shane Legg, de andere co-founder van DeepMind, die zit al een tijdje consistent op 2028 omdat hij het gevoel heeft dat we een stuk dichterbij zijn. Uhm, ook weer
• 1:30:54
  opnieuw bevestigd voor hem, voor zijn gevoel, zegt hij ook, uh, publiekelijk, door de recente doorbraken die er zijn geweest. Iedereen heeft het over het decembermoment, dat in december.
• 1:31:05
  Er zijn veel tech leaders- Ja...die, uh, in hun, in hun vakantie echt even up and close zijn ge-ge-gegaan met de laatste modellen en dat waren toen Opus 4.5 [klikt met tong]
• 1:31:17
  en, uhm, en toen echt zagen: ho, dit werkt echt megagoed. En we moeten het nog maar zien. Dat is sowieso nog, i-i, ik kan niet zeggen: we zijn er al, maar het gaat wel een, een hele extreme kant op.
• 1:31:33
  Waarbij de, de-- dat is ook, denk ik, het ding.
• 1:31:36
  Mensen moeten denk ik realiseren dat we voordat we bij AGI zijn, wat, wat de meeste mensen als AGI zouden bestempelen, zouden we bij een soort AGI 0.5 kunnen zijn, een soort halve AGI, die zeker nog niet door iedereen AGI genoemd wordt, maar wel extreem disruptief is en alles verandert aan hoe we de maatschappij organiseren in, in allerlei landen.
• 1:31:59
  Van, van China tot Amerika tot aan Europa, tot, zeg maar, deDe impact van een sub AGI systeem kan nog steeds enorm zijn. Ja, de uitvinding van een, uh, talentvolle
• 1:32:14
  junior onderzoeksassistent is al gigantisch substantieel. Als het echt dat is, hè. In zijn volledigheid. Als het dat is in de volledigheid. En ik denk om af te sluiten dat, uh, er vonkjes zijn. Vonkjes van novelty dus.
• 1:32:30
  Nieuwe dingen die wij nog niet hebben uitgevonden. Strategieën die nergens op papier staan, maar ontstaan in die modellen die vervolgens verwerkt worden in de modellen zelf.
• 1:32:40
  En de nieuwe versies van die modellen gaan weer door uitvinden. Dat lijkt nu in kleine versies en testjes en domeintjes te werken. En als dat generaliseerbaar is naar meer, uh, dan is het allemaal wat dichterbij.
• 1:32:55
  Om het lekker vaag te zeggen dan dat veel van ons, inclusief wij, misschien kunnen begrijpen.
• 1:33:01
  Uh, tegelijkertijd is meer, uh, personen tegen een softwareproject aangooien niet de oplossing per se om een softwareproject te versnellen.
• 1:33:11
  Dus ik denk dat-- en is het zo dat we nog allemaal dingen, we, wie we is trouwens, dat weten we niet, maar in ieder geval dat er een groep aan onderzoekers met AI samen nog fu-fundamentele uitvindingen moet doen die ook nog eens aan elkaar gelijmd moeten worden met beter dan tape om ze allemaal samen te laten werken.
• 1:33:26
  En dan als, als, als, als, als, als duurt het waarschijnlijk geen tien jaar meer. Drie. Drie houden we erin. Daar sluiten we mee af. Dank je wel man. Tot de volgende keer! Leuk gesprek. Hoi hoi.
• 1:33:43
  [outro jingle].