Latest / AI Report / GPT-5 is hier + Genie 3 laat je dromen besturen + open source zonder drama | AI Report

Transcript

GPT-5 is hier + Genie 3 laat je dromen besturen + open source zonder drama | AI Report · AI Report

• 0:00
  Welkom bij AI Report, de Nederlandse podcast over kunstmatige intelligentie. Zoals beloofd als GPT-5 zou uitkomen tijdens de vakantie gaan wij opnemen en dat hebben we gedaan.
• 0:10
  Ik heb Rik Lamers van Groq met een Q in de aflevering. Rik weet ontzettend veel over de ins en outs van taalmodellen, inference, chips, noem het allemaal maar op. Al met al een hele interessante aflevering.
• 0:21
  We praten over GPT-5, over GPT-OSS en we praten over Genie 3 van DeepMind. Uh, veel luisterplezier en geniet nog even van jullie vakantie.
• 0:40
  [muziek] Hoe zit jij er nu bij na alle vuurwerk van gisteren? Ja, dus ik heb, uh, gisteren tot in de late uurtjes met GPT-5, uh, lopen programmeren.
• 0:50
  Ook omdat één belangrijk onderdeel van de lancering van het model was dat, uh, ze heel erg benadrukken dat het goed werkt voor programmeren, voor code.
• 1:00
  En, uhm, ik vind het, uh, ik vind het een leuke, dit is een leuke meme en het is een soort van: it's a good model, sir.
• 1:08
  Dat is wat, uh, dat, dat was volgens mij waar de livestream van Groq-4 mee eindigde en het is een beetje een meme geworden. Groq-4 is, uh, niet het model van OpenAI, maar van xAI van Elon Musk.
• 1:20
  En, uh, dat it's a good model, sir, dat, dat, dat thema kwam ook een beetje terug bij, uh, GPT-5, uhm, en zeker ook online, zeg maar.
• 1:31
  Er zijn een aantal mensen, uh, er zijn een aantal mensen in de community, hè, de, het zijn een soort, uh, het is wel grappig, sommige mensen noemen, uh, noemen die mensen LLM-sommeliers. Mooi.
• 1:42
  Omdat, omdat het zo lastig tegenwoordig is om te kwantificeren: is een model nou goed? Omdat er heel veel wordt gedaan aan zogenaamde benchmark ma-maxing.
• 1:51
  Dus dan neem je de, de belangrijkste gestandaardiseerde tests die ze gebruiken om te aangeven hoe goed een model is.
• 1:57
  En dan gaan die bedrijven daar natuurlijk allemaal heel erg voor optimaliseren, zodat ze daar heel goed op scoren.
• 2:03
  Maar er zijn gewoon releases geweest in het verleden waarbij er modellen uitkwamen die heel goed daarop scoorden en dan, uh, uiteindelijk in echt gebruik heel erg tegenvielen.
• 2:11
  En dan had iedereen zovan: wat is er aan de hand? En uiteindelijk werd gewoon duidelijk dat heel veel van die labs dan heel erg optimaliseren voor die specifieke toetsen.
• 2:17
  En die toetsen, die worden dan eigenlijk slechte toetsen, weet je wel. Uh, er is zo'n, zo'n quote van, uh: every good metric ceases to be a good metric as soon as it's the metric that's optimized of zoiets. Ja, zeker.
• 2:28
  Denk ik ook. Het verschil tussen publieke en private benchmarks.
• 2:30
  Want die publieke benchmarks, die komen als het ware in de trainingsset terecht omdat er in de dagelijkse- Dat het soms per ongeluk gebeurt omdat gewoon die data erin terechtkomt en daar wordt wel steeds meer iets tegen gedaan.
• 2:42
  Maar, nou, in ieder geval, dus die benchmarks die verklaren, uh, weinig en, en, en daardoor kijken steeds vaker mensen gewoon naar, uh, mensen die heel actief de, het veld volgen en heel veel van die modellen zelf geprobeerd hebben en die ze dan zelf uitproberen op de taken waar zij in geïnteresseerd zijn.
• 2:59
  En iedereen- Jij bent eigenlijk een soort private benchmarks, toch? Ik bedoel air quotes, benchmarks. Soms, soms. Soms hebben mensen ook echt letterlijk eigen benchmarks.
• 3:07
  Uhm, en, uhm, uh, maar het is ook vooral, zeg maar, gewoon dat mensen, eh, even een tijdje het model gebruiken voor hun hoofdtaak.
• 3:15
  En vaak is dat, voor veel mensen is dat programmeren met het model en voor anderen is het, zeg maar, het model hangen in een applicatie die ze hebben ontwikkeld die draait op AI-modellen.
• 3:24
  En dan wil iedereen weten van, uh, wat zijn de vibes? Weet je wel, hoe, hoe, hoe, wat vinden jullie ervan? Dus een aantal van die mensen, uh, één, één die mensen zouden kunnen kennen van het internet, die heet Swix.
• 3:34
  Dat is een, uh, een, een, een soort AI-figuur. En dan heb je ook nog Simon Willison, wat ik echt een geweldige vent vind. Met zijn pelikaan. Met zijn pelikaan inderdaad.
• 3:43
  Zijn ultieme test is, voor mensen die het niet weten, is: hoe goed kan een AI-model een pelikaan op een fiets tekenen? Ja, en dan is het ook belangrijk te zeggen, hè, precies met vectoren dus.
• 3:53
  Want op zich, er zullen mensen luisteren zeggen: hoezo? We hebben toch een Ghibli-afbeelding en hele films die uit, uh- Belangrijk detail inderdaad. Ja. [lacht] Dus waarom is het nog steeds een goede benchmark?
• 4:02
  Omdat hij dat moet doen blind als het ware in, in code. En, en SVG is gewoon een soort HTML. Uh, en, uh, nou, die tests, die worden dus allemaal gedaan.
• 4:12
  En daar zag ik dus gisteren al dat, uh, mensen best wel positief waren. Uhm. Ja, want heel even voor de luisteraars misschien. Kijk, wat ik dus merkte: er was best wel een verschil, hè.
• 4:22
  Dus je had, uh, oké, uh, best wel een groep mensen die soort van tegenviel, want er was ons toch artificial general intelligence beloofd en GPT-5 zou, uh, nou ja, buitenaards moeten voelen of zo.
• 4:32
  En, uh, er is een hele groep die zegt: nee, het is gewoon— zeker de groep trouwens die er al een week mee heeft mogen werken. Of twee weken, hè, want je had een soort van mensen die, uh, achter, uh,
• 4:42
  uh, hoe zeg je dat, uh, die moesten even wachten voordat ze erboven mochten praten. Embargo. Embargo. Thanks, man.
• 4:49
  Uh, die achter het embargo zaten, waaronder Simon Willison bijvoorbeeld, die volgens mij ook al een tijdje access had.
• 4:54
  En de jongens van Every en zo, die hebben allemaal, dropten allemaal rond dezelfde tijd een soort van vibe check van de laatste twee weken GPT-5.
• 5:01
  Die groep die er al wat langer mee heeft mogen werken, voelt voor mij een stuk positiever dan de groep die er pas net mee heeft mogen werken of er eigenlijk nog niet heeft mee mogen werken, maar alleen maar een soort vibe check doen.
• 5:12
  Zag jij dat ook, of? Ik denk dat dat ook wel logisch te verklaren valt aan de hand van wat het, uh, echt is. Uhm, het is namelijk een model dat op de headlines niet heel indrukwekkend overkomt.
• 5:24
  Dus als je kijkt naar een belangrijke benchmark die relatief moeilijk te gamen is, zeg maar, als je hele hoge scores hierop haalt, dan, uh, heb je waarschijnlijk ook wel een nuttig model.
• 5:34
  Daarom word-- is het ook een van de betere benchmarks, uh, want het is heel moeilijk om daar soort van heel goed op te scoren en dan in het echt heel nutteloos te zijn. Maar dat is, uh, een test.
• 5:43
  Dat heet de SWE-bench en dat is een test die test: hoe goed kan je een, een, een, een, uhm, een fix implementeren voor een bestaand stuk software?
• 5:52
  Dus dan heb je een grote bestaande codebase en daar moet er dan iets aan gerepareerd worden en dan moet er getest worden of ook dat ding gefixt is.
• 6:00
  En dat zijn dan, uh, dat zijn geloof ik een aantal duizend problemen, maar ze hebben gereduceerd naar een soort schone dataset van 500 van die software engineering tasks.
• 6:10
  EnUh, daarop scoorde hij maar, dus GPT-5 scoort maar 0.5% punt beter dan Claude Opus 4.1 en Claude Opus 4, want 4.1 had, uh, Antropiq sneaky gereleased deze week om nog even snel, uh, zeg maar hun plasje erover te doen van: wij zijn er ook en we hebben ook iets, iets, ietsje beter, maar Claude 4 Opus- Het kan zo grote te maken dat ze in de buurt zitten natuurlijk ook, hè.
• 6:35
  Ja. Maar Claude Opus 4, wat al langer uit was, die scoorde ook rond de 70, 72% op die, op die benchmark. En Claude Opus 4.1 scoort volgens mij 74,5%, uh, 74.4 en dan, uh, 74.9 voor OpenAI.
• 6:52
  Dus het is allemaal heel dicht bij elkaar. En dan denkt iedereen van: zie je, plateau. We zijn, we zijn geplateaud met, uh, de modellen en het wordt allemaal niet beter.
• 7:01
  En ik denk dat de belangrijkste of de, de, de, de, de, de verste manier om te karakteriseren wat deze lancering was, is dat het voor OpenAI een soort clean up act was. Ze hadden namelijk een groot probleem.
• 7:14
  Ze hadden het probleem van een hele verwarrende modelpicker. Ze hadden zo'n modelpicker waarbij iedereen op 4o zat omdat je denkt: ja, maar er staat ook een 3-model en dat 3-model moet, moet slechter zijn.
• 7:24
  Ja, nog los van het feit dat er natuurlijk heel veel, uh, mensen zijn die, uh, ChatGPT, uh, niet betalen, hè, dus die zaten sowieso allemaal met 4o te praten.
• 7:33
  Ik heb tijdens heel veel lezingen die ik geef, zeg ik altijd van: ja, ik, waar ik dagelijks mee werk zijn zul-zulke andere modellen als wat veel van jullie dagelijks mee werken.
• 7:41
  Als ik dan handen omhoog doe, heb je echt 60% van een groep die op de gratis ChatGPT zit. Ja. Heb ik verder geen oordeel over, maar die hebben helemaal niet eens een idee dat er modellen te kiezen zijn. 100%.
• 7:50
  Dus, dus er zijn ook nog mensen die volledig op de, de gratis tier zitten.
• 7:54
  En die mensen die zagen niet de echte capability en dus was er een heel groot deel van mensen die ook het idee van: nou, dat AI-ding, dat is helemaal niet zo slim. Ja, dat komt omdat je de domme versie gebruikt.
• 8:04
  Uhm, maar dus OpenAI had in ieder geval een probleem van geen, geen eenheid in hun, uh, modellen en een slechte verzameling aan namen sowieso ook. Dus hoe ze het überhaupt noemen, zodat heel verwarrend allemaal is.
• 8:16
  Het is ook onpraktisch, want hoofd, uh, hoofdzakelijk hadden ze twee verschillende modellen. Ze hadden een snel normaal model waar ze al eerder mee gekomen waren.
• 8:26
  Dat is GPT-4o en dat reageert direct en gebruikt niet veel zoals wat ze noemen test time compute. Dus tijd om na te denken over het geven van het antwoord. Ja, snelle bluf. Snelle bluf. Hopelijk- Gecontroleerde bluf.
• 8:38
  Precies. En aan de andere kant had je, uh, hun nieuwste model wat dan alleen betaald toegang had, 3o. En dat is een reasoningmodel.
• 8:46
  Dat, daarvoor had je één, 1o, e-én o als model, maar dat ze allebei dezelfde zijn van die reasoningmodellen. En eigenlijk moet je als user telkens kiezen: wil ik dat ie gaat nadenken of wil ik een snel antwoord?
• 8:57
  En dat moest je de hele tijd handmatig doen. Nou, dat was voor iedereen natuurlijk best wel gedoe, dus veel mensen gebruikten of de hele tijd het dure model wat, wat nadenkt.
• 9:06
  Maar dan moet je dus altijd wachten, ook als je even een simpele e-mailvraag stelt of wat dan ook.
• 9:12
  Uhm, en er zijn mensen die proberen nooit dat reasoningmodel, die gebruiken altijd het domme model en die, die hebben dan een soort onderschatting van wat AI kan. En dat moesten ze fixen.
• 9:21
  En dus deze release was hoofdzakelijk dat ze dat probleem opgelost hebben door één model te maken wat niet eens echt een model. Het is, het is een systeem en geen model. GPT-5 als model bestaat niet eens.
• 9:32
  Het is geen één model. Het is een- Ja, dit is misschien even een belangrijke om bij stil te staan, Rick.
• 9:37
  Want in essentie, ze hadden natuurlijk ook kunnen zeggen: we pakken o4, hè, want ze hadden wel o4 miniseries en ik denk o4 gewoon full intern en kunnen zeggen: we gaan door op die branding, hè, dus we stoppen gewoon met die GPT-serie- Ja.
• 9:50
  Qua buitenkant en we gaan voor, door op een o4-serie. Ik denk, om eerlijk te zijn, speculatie, dat dit een optie geweest is intern, want die O-series qua branding is best wel lekker.
• 9:59
  Hè, dus de modellen van OpenAI zijn o1, o3 en dan nu o4. En dan gaan we zo door vijf, zes, zeven in de toekomst. Nu pakken ze eigenlijk die oude GPT-brand. Ook omdat natuurlijk GPT-5 nog boven de markt hing als het ware.
• 10:10
  Dus ik snap ook wel dat ze daar iets moesten zeggen. Maar, en dan, dan, uh, [lacht] hou ik weer even mijn mond.
• 10:16
  In essentie hebben wij, zijn we gewend als mensen die hier echt dicht op zitten om, om steeds in modellen te praten, hè.
• 10:22
  Dus dan gaan ook die, ja, uh, uhm, online community meteen weer, uh, op die modellen zitten en dan al die modellen vergelijken en die weten zelfs wat die modellen ongeveer doen en zijn.
• 10:32
  Terwijl het merendeel van de mainstream GP-GPT of chatgebruikers zoals mensen om me heen het veel noemen. Die hebben helemaal geen idee van modellen, die zijn gewoon met AI aan het praten. Ja.
• 10:42
  En ik denk in, in dat opzicht dat wat GPT-5 is inderdaad een soort, ja, product, een, een, een systeem, een stuk software waar, uh, die modellen een onderdeel van zijn. Een hele rits van GPT-5-modellen. Ja.
• 10:55
  En wat ze wel zeggen bij het, uh, [schraapt keel] bij de lancering van GPT-5 is dat het systeem wat ze hebben gebouwd dus nu een expliciet systeem is, maar dat ze dat wel willen terugbrengen naar één model.
• 11:08
  Maar ze hebben gewoon eigenlijk aangegeven dat ze dat niet hebben kunnen klaarspelen.
• 11:13
  Dus het was te moeilijk om nu één model te trainen wat eigenlijk the best of both worlds gebruikt, uh, ge-, uh, kan gebruiken van snel reageren als je snel kunt reageren omdat het probleem niet vraagt om heel veel extra denktijd of heel lang nadenken als dat, als dat nodig is.
• 11:30
  En dus wat ze nu gedaan hebben, is ze hebben dus een router geïntroduceerd. En een router is eigenlijk niets anders dat iets wat binnenkomt stuurt ie of naar het één of naar het ander.
• 11:39
  Ja, een soort air traffic controller toch? Die weet welke modellen er beschikbaar zijn. Moeilijke vraag. Gaat naar een reasoningmodel o4 in de achtergrond.
• 11:47
  Misschien, hebben ze niet gezegd, maar dat zou zomaar het volledige o4-model- Nee, er is wel degelijk gezegd dat op het moment dat je in ieder geval in de free tier, uh, dat als je wat meer gebruik gaat maken van je free tier, dat ze terug kunnen vallen op 4o in de achtergrond.
• 12:00
  Zelfs 4o, zeg maar. Dus niet eens de reasoningversies.
• 12:03
  Dat er nog een, voor hun nog in ieder geval, die is waarschijnlijk nu lekker goedkoop voor OpenAI om uit te serveren, zelfs een t-terugval is naar een eerdere GPT-serie. Maar goed.
• 12:12
  In ieder gevalWat we niet weten is wat er precies met O for, dus niet 4o, maar O for, het reasoning model for, wat de volgende versie zou zijn van O3. Of dat GPT-5 Thinking is genoemd.
• 12:25
  Dus als je in die model card gaat kijken, dan zegt hij dus: we kunnen jouw query uitsplitsen naar een model wat ofwel gaat nadenken of niet gaat nadenken.
• 12:34
  Maar daarna heb je weer een verta-ver-vertakking en dat is als hij gaat nadenken, hebben we een groot sterk nadenkmodel en een klein, uh, nadenkmodel.
• 12:43
  En we hebben ook aan de snelle kant een, een groot snelmodel en een klein snelmodel. En, en dit is allemaal een kostenplaatje.
• 12:52
  En als je dan, als je dan kijkt naar wat is nou-- dus, dus aan de ene kant gebruiksgemak van ik hoef niet meer na te denken dat, dat hele sturen naar het juiste model, dat doet het systeem voor me nu.
• 13:02
  Maar wat cruciaal belangrijk is, is dat OpenAI heeft dit model geïntroduceerd tegen een extreem aantrekkelijke prijs omdat het competitief is met het beste model van Anthropic, Claude Opus, Claude Opus 4, 4.1.
• 13:16
  Maar het is acht keer zo goedkoop in de output tokens en het is zestien keer zo goedkoop in de input tokens. En dit is misschien sowieso wel een, effe een interessant onderscheid, hoor.
• 13:26
  Want kijk, jij en ik als, uh, ontwikkelaars, meer techneuten die kijken hiernaar. Toen de lancering van GPT-5 was gisteren en ik daarna een model card was, zag met allerlei losse modellen, dacht ik: wacht even.
• 13:38
  Er was ons toch tussen air quotes beloofd dat die air traffic controller, dat die router als het ware in het model meegebakken zou zijn. We zouden een soort supermodel krijgen die zelf dat dan kan beslissen.
• 13:50
  Uiteindelijk blijkt dat we als ontwikkelaars, hè, want wij hebben natuurlijk. Kijk, de meeste mensen die hier naar luisteren, die interacteren denk ik vanaf de consumer site.
• 14:00
  Dus die zijn gewoon eindgebruiker binnen de, de apps of de website van OpenAI. Waarbij je een model picker had als je op het plusplan zat. Maar over het algemeen was dat wat je deed.
• 14:09
  Terwijl wij op de achtergrond natuurlijk veel meer knoppen hebben om aan te draaien en nu ook best wel weer veel knoppen hebben gekregen.
• 14:16
  Wat mij dus verbaasde omdat ik dacht, ik dacht even dat wij dat niet meer, dat ik niet meer hoefde te routen. Want weet jij of wij ook toegang hebben tot die router op ontwikkelings? Ja, ja.
• 14:25
  En hoe heet hij dan als model? GPT-5. Nou, that's it. En dan gaat hij zelf keuzes maken op de achtergrond. Absoluut. Ah, check.
• 14:31
  Dus wat, uh, OpenAI heeft bedacht is dat diezelfde eenvoud van one system, uh, OpenAI vogelt uit waar het heen moet.
• 14:40
  Dat het ook wel waardevol kan zijn voor developers die niet al die verschillende controle willen van: ik wil dat hij altijd naar een thinking model gaat, want ik weet dat de mensen mij alleen maar thinking-achtige problemen sturen.
• 14:50
  Dus als jij ooit een keer naar een niet thinking model stuurt, dan heb je het waarschijnlijk fout.
• 14:54
  Want ik weet dat ik alleen maar thinking vragen stuur en dus die willen dat risico niet lopen dat, dat dat systeem in de weg zit als het ware. Ja.
• 15:02
  Op het moment dat het straks echt één model is wat ze dus willen, maar wat niet ge-gereleased is met GPT-5, dan heb je misschien die controle niet meer, uhm, want dan, dan gaat het echt naar één model.
• 15:12
  Dus dan moet je maar gewoon hopen dat het model die routing goed doet.
• 15:15
  Uhm, alhoewel, je kunt zo'n één model ook vaak wel, uhm, sturen op een wat striktere manier met system prompts en dergelijke waarbij je dan zegt: oké, je moet reasoning gebruiken en dan zal hij dat ook altijd doen omdat je dan kan overrulen dat hij zijn, uh, eigen inschatting moet maken.
• 15:34
  En is dat het hele idee van een, van één model iets wat gewoon een soort schoonheid heeft in ons ontwikkelaarshoofd? Of is het daadwerkelijk interessant om dat wel te doen? Het is interessant en de reden is dat er, uhm,
• 15:47
  er sommige, sommige problemen, zeg maar classificeren of iets wel of niet veel denkkracht nodig heeft, kan best een subtiel ding zijn.
• 15:56
  Dus die routinglaag die er nu is, dat is waarschijnlijk een best wel domme routinglaag. En, uh,
• 16:04
  dat beter maken, dat hij dat echt holistischer beoordeelt als het ware, dat vereist waarschijnlijk dat dat gewoon allemaal in één model zit, zodat je dat in zijn geheel kunt trainen. Nu zijn er als het ware losse,
• 16:18
  losse modellen, dus losse neural networks, die eigenlijk allemaal hun eigen onafhankelijke weights hebben.
• 16:25
  En dan kan je hier de weights veranderen en dan gaat de rest van het systeem bijvoorbeeld blijft statisch en dan moet je weer kijken hoe gaat dit ver-gewijzigde model zich verhouden in het systeem.
• 16:35
  Dus vooral voor de evolutie van zo'n systeem, dus als je het beter wil maken, ben je echt whack-a-mole aan het spelen.
• 16:41
  Maar is het nu zo dat, uh, bijvoorbeeld, uh, de andere Frontier Labs, uh, DeepMind, uh, Anthropic dit al wel doen? Hebben die al die holistische modellen nu of zijn het ook allemaal nog modellen met routers ervoor?
• 16:50
  Nou, goeie vraag, want waar gaat het eigenlijk om? Het gaat er niet eens om dat je meerdere modellen hebt per se. Het gaat erom dat je dynamisch kan bepalen hoe lang je moet nadenken over een vraag.
• 17:02
  En wat Anthropic heeft is thinking budget. Dus je kunt een, uh, vraag stellen en je kunt zeggen: denk er heel lang over na. Dan gaat hij bijvoorbeeld 32.000 tokens gebruiken om na te denken.
• 17:15
  Of je kan zeggen: denk maar maximaal 1.000 tokens en dan moet het, moet het goed zijn. En, uhm,
• 17:24
  dat, dat dynamisch, uh, dat is nog niet helemaal automatisch dynamisch, maar het heeft wel, uh, ingebouwd dat het probeert de gedachte af te ronden in 1.000 tokens.
• 17:33
  En dat is wel een interessant verschil, want hij zegt niet van: begin maar met denken en na 1.000 tokens, pop, stop. Hij zegt: denk ongeveer zo lang na en geef dan een antwoord.
• 17:45
  En wat je dus, uhm, gaat zien is dat het nog dynamischer wordt, waarbij het niet, uh, gespecificeerd wordt hoeveel tijd budget je hebt, maar gewoon echt puur afhankelijk van wat er binnenkomt wordt bepaald hoe lang er wordt nagedacht.
• 17:55
  En dat wordt, dat wordt gewoon actief onderzocht door alle labs. Maar er is niemand die dat echt helemaal live heeft. Dat hele dynamische reasoning, uhm.
• 18:05
  Of heb je de open weights, uh, modellen?Experimenten in kleinere modellen of Er zijn misschien wel, uh, echt niet production scale modellen waar dit idee getest wordt van: kunnen we, kunnen we modellen laten bepalen hoe lang ze moeten nadenken?
• 18:19
  Ik kan me herinneren dat ik een aantal papers daarover bij voorbij zien komen, uh, maar dat zijn dan vooral experimenten die gebeuren op modellen die echt sub scale zijn.
• 18:27
  Dus echt bijvoorbeeld een one billion parameter model wat tegenwoordig heel klein is en die dus eigenlijk alleen maar toy problemen kunnen oplossen. En dat ze dan voor toy problemen kunnen laten zien.
• 18:36
  Ja, het model kan bepalen of die moest nadenken of niet, maar de vraag is natuurlijk altijd generaliseert dat als je naar die grote schaal teruggaat waar deze modellen in opereren, zoals een GPT-5.
• 18:46
  Dat is dan even een paar stappen terug nemen, hè, want ik begon net een beetje over twee kampen te praten. De AGI-kamp die zegt: het valt allemaal tegen.
• 18:52
  Er is ons, uh, buitenaardse technologie beloofd en aan de andere kant mensen die het al hebben mogen testen vaak en een stuk genuanceerder zijn en zeggen van: joh, er is hier heel veel tegelijk aan de hand.
• 19:03
  Een van die punten is dat het een soort refactor is, hè, binnen OpenAI. Want voor de, voor de luisteraars ChatGPT was een experiment.
• 19:09
  Het heette namelijk Chat with GPT, begreep ik gisteren uit de, uit de presentatie en iets wat ze online gegooid hebben. Toen ontplofte dat gewoon helemaal niet normaal.
• 19:18
  En dan moet je natuurlijk, zoals het met softwareontwikkeling gaat, eigenlijk je fiets repareren terwijl je erop zit.
• 19:22
  Of in ieder geval je fiets repareren en nieuwe dingen opdoen, terwijl die persoon die erop zit moet blijven fietsen. En dan krijg je dus hele rare wildgroei en technical debt, zoals dat dan heet.
• 19:31
  Een soort, uhm, ja lening die je hebt, uh, naar je verleden omdat je zoveel, uh, uh, troep hebt opgebouwd en je kon niet door. Ja, en dit is eigenlijk een soort, voelt als een soort refactor dus, hè.
• 19:42
  Dus GPT-5 is een soort schone lei. Het opruimen van eerdere keuzes die zijn gemaakt uit pure, uh, uh, ja, on- of niet, onkunde is het verkeerde woord.
• 19:51
  Het kon gewoon niet anders, want je wil doorgroeien en je wil ook op nummer één blijven als OpenAI. Dus dat ze dit terwijl ze zo hard groeien en zoveel gebruikers hebben in situ doen is best wel bruut.
• 20:02
  Uh, maar eigenlijk los van die, van die, uh, soort consolideren en, en opschoonactie is er wel veel meer aan de hand. Uh, ik bedoel, ik weet niet of jij hebt gevolgd wat er met, uh, METER is gebeurd.
• 20:13
  De benchmark die kijkt hoe lang een model, uh, zonder ingrijpen, uh, door kan werken.
• 20:19
  Dit was een van de eerste waar ik naartoe ging omdat Project 2027, wat, hè, de luisteraars weten dit nog uit een AGI-aflevering, de, het scenario, uh, dat alles, uh, in 2027 al heel anders zou zijn.
• 20:30
  Want er zit allerlei exponentiële groei in deze modellen en AGI, Artificial General Intelligence, komt veel sneller. Een van de, uhm, ja, uh, hoe zeg je dat?
• 20:39
  Benchmarks of, of harde cijfers die in de gaten gehouden wordt in dat scenario van Project 2027 is het idee: hoe lang kan zo'n agent of in ieder geval model agentic model, uh, werken zonder dat wij hoeven ingrijpen?
• 20:53
  En daarin is GPT-5 begreep ik best wel gestegen. Ja, ik denk dat, dit is een goed bruggetje naar denk ik de tweede andere grote observatie van de lancering dus. Tuurlijk, het is een model routed systeem.
• 21:06
  Uh, dat is, dat is nieuw. Het lost een aantal technical debt problemen op voor OpenAI. Daarom is het voor hen belangrijk. Door model routing is het goedkoop. Dat is allemaal, uh, één deel van de lancering.
• 21:16
  Ander deel van de lancering is dat het een heel agentic model is. En als je het hebt over: wat betekent dat dan, agentic? Agents, iedereen heeft het daar over.
• 21:24
  Maar, uh, ik denk dat de meeste mensen die het model agentic noemen, die, die daarmee bedoelen dat het heel goed is in, op een, uh, uh, over een lange tijdshorizon, dus misschien dat het 10, 20, 30, 40 minuten bezig is, dat die continu een, een handeling verricht.
• 21:40
  En dat is wat je dan in jargon een toolcall noemt. En dat kan zijn even een stukje extra informatie van de GitHub, uh, repository lezen over het project waar het mee bezig is.
• 21:50
  Of even iets zoeken in de documentatie op het publieke internet. Of even een klein stukje code schrijven, uitvoeren, observeren en daar weer op verder itereren.
• 22:00
  Dat soort handelingen verrichten en dat dan over een langere tijdshorizon.
• 22:05
  Dat is iets waar dit model extreem goed in is en dat was in het verleden best goed in GPT-4o, maar dat was nog niet zo'n reasoning model en het was veel minder goed in die reasoning modellen, o3.
• 22:18
  En als je, uh, praktische software aan het schrijven bent, dan gaat het heel erg over dat iteratief ontdekken waar je denkfout zit.
• 22:26
  Dus als je denkt: oh, ik moet de code zo schrijven, dan moet je dat even, even proberen en dan kan je het runnen en dan kan je observeren en dan kan je weer iets leren.
• 22:35
  Dus het is die progressieve, uh, soort van informatievergaring en dat autonoom doen zonder wat ze noemen in een doom loop te komen. Waarin je dus vastloopt omdat je de hele tijd dezelfde fouten maakt.
• 22:47
  Of je probeert de hele tijd iets op een manier te doen die gewoon fundamenteel niet klopt, maar je blijft toch telkens weer die richting op gaan.
• 22:54
  Dat, uh, goed doen, dat maakt die, die modellen vooral heel veel meer waardevol, omdat je makkelijker kunt delegeren, want ze lopen niet vast.
• 23:01
  Dus ze kunnen ook- En wat ik, wat ik bijvoorbeeld zag in die METER, dat is dus die benchmark om te kijken, uh, hoe lang houdt zo'n model het vol zonder dat hij of vast komt, vast komt te zitten of opgeeft, zeg maar, of beide, is dat ik wel interessant vond dat bijvoorbeeld Claude, uh, uh, Opus 4.1, uh, doet eigenlijk een plan maken, uh, nadenken, een zwik aan toolcalls achter elkaar, 10 toolcalls, dan nog een keer nadenken en dan antwoord geven.
• 23:28
  Terwijl GPT-5 doet, uh, plan maken, nadenken, toolcall, weer nadenken, toolcall, weer nadenken, o-- terug, nieuw plan maken, weer nadenken, nieuwe toolcall.
• 23:38
  En kan dus eigenlijk zonder dat in die volgorde te doen echt iteratief stap voor stap zelf ook merken, want in een van die, uh, reasoning, uh, traces stond ook: ik zit in een doom loop.
• 23:49
  [lacht] Dat is helemaal, dus best wel knap dat je kan herkennen dat je vastloopt. Heel meta, ja, ja. Soort halting problem. Meta reasoning.
• 23:56
  Ja, dat is best wel heel knap, want hij op een gegeven moment zei— en [schraapt keel] daarin zag ik wel dat ik dacht: ik wilde natuurlijk weten hoe komt het nou dat GPT-5 het langer volhoudt?
• 24:05
  Daarvoor moet je dus dit soort innovaties doen. Ja, en daar is reasoning echt belangrijk voor.
• 24:10
  Want wat reasoning, uh, toelaat is een stukje reflectie waarbij het, uh-Kan redeneren over wat er tot nu toe is gebeurd in het proces, in zo'n roll-out zoals je zou kunnen noemen.
• 24:22
  En, uh, echt daar een soort, uhm, een, een soort, uh, strip in het zand zet en zegt: of een line in the sand, I don't know, uhm, waarbij je dan, uh, concludeert: dit gaan we niet doen, we gaan iets anders doen.
• 24:37
  En door dat met hele felle woorden te zeggen, en dat is grappig hoe die LLM's werken, die moeten dat soort, uh, s-, uh, stick in the ground, zeg maar, stake in the ground, uh, markers achterlaten, zodat dan verder als ie doorgaat, dat echt in z'n geheugen blijft.
• 24:55
  Soort van: dat ga ik echt niet meer doen, want dat ga ik doen. Ja, en je kunt het ook echt lezen in die reasoning traces.
• 25:01
  Dat dus dat soort, ja, krui-kruimels, markers, whatever, achtergelaten worden in zijn eigen context window die die zelf natuurlijk aan het bijvullen is om te zorgen van: daar, daar moet je gewoon echt niet meer nog een keer over na gaan denken, weet je wel.
• 25:15
  [lacht] Trust me.
• 25:16
  Dat zorgt er dan voor uiteindelijk dat, en of dat nou helemaal causaal is of dat het gewoon een, een, een, een artefact is van hoe het geïmplementeerd is met attention en hoe die transformer architectuur werkt, dat, dat is lastig te zeggen, maar het is in ieder geval duidelijk te observeren in die roll-out dat dat gebeurt en dat ie daar, uhm, continu in staat is om echt wel een, een exploratie te doen.
• 25:38
  En daarom ook, uh, zo grappig, er zijn allemaal academische conferenties over machine learning en dan hoor je waar ze het over hebben.
• 25:46
  En dat is wel een beetje wat in de kraamkamer ook van de Frontier Labs besproken wordt en aandacht voor is.
• 25:52
  Uhm, en een van de belangrijke topics was reinforcement learning exploration en, uh, dat gaat over, over het idee, reinforcement learning is een techniek die gebruikt wordt om dit soort modellen te bouwen.
• 26:04
  Maar het exploratie verhaal, dat gaat erom van: hoe kun je nou zorgen dat als zo'n model autonoom te werk gaat, dat het heel efficiënt, uhm, een, een soort mogelijke oplossingen gaat verkennen.
• 26:16
  Dus het moet niet te veel indexen op: ik denk dat het zo moet en ik ga dat proberen en als het niet lukt gooi ik mijn handen omhoog.
• 26:22
  Het moet eigenlijk heel efficiënt in staat zijn om een soort impliciete, uh, lijst te creëren van ideeën en die continu te re-ranken. En dat op het moment dat ie iets gaat proberen dat ie het juiste idee gaat proberen.
• 26:34
  En op het moment dat ie dat daar wat van leert omdat het of niet werkt of half werkt, dat ie daar dan weer op basis daarvan de exploration weer, weer, weer goed, goed afstelt, herkalibreert en doorgaat.
• 26:47
  En dat, dat is, ja, is toch wel een beetje, uh, dat gaat wel neigen naar general intelligence. Uhm, en, want dat is toch hoe je heel veel problemen als mens ook, uh, oplost en, en da-daar zie je dus hints van.
• 27:00
  En ik denk dat het feit dat het dus in een, één systeem zo agentic is gemaakt, dat, dat merk je vooral als je ermee gaat programmeren. Uhm.
• 27:09
  Ja, dat is natuurlijk ook wel een boeiende, hè, dat ze- Dan zie je het gewoon heel erg. Ja, want je hebt natuurlijk de benchmarks.
• 27:14
  Nou goed, die benchmarks halen ze zelf ook tijdens hun presentatie aan, dus dan gooi je een beetje je eigen glazen in, want dan worden die, hè.
• 27:20
  En je vergelijken alleen met eigen eerdere modellen, daar worden mensen dan ook een beetje zenuwachtig van.
• 27:25
  In dat opzicht, uh, hielp dat, zeg maar, niet voor het eerste verhaal net na de lancering, hè, van iedereen ging met de procenten gooien en procentpunten die er tussen de verschillende benchmarks zaten.
• 27:35
  Terwijl waar ik dan net als jij, ik ga meteen op X en op andere, uh, platforms zoeken naar al die ontwikkelaars die in hun achterzak een bepaalde, ja, noem het de de facto benchmark hebben zitten.
• 27:47
  Wat ik bijvoorbeeld heel veel zie is dat er mensen zijn met oude codebases, hè, een jaar of zeven of acht oud, met daarin een onoplosbaar ding. Het is ze zelf nog nooit gelukt en/of ze hebben er geen tijd voor.
• 27:58
  En die gooien dat ding gewoon iedere keer tegen die modellen aan. Dus, ja, en daarin las ik dus heel veel die zeiden: finally, het is gewoon gelukt. Ik heb hier iets wat in het verleden al die agents op vastliepen.
• 28:10
  Of modellen/agentic models, hè, ook de, uh, 4.1 vanuit Anthropic kwam er niet door.
• 28:16
  En het lukt dan GPT-5 door te blijven proberen, te blijven exploreren, uh, iedere keer een stap terug te doen en te zeggen: oké, ik ben dat pad ingegaan, ik ga het pad weer uit, want het heeft geen zin.
• 28:27
  Ik ga toch weer een ander pad in. Dat, dat blijven proberen zonder vast te lopen.
• 28:31
  Als jij het maar genoeg tijd geeft en er misschien wel vier tegelijk aan zet, hè, dat is natuurlijk allang een oplossing gebleken, dat ie er nu doorheen bijt.
• 28:39
  En ik vind dat wel, uhm, ja, prima dat die benchmarks er zijn. En ik zal die benchmarks ook altijd in de gaten blijven houden, want er zitten natuurlijk ook benchmarks bij die minder makkelijk te gamen zijn, hè.
• 28:49
  Omdat ze zo breed zijn dat als je die hele benchmark wil kunnen faken, dan ben je gewoon iets wat slim is. Zoals de benchmark: verdien $1 miljoen met je eigen business.
• 28:57
  Ik bedoel, als je die kan faken, helemaal prima, zolang het maar legaal is. Dan kan jij andere dingen ook, weet je wel. Dus, dus, uh, dat, dat, ja, die, die helpen dan.
• 29:05
  Maar ik, het is minimaal zo interessant om te kijken. Ik heb hier gewoon een probleem in de kast liggen en dat trek ik gewoon iedere keer weer uit de kast en dan vraag ik gewoon weer dezelfde vraag: solve deze bug.
• 29:14
  En dan zie je dus als je hem tijd geeft en want daar gaat het uiteindelijk wel om, hè. Het is natuurlijk heel veel compute wat je geeft, uh, na trainen en die, uh, uh, modellen toch er doorheen weten te bijten.
• 29:25
  Dat vind ik wel een vette hier. Ja, en het is dus en dat hij dat beter doet, maar ook dat ie, uh, tegelijkertijd dus veel goedkoper is, zodat je ook niet je heel erg druk hoeft te maken.
• 29:35
  Want met Claude Opus, ik zweer, als je gewoon een kleine codesessie doet zit je zo aan $20 en dan denk je: nou, ik heb maar, ik heb maar een kwartiertje lopen programmeren en nu ben ik al $20.
• 29:45
  Nou oké, dan moet je wel je uurtarief verhogen. Dus zeg maar de, de, de kosten zijn ook echt wel belangrijk in dit soort, uh, scenario's.
• 29:53
  Ik wil nog een ander ding, belangrijk ding van de release highlighten wat, wat misschien een beetje, uh, ondergesneeuwd kan worden, maar waar, waar, waarvan ik denk: dat is echt een heel belangrijk resultaat.
• 30:05
  En dat is, uh, de lagere hallucination rate. Dus, uh, het, het, uh, hallucinations wordt door, niet door iedereen op dezelfde manier gedefinieerd.
• 30:15
  Maar ik, uh, ik kwam een, uh, Twitterpoll tegen en daar was ik het heel erg mee eens met de definitie is dat als er feiten verzonnen wordenDus als er gewoon feiten naar voren komen van in deze code en dan geeft hij een naam van een functie die niet bestaat.
• 30:30
  Dus echt gewoon iets feitelijks, verifieerbaar, gewoon incorrect. Ja, het is een, uh, zeer gevaarlijke bluf die met volledige overtuiging aan jou verteld wordt als feit. Stond er maar bij: ik bluf, dat zou helpen.
• 30:42
  Dat staat er niet bij. Precies. En het staat er dan niet bij. En op belangrijke benchmarks zie je dat de hallucination rate ge-ge-gedeeld is door vijf. Dus hij, hij hallucineert significant minder.
• 30:56
  Dus waar die eerst 5% van de scenario's in een benchmark nu nog maar rond de 1% of lager.
• 31:01
  En dat is heel belangrijk, want het gaat gepaard met nog iets en dat is dat die context window van die modellen is hoeveel, hoeveel kunnen ze tegelijk in overweging nemen, is ook opgehoogd van 200k naar 400k.
• 31:13
  En wat ze ook nog eens hebben laten zien is dat de, de stabiliteit van het model, dus dat die, dat die, uh, waarheidsgetrouw blijft, uh, veel beter standhoudt tot aan het hele grenspunt van die 400.000 tokens.
• 31:26
  Dit is een beetje een, een, uh, een punt wat veel vergeten wordt of, of niet begrepen omdat het ook, het is allemaal hartstikke nieuw en vrij complex. Hè, dat er dan wordt gezegd er is een grotere context window, hè.
• 31:36
  Dus ik zeg altijd: je kan er meer boeken in plakken dan dat je gewend was. Je kan meer meesturen met je vraag, meer bijlagen bijvoegen bij je vraag dan dat je voorheen kon.
• 31:44
  Maar het is leuk dat jij zoveel ruimte hebt om je bijlage toe te voegen.
• 31:47
  Maar als die bijlagen daarna amper bekeken worden en eigenlijk niet meegenomen worden in de deliberation, dan heb je eigenlijk een soort, ja, kartonnen of, uh, piepschuim context window.
• 31:58
  Dat is meer een belofte op een spec sheet dan een daadwerkelijk werkende context window. Daar heb je natuurlijk trainingen voor, hè, dat je zo'n needle in a haystack doet.
• 32:05
  Dus dan stop je eigenlijk een heel klein feitje ergens in die hele grote bijlage en dan vraag je specifiek dat feitje terug.
• 32:11
  En dan blijkt inderdaad dat veel modellen met grote context windows tussen aanhalingstekens eigenlijk niet de aandacht hebben om dat hele context window daadwerkelijk mee te nemen. En deze heeft het dus eigenlijk wel.
• 32:21
  Tot in ieder geval 256k begreep ik. 400k. Ja? O, ja, daar, vanaf daar ging die een beetje naar beneden. Dus die degradeert zeker wel, uh, voorbij een bepaald punt, maar het blijft echt best wel hoog.
• 32:33
  En er zijn verschillende benchmarks die dat meten. Ik vind trouwens needle in a haystack een hele slechte benchmark, want dat is gewoon retrieval.
• 32:40
  Dat is gewoon: kan ik een vraag beantwoorden die direct terug te vinden is ergens in de context.
• 32:46
  Maar wat veel lastiger is dan dat, dat, dat kan je namelijk bereiken met een aantal hele efficiënte architecturen, waardoor je tot hele lange context windows kunt voor het retrieval gedeelte.
• 32:57
  Maar als jij informatie moet combineren die op meerdere plekken staat diep in het context window. Dus er zijn drie of vier feitjes die gezamenlijk een antwoord kunnen vormen.
• 33:05
  A thousand needles in a haystack en die moet je met elkaar vergelijken en daar een- En daar een antwoord op geven. Dat is moeilijk en, en, en dat is waarom attention ook zo duur is.
• 33:14
  Waarom die context window zo moeilijk lang te maken is. Omdat als je alles met alles moet vergelijken, dan heb je een kwadratisch probleem en dat betekent dat het heel duur is in memory en in compute.
• 33:24
  Ja, want jouw vraag in het datacenter letterlijk houdt gewoon chips bezet. Toch? Die een ander op dat moment niet mag gebruiken. En hoeveel chips het bezet houdt is afhankelijk van hoe zwaar het is om te berekenen.
• 33:35
  En dat gaat omhoog, zeer omhoog met de context window. Dus dat we zomaar 400k hebben als context window, dat is, uh, wel significant. Je springt van hallucineren naar context window.
• 33:46
  Allebei belangrijk, maar even terugkomend op het hallucineren, want dit is natuurlijk de grote,
• 33:51
  uh, in ieder geval bij de, uh, hoe zeg je dat, de gemiddelde gebruiker van AI systemen die ik spreek [lacht] even zo gezegd, is dat hallucineer ding gewoon een beetje onder het volk.
• 34:01
  De burgers, de burgerij die zeggen van: ja, daardoor vertrouw ik gewoon het hele systeem niet. Terecht, hè. En daarom highlight OpenAI in hun lancering ook de use cases legal en healthcare.
• 34:12
  Want op het moment dat jij vragen gaat stellen aan ChatGPT, ze hadden tijdens de demo een, een patiënt die geneesheers, die een hele moeilijke beslissing moest maken in een genezingstraject en, en die gebruiken ChatGPT om geïnformeerd te zijn.
• 34:27
  Dus ja, hallucinaties in dat soort situaties zijn desastreus. Dus het was een van de bijna existentieel problemen voor OpenAI om op te lossen als ze dat niet onder controle krijgen.
• 34:38
  En daar hebben ze, daar hebben ze dus gewoon een hele grote sprong in gemaakt.
• 34:41
  En wat je ook ziet is dat omdat er heel veel, uhm, datapartnerships gaan, dit is meer ChatGPT als gebruiker, uh, wordt er heel veel informatie ingetrokken om jouw vraag te beantwoorden.
• 34:53
  Heel veel super recente actuele informatie. Informatie die een paar minuten geleden pas op het internet gepubliceerd is, kunnen ze al integreren in, in het antwoord.
• 35:01
  Maar het is dus nu ook heel feitelijk accuraat op al die externe informatie. En dat is toch een van de grote killer use cases van ChatGPT is dat het gewoon Google overneemt.
• 35:10
  En dat is natuurlijk ook de hele lucratieve positie, uh, die OpenAI in, uh, kan nemen. En- Is het in dat opzicht niet sowieso, hoor, even uitzoomen, maar wat ik ook een beetje voel. Ik heb een beetje echo's van,
• 35:22
  ik draai ook alweer een tijdje mee in die hele, uh, tech wereld. Releases, keynotes en, uh, samen chippies eten om 7.00 uur, want er komt iets vets, weet je wel. Dat was vroeger natuurlijk de Apple keynotes.
• 35:32
  Dat zijn nu een beetje de OpenAI, uh, presentaties voor mij geworden. Uhm, maar toen, het was heel erg spec driven toen al, hè, dus in de tijd even echt lang geleden zeg maar.
• 35:41
  Dan ging het over: oh, zoveel hertz heeft het scherm of zoveel megapixels heeft de nieuwe iPhone of zoveel giga interne, uh, zoveel werkgeheugen heeft de iPhone.
• 35:49
  Dat is dan in het geval van Apple altijd te weinig werkgeheugen, te oude camera's, displays die Samsung al twee jaar heeft als ze niet zelfs door Samsung gemaakt worden.
• 35:57
  Dus ik heb, ik ben altijd heel erg gewend om, je hebt de release van nieuwe Apple producten waarin, uh, ja, de nur- de spec nerds zeg maar, waar ik deels ook onder val, prima, uh, ontevreden zijn.
• 36:08
  Hè, want het zijn soort van la- vorig jaar specs in een model, uh, apparaat wat nog duurder geworden is zeg maar. Aha.En ik voor mij.
• 36:16
  Ik heb een beetje een soort zelfde, uh, sfeer bij deze OpenAI, uh, bij GPT-5 dat ik denk het voelt veel meer als een soort, uh, eindgebruiker consumentending, hè.
• 36:27
  Dus dat ze gewoon hebben gevraagd eigenlijk waarschijnlijk in panels en kijken in hun userdata hoe het gebruikt wordt van oké, het wordt, uh, veel gebruikt voor, uh, medische doeleinden, het wordt veel gebruikt voor schrijven en het wordt veel gebruikt voor programmeren.
• 36:40
  Dus die drie gaan we keihard op inzetten. Uh, daarnaast zien we dat hallucineren voor mensen een, uh, probleem is. Gaan we ook op inzetten.
• 36:47
  Uh, prijs is een probleem, want we kunnen niet meer goed concurreren in de markt met Gemini's en de Clouds. Oké, gaan we ook aan werken.
• 36:53
  Uh, er is verpa-ver-verwarring over modellen, dus mensen willen eigenlijk die modellen niet kiezen. Dat hele reasoning en non-reasoning is te complex. Oké, gaan we ook weg abstraheren.
• 37:01
  Het voelt voor mij eigenlijk iets heel erg wat gedreven is door hele, ja, soort boerenverstand, marktinzichten en niet door de model connoisseurs die vragen, uh, nou ja, snap je, die op het pek zitten van wat is dat model?
• 37:15
  Ik vind dit, dit gewoon, dit is de karakterisering van de release, want het laat gewoon zien dat OpenAI echt een productbedrijf is, uh, i-in een vrij volwassen fase.
• 37:25
  En dat, dat is ook wel logisch te rijmen met het feit dat ze giga groot zijn. Ze hebben bijvoorbeeld maar 700 miljoen actieve gebruikers, wat echt een gigantische grote groep is.
• 37:34
  En ook in deze release hadden ze continu over free. Dus de free tier zijn ze de hele tijd aan het uitbreiden en dat laat ook wel zien dat ze, ze, ze gaan gewoon voor de 2 miljard gebruikers, weet je wel.
• 37:45
  Ze willen zo snel mogelijk naar dat punt. Ze willen echt die consumermarkt helemaal veroveren en ik denk dat ze dat met de focus die ze hebben goed doen.
• 37:53
  Uhm, en wat je tegelijk ziet is wat, wat de specs sheet nerds als het ware, waar ik mezelf ook zeker onder reken- Zeker. Uh, op hopen is glimpses of AGI. Full reasoning, all right.
• 38:05
  En, uh, ze hebben met zo'n project wat ze laatst gedaan hebben, dat is wel een grappige context, is dat je hebt een, een, een International Math Olympiad, uh, de IMO, en daar hebben ze aan geparticipeerd na-- samen met, uh, Google
• 38:19
  om te laten zien hoe slim die modellen kunnen zijn in het limiet en dat ze dat soort problemen op kunnen lossen.
• 38:24
  En er zijn best wel veel mensen, ook echt specialisten, wiskundigen en, en, en ook mensen die echt alleen puur op die modellen focussen.
• 38:31
  Machine learning specialisten en dergelijke, die vonden dat dat best wel een, een, een sick resultaat was wat ze daar hadden gedaan.
• 38:37
  Ze hadden namelijk de gold medal gewonnen door vijf van de zes problemen van zo'n nooit gelekte test.
• 38:43
  Echt een unieke nieuwe test die niemand weet, uh, hadden ze gegeven aan die modellen, hadden ze opgelost en OpenAI heeft daar ook goed gescoord. En ze hebben ook toen gezegd: dit komt niet in GPT-5.
• 38:56
  En het is dus heel duidelijk dat ze een bepaalde capability hebben om bepaalde top tier intelligence te produceren intern en ook zelfs te, te testen publiek.
• 39:06
  Dat ze daar ook open over communiceren, dat ze dat behalen, maar helemaal niet dat niveau per se willen, w-willen deployen.
• 39:12
  Ja, je kunt het, je kunt het ook een beetje vergelijken met ik weet als bijvoorbeeld bij Meta, uh, als ze dan twee keer 16K displays hebben, hè, dus mini OLED 16K displays.
• 39:21
  Die laten ze waarschijnlijk op maat maken ergens in China. Ieder display is een ton per oog. Ja, daar hang je dan een datacenter aan GPU's achter om, uh, op 120, hè, fps twee 16K displays aan te sturen.
• 39:33
  Die bril, die hang je aan een touw aan het plafond, want anders breek je je nek, zo zwaar is die bril. Nou dan, nee, maar ik bedoel, dat heb je in je lab allemaal staan, hè.
• 39:39
  Dus je be-je bent een paar miljoen verder al met de setup. Dat doe je dan bij iemand op, die laat je rondlopen in VR en die zegt dan: wauw, VR is the future!
• 39:47
  Alleen van dat punt van een goede lab demo, hè, die je met, met miljoenen hebt moeten maken komen naar een consumer product wat je breed uit kan rollen, daar kan gewoon acht tot tien jaar tussen zitten.
• 39:59
  Maar je kunt dan al wel, uh, zeggen: joh, ik heb het gezien, hè.
• 40:03
  Dus ik denk ik, ik, ik kan me goed voorstellen dat als jij [slikt] wat wij bijvoorbeeld bij die Math Olympiad nu hebben gezien, hè, als, als buitenstaander, dat je eigenlijk al te zien krijgt: joh, als we, als we 20 keer zoveel compute zouden hebben, uh, en, uh, dat zou betaalbaar zijn, hè, want het is nu gewoon niet betaalbaar om zo'n model uit te rollen.
• 40:21
  Los daarvan kan ik me wel voorstellen, even side, uh, sidenote, dat OpenAI richting de $2.000, uh, subscriptions gaat en die ze gewoon aan bedrijven gaan aanbieden. Misschien wel $20.000 per maand.
• 40:31
  Je krijgt denk ik dan een beetje dat Apple Vision Pro verhaal waarbij er dan gewoon geen markt is voor het product omdat het gewoon zo duur is dat er maar een heel select aantal mensen dat nog waard vindt.
• 40:42
  En dus gaat het heel erg nu o-in de markt en bij dit soort releases over w-hoe ziet de, de, de, de aantrekkelijke variant die economisch uit kan, op schaal kan deployen, hoe ziet dat product eruit en wat zijn daar de scores van?
• 40:57
  En ik denk dat de-- dus als mensen zeggen: oh, die curves zijn flat en de, de, de scores zijn niet beter, dan is het denk ik veel meer van: dit is wat ze op een aantrekkelijk prijspunt kunnen produceren en heel breed uit kunnen rollen.
• 41:10
  En dit is niet hun maximale wat ze ook maar intern kunnen produceren.
• 41:14
  Ze hebben misschien waarschijnlijk een setup die op die benchmark waar ze nu 75% scoren misschien wel 85% scoren, maar dat gaan ze niet aanbieden als product, want er is gewoon te weinig vraag naar een model wat misschien $10.000 per week kost om net even die 10% te krijgen.
• 41:29
  Dus da-dan zit je toch in het spel van diminishing returns en wat kan je naar de markt brengen.
• 41:34
  En als we dan even advocaat van de duivel spelen richting ons eigen argument nu, hè, want, uh, er zullen mensen die luisteren zijn zeggen: oké, Wytse en Rick, uh, GPT-5 apologists die zeggen dat er nog een geheime techniek binnen OpenAI beschikbaar is waarbinnen A-AGI dichterbij is.
• 41:48
  Uh, bijvoorbeeld, uh, de, uh, het is het Arc, uh, 2 Challenge, uh, hè, de, de, de, de van, uhm, CoLette die, uh, AGI-achtige test doet, hè.
• 41:59
  Arc 1 is dan, uh, saturated en Arc 2, uh, zit op, uh, ik weet het niet eens uit mijn hoofd. Niet heel hoog. Ja, voor Grok 4 volgens mij. En dan ook nog de, uh, de, de SuperGrok zeg maar.
• 42:10
  Uhm, en volgens mij scoort GPT-5 negen punt zoveel procent daarop, hè. Dat is natuurlijk de eerste die ik ook even langs ging in mijn, uh, onderzoek naar, uh, benchmarks.
• 42:18
  Uhm, zijn er-- je had het net over een soortTekenen, inklings, uh, van, uh, potentieel een weg naar AGI, hè. Uh, bijvoorbeeld dat i, uh, wat ook de jongens van Project 2027 aanhouden.
• 42:30
  Hoe langer zo'n agent, uh, vol kan houden zonder vast te lopen en zinvolle dingen kan blijven zeggen. Laat dat even duidelijk zijn. Uh, ja, dat, dat is voor hen een van de, uh, key indicators, zeg maar.
• 42:40
  Wat zijn voor jou nu dan indicators dat je zegt: uh, da- eigenlijk valt het wel mee. Het valt op een bepaalde manier ook een beetje tegen. Misschien zijn we toch een beetje aan het afvlakken.
• 42:50
  Als we onszelf even uitdagen om die kant te verdedigen. Ja. Uh, ik, ik heb het idee dat dat misschien wel minder van OpenAI gaat komen dan van andere labs. Dus, uh, als ik kijk naar--
• 43:05
  ik heb dus een paar uur bijvoorbeeld geprogrammeerd met GPT-5, uh, gisteravond en ik kwam er gewoon wel achter dat het bepaalde denkfouten maakt die ik bijvoorbeeld niet terugzie bij Gemini 2.5 Pro.
• 43:19
  En ik heb het idee dat doordat ze een soort sweetspot hebben gevonden is het best wel goed, maar ook niet echt heel goed. En ik denk dat er misschien andere partijen zijn die
• 43:31
  intenser drukken op het bereiken van het allerslimste model.
• 43:35
  En ik denk dat die Arc AGI is een heel goed voorbeeld, waarbij dus Grok 4, uh, 16%, uh, bijna 16% scoort, uhm, wat echt 60% hoger is dan OpenAI's net nieuwe model.
• 43:49
  En, uh, die mensen bij de XAI organisatie zaten allemaal op Twitter te zeggen van: ja, en dat is echt een oud model en we zijn al veel verder dan dat intern. Ja, die waren natuurlijk trots, hè.
• 43:58
  Ja, ja, die dachten: kijk, wij zijn, uh, veel beter bezig. Dus ik denk dat, uhm, tekenen dat er nog slimmere modellen mogelijk zijn.
• 44:08
  Die komen vooral vanuit die signalen dat, dat er op dat soort benchmarks nog best wel echt vooruitgang geboekt al wordt. Maar het blijft heel lastig om te zeggen van: waar liggen de limieten van deze technologie?
• 44:20
  Ik denk dat, uh, benchmarks- Zijn jouw eigen hori-- is jouw eigen horizon, jouw eigen scenario's, zijn die anders geworden door de release van GPT-5? Ik vind het zo grappig, iedereen is zo van: horizon update.
• 44:30
  Want wat, wat is nu verwachtelijk het limiet van AI? En ik, ik denk dat iedereen wel, uh, een beetje een soort gevoel heeft van: de tijdlijn is langer geworden, zeg maar.
• 44:42
  We zijn niet zo super dichtbij echt super intelligence die, uh, mensen heel snel gaat displacen en echt heel veel, heel veel mensen heel snel obsolete gaat maken.
• 44:52
  Dat er toch, uh, a-als het, als we echt zo dichtbij zaten, dan zou een bedrijf als OpenAI gewoon meer releasen dan dit. Dat is toch het overheersende gevoel.
• 45:01
  Uhm, en ik denk dat daar gewoon wel echt een kern van waarheid in zit. Alleen wat ik, wat ik tegelijkertijd ook wel, uh, belangrijk punt vind, is dat heel veel van dit soort verbeteringen komen in step changes.
• 45:13
  En we zitten nog steeds in dat paradigm van reasoning, zeg maar.
• 45:16
  We hebben, voordat er reasoning modellen waren had je, zeg maar, een bepaalde plateau van: het wordt niet heel veel beter tussen GPT-4 en GPT-4o en, en ze proberen, zeg maar- Ja, 4,5 was een beetje een dud, natuurlijk.
• 45:30
  Ja, precies. Komt uit een eerder paradigma. Ja, en, en toen was met reasoning echt weer een soort nieuwe wind gevonden van: hé, we kunnen hier weer echt, uh, best wel ver mee komen.
• 45:38
  En ik denk dat, uh, binnen reasoning is er nog best wel veel mogelijk. Er zit veel rek in reasoning, zeg maar, wat je ermee kunt.
• 45:46
  Maar ik denk dat er, uhm, dat er nog wel stappen gezet kunnen worden die nog weer een boost kunnen geven. En ik denk dat we wel allemaal het gevoel hebben dat
• 45:58
  zelfs de, de beste systemen die we nu hebben met, die puur, zeg maar, reasoning, uh, scaled up hebben, zijn al echt extreem capabel en waardevol, waarbij ze heel veel taken echt superhuman, pr-, uh, doen.
• 46:10
  Dus er is een benchmark van, van, ge-, Google. Gemini 2.5, uh, Deep Think Paper, uh, Report.
• 46:18
  En Deep Think is de variant die zij hebben geproduceerd die ze ook hebben gebruikt als basis om die IMO 2025, uh, wiskunde wedstrijd, uh, te winnen of daar een gold medal in te halen.
• 46:30
  En in die paper doen ze een onderzoek naar het reproduceren van machine learning research implementaties.
• 46:38
  Want zij willen natuurlijk bootstrapen in de zin van: we gaan onze modellen gebruiken om ons proces van modellen maken beter te maken. Ik bedoel, als die cirkel rond is, uh, dan kan je een soort van kopje koffie drinken.
• 46:49
  Vliegwiel is. Ja, daar gaat het om. En dan: doe het maar voor mij. En daar zijn twee van de vijf benchmarks die in dat, in zo'n, zo'n benchmark centraal staan van: kun je een machine learning implementatie implementeren.
• 47:00
  Uh, daar verslaan ze een expert mens die acht uur de tijd krijgt om zijn beste implementatie op te leveren. Die worden verslagen door dat Gemini 2.5 model.
• 47:10
  Dus er zijn al voorbeelden waarbij je beter kunt zeggen: laat een AI model dit deel van de release maar verbeteren.
• 47:17
  En ik denk dus dat iedereen wel doorheeft van: als we daar nu zo tegenaan hikken, dan is er, zeg maar, maar één grote unlock nodig en dan is er echt best wel veel aan de hand.
• 47:27
  Ja, dan krijg je een soort Cambrian explosion achtige sfeer, namelijk: we weten nu hoe het moet, het werkt en nu kunnen we ook nog eens dat ding gaan gebruiken om de datacentra te verbeteren, om de interne management van ons bedrijf te verbeteren, om al onze onderzoekers te assisteren en deels te vervangen.
• 47:43
  En op een gegeven moment gaat het- En waar die limieten allemaal liggen en zo, dat is allemaal lastig, want dan, dan is het een kwestie van bottlenecks. Waar komen de nieuwe bottlenecks vandaan?
• 47:50
  Daar hebben we het ook al eerder over gehad, van de bottleneck, het verhaal zeg maar.
• 47:54
  [schraapt keel] Maar ik denk wel wat, uh, positief is voor de sector als je het hebt over AI winters en AI summers, waar, zeg maar, als er een tijdje progressie uitvalt dan, dan zie je vaak een soort kleine consolidatie in de markt en dan blijft alleen het nuttige spul over, zeg maar.
• 48:09
  En wat je wel ziet is dat, uh, de omzetten van een ChatGPT, maar ook de omzetten van een Gemini en de omzetten van een Anthropic zijn heel gezond.
• 48:17
  Dus mensen zeuren wat over hoge salarissen en grote investeringen in CapEx en dergelijke voor datacenter build outs. Maar de omzet die ermee gedraaid wordt is heel serieus.
• 48:27
  Dus ik denk dat we een lange periode gaan zien waarbij er makkelijk genoeg geld is om in ieder geval de huidige modellenEhm, te blijven verkopen, dus die zijn waardevol. Alle developers die willen op zo'n model hangen.
• 48:39
  Heel veel professionals hebben het nodig voor hun, uh, tekstuele werk. Return on investment op dat model, hè, dat heeft je. Je kan het op de eurocent of dollarcent uitrekenen wat het gekost heeft om dat ding te maken.
• 48:50
  Dus dat wil je gewoon terug. Absoluut. Dus het is terugverdienen, het is marge produceren. En zodat je dan free cash flows hebt om dat onderzoek verder te, te zetten.
• 48:57
  En ik denk dat je wel ziet, is dat we wel een punt hebben bereikt waar we comfortabel kunnen stellen: de cash flows uit een ChatGPT business die bijvoorbeeld richting de 10 miljard omzet per jaar gaat.
• 49:08
  Die kunnen comfortabel heel veel nieuw onderzoek betalen. En we zijn niet eens heel efficiënt nu dat onderzoek aan het doen.
• 49:15
  Omdat je door de concurrentiestrijd heel dik moet betalen, omdat iedereen tegelijk al die resources claimt. De resources van menselijk kapitaal, dus de onderzoekers en iedereen claimt de datacenters tegelijkertijd.
• 49:26
  Dus we hebben een hele inefficiënte markt. Alles is extreem duur om te kopen en nog kunnen we het bijna financieren vanuit de free cash flow.
• 49:32
  Dus ik denk dat dat wel voor mij een beetje een teken is van this is all here to stay. Voor het geval mensen daar nog aan twijfelden. Ja.
• 49:39
  Uhm, en, en, en, en zo'n, zo'n, uh, release als GPT-5 draagt daar heel erg aan bij. Dat is echt zo'n motor die die sector dan echt gewoon heel gezond houdt, omdat het gewoon prijseconomisch heel aantrekkelijk is.
• 49:51
  Ze verdienen waarschijnlijk een goede marge op en het is heel capabel voor de use cases die mensen veel gebruiken en daar kan dan weer op voortgebouwd worden.
• 50:00
  Ja, ik denk ook in dat opzicht, daar hebben we het ook wel vaker over gehad. Maar, uhm, even een, een, een, uhm, anekdote dat ik-- ik was op een gegeven moment op Open Router aan het kijken.
• 50:10
  Zo'n, uh, tussen router waardoor je met allemaal modellen tegelijk kan praten.
• 50:13
  Als ontwikkelaars prettig en die hebben gewoon statistics waardoor je gewoon kan zien in een week welke modellen het meest aangeroepen worden.
• 50:20
  En toen was ik wel even verbaasd dat ik, da-dat ik gewoon zag in zo'n soort spekkoek, uh, aan, uh, chart van OpenAI is daar maar 5% in of zo, hè.
• 50:29
  En dan in de categorie programmeren was dit trouwens, hè, wat zij beschrijven. Dat moet je wel even, dat is het ding aan die, die open data is super nice dat ze dat doen van een open router, dat is heel waardevol. Mhmm.
• 50:39
  Maar je moet niet vergeten dat die data super skewed, die is heel skewed naar bijna niemand gebruikt op schaal OpenAI modellen via open router, zeg maar. Nee, nee, precies.
• 50:50
  Dus ik, mijn punt was ook zeker dat is niet de markt, hè, want je hebt geen idee wie allemaal, uh, OpenAI direct aanroept op de, op de API. Maar, uh, ik vond er nog wel een signaal in zitten.
• 51:00
  En daarmee bedoel ik niet OpenAI is helemaal niet populair bij programmeurs.
• 51:04
  Ik denk dat gewoon heel veel, ik denk dat cloud code op dit moment in combinatie met, uh, uh, cloud modellen een, een, een, een momentje heeft de laatste maanden. Laat ik het dan zo zeggen. Ja.
• 51:13
  Maar ik denk dus dat, uh, dat helemaal niet per se een reden voor alarm hoeft te zijn binnen OpenAI. Uh, ik bedoel, het is prettig om geld te verdienen aan ontwikkelaars.
• 51:22
  By the way, Anthropic is rate limits aan het instellen omdat het helemaal niet zo goed lukt om dat max plan daadwerkelijk, uh, uh, betaalbaar te houden. Maar goed, ik kan me, wat ik eigenlijk wil zeggen is:
• 51:31
  ik kan me goed voorstellen dat je een, uh, even een fictieve meeting binnen OpenAI hebt waar je zegt: oké jongens, op open route zien we of we zien eigenlijk dat we qua ontwikkelaars, uh, nog maar 20% van de markt hebben.
• 51:42
  Uh, de connaisseurs op Twitter zijn allemaal pissed dat onze modellen lame zijn en dat dan Sam Altman zegt: gast, we gaan naar 1 miljard consumers toe en dit is gewoon de revenue stream die we hebben uit een daadwerkelijk product hebben, hè.
• 51:55
  Dus je, je kunt succesvol zijn in een, in een, in een markt, terwijl je misschien minder succesvol lijkt op andere punten.
• 52:01
  Ik, ik, ik wil hier niet mee zeggen: alles zit wel goed bij OpenAI, het is allemaal prima, hè, want ze voelen enorme druk vanuit, uh, uh, DeepMind op het moment en Anthropic en, uh, uh, Grok.
• 52:11
  Maar ik, ik kan me wel voorstellen dat, uh, even heel suf voorbeeld hoor, maar ik was laatst in Japan.
• 52:16
  Ik was, ik had even vakantie en ik zat in een guesthouse en we zaten met een groep mensen daar te eten en ik hoorde om me heen gewoon heel vaak chat of ChatGPT, dat was even al een ding, dus ik dacht op een gegeven moment ik ga toch nou even een soort journalistiek doen en gewoon even met wat mensen met wat saké wijn erbij praten.
• 52:31
  Het bleek gewoon dat, nou, wat was het, van de negen van de tien mensen in dat guesthouse had hun complete reis gepland met ChatGPT.
• 52:38
  En dan kan je zeggen: ja, boeie, dat was vroeger Google, maar ik vind dat wel, zeg maar een kleine, het leeft enorm als product bij de eind-eindgebruiker en ik denk dat het niet zo gek is dat OpenAI veel aandacht besteedt aan daar een fenomeen blijven, hè, de eerste keuze.
• 52:55
  Ja, het is gewoon, uh, hun waardevolste markt. En waar ze het verst voorlopen. En dat momentum is heel erg lastig in te halen.
• 53:01
  Dat is ook een eigenschap van consumentenbedrijven is dat als ze eenmaal, uh, heel veel bekendheid genieten en momentum hebben, dan is het heel moeilijk om daar overheen te komen. Zelfs met een veel beter product.
• 53:14
  Uhm, en dat is gewoon toch wel wat je ziet, is dat mensen stappen niet zomaar over consumenten, zeker niet iets heel nieuws. Compleet nieuw paradigma. Het is een soort chatbot en je kan ermee praten.
• 53:23
  Je kan een foto naar sturen, weet je wel. Die gaan als ze iets hebben wat werkt heel, helemaal niet snel op zoek naar een alternatief.
• 53:30
  Uhm, maar ik dacht dus ook wel misschien, uh, hè, zie je dus een beetje de coding markt wel en, uh, focussen puur meer op ChatGPT en zie je steeds minder aandacht voor het coding gedeelte.
• 53:40
  Maar dan zie je toch weer dat die Amerikaanse cultuur misschien, uh, de, de kop opsteekt en zegt: nee, we willen coding ook winnen. [lachend] We wanna win it all. Ja.
• 53:47
  Dus ik vond het wel mooi om te zien dat toch wel een soort, uh, ja, eigenlijk wel comeback hebben gemaakt in de coding, uh, wereld.
• 53:53
  Want ik denk dat, uh, 80 tot 90% van de developers eigenlijk OpenAI modellen best wel links liet liggen in de cursor IDE's en de cloud code gebruikers.
• 54:04
  Omdat je gewoon veel beter Gemini of Cloud kon gebruiken in die, uh, programmeeromgevingen.
• 54:08
  En nu, uh, hebben echt een aantal mensen die echt, uh, neutraal erin staan gezegd: ja, ik ben helemaal om naar GPT-5 en inclusief ikzelf heb nu het idee datDat GPT-5 mijn daily driver is en dat ik soms misschien voor super hard reasoning dingetjes nog een keertje effe bekijk wat OpenAI zegt of effe kijkt wat, uh, uh, Gemini 2.5 zegt.
• 54:30
  Maar qua usability en kwaliteit zit, uh, GPT-5 echt wel op een sweetspot waardoor ze nu denk ik king of the hill zijn. En dan zie je ook dat er heel veel developers maar in een keer, fuck, gewoon hun gebruik overgooien.
• 54:41
  Heel anders dan in de consumentenbusiness. Want in de consumentenbusiness gaat niet iedereen even ChatGPT gebruiken.
• 54:46
  De loyalty speelt lager bij ontwikkelaars, want die weten wat endpoints zijn en die weet, die, die, die zijn natuurlijk- En er zit Cursor tussenin, hè, want Cursor die maakt het een, een, een model dropdown picker.
• 54:56
  En dat is een, echt een belangrijk, uh, aspect, want ik weet nog dat in het begin, dan kon je wel switchen naar Google's modellen in Cursor, maar dat werkte voor geen meter omdat ze dat niet testen en zo.
• 55:05
  En nu zijn ze echt wel gewoon als een soort driepoot in ieder geval. We integreren minimaal ChatGPT of, of OpenAI's modellen, Gemini's modellen en Anthropic modellen op heel hoog kwaliteitsniveau.
• 55:16
  Dat is gewoon de minimum support, uh, structure. En dan daarna Grok 4 erbij en daarna open source modellen erbij, uhm, en, maar die maakt het dat die concurrentiestrijd heel heftig is binnen Cursor.
• 55:26
  Ja, Cursor creëert zo'n Hunger Games door die dropdown. Absoluut.
• 55:29
  Als je een, als je een analyse zou maken over de markt nu, zeg maar voor, om het in de geschiedenisboeken te zetten, zou je een boek kunnen maken met die model picker op de voorkant gewoon.
• 55:36
  Want die model picker, dat is gewoon keiharde non-loyalty van ontwikkelaars om te zeggen: oké, ik switch weer over, ik switch weer over. Ja.
• 55:43
  En dat het ook drop-in replacements zijn dankzij het feit dat al die scaffolding die Cursor doet op model specifiek ook nog eens helemaal klopt. Het is niet alleen maar een endpoint switch. Nee.
• 55:52
  Ze weten dus- Zij zorgen ervoor dat al die prompts en al die dingen, hoe je met die b-, met die, met die verschillende API's van die providers interacteert, dat dat allemaal heel goed werkt.
• 56:01
  En dat, dat is, ik denk ik op dit moment is Cursor de nummer één concurrentieaanjager op het gebied van coding, uh, modellen. Ja, omdat het die, omdat ze ertussen zitten.
• 56:11
  Wat eigenlijk voor ontwikkelaars prettig is, omdat die druk dan zo op die labs blijft staan om allemaal kwaliteit te leveren. Ja, concurrentie is goed voor de eindgebruiker. Ja, ja, ja.
• 56:20
  Hé, want we, ik, ik zat nog te denken.
• 56:21
  Ik wil, uhm, ik, ik hoor een beetje in het verhaal van oké, in het, uh, soort van, uh, AGI komt eraan narratief, uh, is het niet meteen, uh, uh, het gaat niet meer gebeuren op de korte termijn, hè.
• 56:36
  Ik bedoel, effe die, ik, ik heb nu een aantal keer Project 2027 genoemd. Uh, dat weten de luisteraars die langer luisteren ook. Dat is niet een scenario wat ik 100% onderschrijf en zeg: zo gaat het gebeuren.
• 56:47
  Ik vind het een interessant datapunt en een fenomeen om mee te nemen als je geïnteresseerd bent in dit soort, uh, gesprekken en dit onderwerp.
• 56:54
  Uh, persoonlijk zit ik op een wat langere tijdslijn, maar niet verder dan 10 jaar en dat vind ik nog steeds maatschappelijk totaal disruptief.
• 57:00
  Dus ga-, kunnen we dan, we kunnen met koffie gaan praten over twee, vijf of 10 jaar, maar dat is nog steeds allemaal best wel een ding. Best snel, ja.
• 57:07
  Ja, best wel een ding, dus ik, z- noem het voor mij Project twen-2032. I don't care. Uh, iets om in de gaten te houden.
• 57:13
  Niet volledig weerlegd met GPT-5, maar ook niet soort van-- het had ook zo kunnen zijn dat GPT-5— ik wist het niet.
• 57:20
  Ik ging gisteravond kijken en ik, ik start echt die livestream en toen dacht ik: nou, ik ben, ben heel benieuwd, zeg maar. Het wordt of echt een 4.5-achtige dud, het valt echt heel erg tegen. Dat is gewoon niet zo.
• 57:30
  In ieder geval in mijn ogen. Subjectief, want ik, ik is het voor mij- 4.5 was echt een mega dud. Ja. Echt een mega dud op een hele, hele grote schaal. En GPT-5 is dat echt niet. Uhm.
• 57:40
  Dus we zitten op een soort— en sterker nog, de grafieken van bijvoorbeeld die Meter Benchmark lopen nog gelijk. Dat vond ik wel grappig, want die hebben dus een projectie gedaan en daar valt- Dat het een exponent is.
• 57:50
  Ja, het is, ja, en het is pretty much alsof OpenAI net zolang is blijven doortrainen tot ie op het lijntje viel en dat het gewoon dat lijntje kon blijven lopen, dus, uh, dat, dat, dat klopt ook nog, uh, uh, best wel goed.
• 58:00
  Het is alleen niet, uh, in mijn ogen, uhm, wat bijvoorbeeld Genie-3 wel voor mij heeft gedaan.
• 58:06
  Ik ga toch even eerder over Genie-3 praten dan GPT O-OSS, omdat ik denk dat we Genie-3 op een aantal manieren hierin kunnen, uh, vouwen.
• 58:13
  Toen ik, uh, kijk, toen ik Genie-3 zag, uh, uh, en voor de luisteraar, we zijn al wat meer bekend met, uhm, uh, nu ben ik even het andere, uh, moed-doe- hoe heet het, andere visuele model van, uh- World model.
• 58:28
  Ja, waarin je, uh, filmpjes maakt. Veo, sorry.
• 58:31
  Ik, ik haal ze zelf, dus ik wil— luisteraars zullen ze misschien ook door elkaar halen, maar Veo is het videogeneratiemodel van Google DeepMind waarin je geen invloed hebt achteraf.
• 58:40
  Je kan een promptje maken, dan heb je een video en dat was het.
• 58:43
  De Genie-series, heb je een keyboard controls, alsof je in een computergame bent en kan jij nadat je je prompt hebt ingevoerd het karakter wat dan in beeld komt, dat kan een koe zijn, een blaadje, een auto of een boom, whatever, waar jij controle over wil krijgen, kan jij gaan besturen.
• 58:57
  Je kunt gaan rondlopen in die wereld. Die Genie-serie kenden we al. We kenden hem ook van andere partijen al. Je had meer van die soort active dreaming simulators. Oasis, Descartes of zo. Exact.
• 59:07
  Dat soort, uhm, Minecraft simulaties. We hebben het in de nieuwsbrief ook een aantal keer aangehaald. Dat voelde allemaal redelijk psychedelisch.
• 59:13
  Als in: je hebt, je had echt het idee dat je visueel door een hallucinatie heen liep die ook allerlei artifacts had. Dat had de Genie-serie tot en met Genie-3, of tot Genie-3 ook.
• 59:25
  De Genie-3 series op 27p, 30 fps uit mijn hoofd. 24. Kan, ja, ne-, 24, nice, kan een, uh, uh, bijzonder consistente, uh, controleerbare droom voor jou genereren. Niet voor jou als eindgebruiker nu live, hè.
• 59:41
  We kijk- bekijken de demo's zoals ze er staan. Maar bij, uh, Genie-3, en ik heb dat bij Veo ook gehad destijds en nu had ik het bij Genie-3 weer, krijg ik een ander geboe- gevoel in mijn buik.
• 59:51
  Een soort mix van vlinders en angst. Ik kan het niet anders omschrijven als dat. Een soort verliefd en het is superspannend wat hier allemaal gebeurt. Uhm, uh, hoe had jij dat, zeg maar, bij Genie-3?
• 1:00:02
  Had jij ook z-, uh, zag jij hem al zover aankomen en had je zoiets van: ja, had ik al gezien. Of zag je ook van: oké, damn, dit is wel echt een ding, man.
• 1:00:09
  Ja, nee, ik denk dat, ik kan echt wel momenten pinpointen wat, uh, in San Francisco genoemd zou worden feeling the AGI.
• 1:00:16
  En ik had, uh, het moment dat ikClaude 4 Sonnet in Cursor met een terminal aan de slag zag gaan, zeg maar, die gewoon even een terminal commandje dit, terminal commandje dat en dat dan een heel ding voor mij uitzocht.
• 1:00:30
  Een beetje als die meter benchmark van hoe lang die agentic doorgaat. Dat was voor mij echt een feeling the AGI moment. Uhm, en ik had dat bij Genie 3 ook weer. Uhm,
• 1:00:41
  nog meer of niet eens nog meer, maar nog een keer nadat ik ook Vio 3 had gezien.
• 1:00:46
  Dus ik had dat ook bij Vio 3 dat ik denk: oké, echt toen ik audio en video bij elkaar hoorde en die voorbeelden zag, dacht ik: oké, dit is echt zo'n what the fuck moment.
• 1:00:56
  Echt een zero- Ja, ik ben toen ook weer even een stukje gaan lopen buiten, zeg ik ook altijd. Maar ik, ik moest echt even touch grass, want echt even niet goed. What the heck?
• 1:01:03
  Dus dat was heel, vooral die meta scenario's dat mensen zeggen van: uh, the prompt master is controlling us, we will get him. Ja, en dat ze tegen het glas van de camera gaan slaan om eruit te komen. Precies. Niet best.
• 1:01:14
  Dat je denkt van: oké. En dat je dit dan met die, met die Genie 3. Genie 3 heb ik nog niet kunnen proberen en ik denk dat het nog meer, uh, leeft als je het echt uitprobeert.
• 1:01:26
  Ja, ik heb wel een aantal hands ons kunnen vinden van mensen die al een weekje toegang hadden tot Genie 3 in de persruimte van, uh, DeepMind/Google. Uhm, daar merkte ik juist aan, dat is echt wel grappig.
• 1:01:38
  Die waren in mijn ogen een beetje overhyped, terwijl ik, en, maar misschien dus niet, als in die video's, hè, je moet je voorstellen, die hebben een week daarvoor al toegang gehad tot Genie 3 en mogen die game controller, zo'n PlayStation-achtige controller, beetpakken en er doorheen gaan lopen.
• 1:01:52
  En dan, en dan gaan ze daarna al meteen takes maken, zeg maar hot takes van wat ze daar gevoeld hebben en die staan gewoon in de gang naar buiten die ze echt in de camera te schreeuwen van: what the hell, what the hell, what the hell?
• 1:02:03
  En ik bedoel, ik denk als je dan een week later een video van hun kijkt, zijn ze wel wat rustiger geworden.
• 1:02:08
  Maar ik, ik, ik kan me wel voorstellen dat het, uhm, hal-- het is eigenlijk lucid dreaming, hè, dus controle krijgen over een droomscenario die consistent blijft. Want dat, een van die demo's- Ja, minutenlang, hè.
• 1:02:22
  Minutenlang gestoord. Een van die demo's is dat ie, dat vond ik trouwens nog steeds de meest wauw-se demo, is dat ze blauwe verf op een muur verven. Ik, ik, ik dacht: gaat hij de blauwe verf demo zeggen? Ja.
• 1:02:31
  Die is zo saai en zo ground, zo gestoord, zeg maar. Het is natuurlijk perfect. Het is bijna art. Het is zeg maar de combinatie van iets superbanaals, zo'n muur verven. Ja. Maar dan zo bijzonder technologisch.
• 1:02:44
  Dus gewoon dit kon je absoluut niet bouwen gewoon. Nee joh, absoluut niet.
• 1:02:48
  Nee, maar ik bedoel, maar dit is denk ik ook het ding, hè, omdat wij, ik, ik, ik weet nog wel eens dat ik dan, uh, toen ik nog lesgaf aan de hogeschool, kreeg ik wel eens dingen gedemo'd door studenten.
• 1:02:59
  Die heb je dan dingen uitgelegd, uh, je, en dat is binnen een bepaalde scope van wat zij dan kunnen. Hè, dus je gaat ervan uit als zij het eind van de week aan mij demonstreren, dan is dat binnen die scope.
• 1:03:08
  En dan heel sporadisch zag ik dingen dat ik zei: wow, wat heb jij nou gedaan? Dit is niet normaal. Weet je wel?
• 1:03:15
  Terwijl ik was op dat moment echt de enige die dat echt op waarde kon schatten, omdat ik wist wat die student daarvoor kon. Ik wist welke informatie ik heb gegeven en wat de scope was van de opdracht.
• 1:03:26
  En als iemand daarbinnen dan voorbij de scope gaat en echt iets heel bruuts doet, kan ik technisch en qua achtergrondinformatie inschatten: hier gebeurt iets heel bijzonders, hè.
• 1:03:35
  Dat compliment kregen ze dan van mij ook heel vaak van: of je hebt je broer laten meehelpen hieraan of jij hebt gewoon net even jezelf voorbijgestreefd.
• 1:03:43
  En ik, als, ik denk dus dat wij als, als je wat dieper in deze materie zit en dan die verfdemo krijgt, en voor de luisteraars, iemand heeft een verfroller met blauwe verf dat hij op een verf rolt, op een muur rolt, dan verder kijkt dan dat, hè.
• 1:03:55
  Dus die draait eigenlijk de rest van de muur uit beeld. Dus die kijkt naar rechts, zeg maar, en die kijkt dan terug.
• 1:04:00
  En ja, daar zit nog steeds die verf op die muur en ik kan me heel goed voorstel- Op dezelfde manier hoe het erop gespoten- Ja, het druipt nog, zeg maar.
• 1:04:07
  En ik kan me voorstel-, ik bedoel, lo-, en het ziet er trouwens fotorealistisch uit. Dat, dat eerste feit is eigenlijk het Vio-feit, hè, dus het generaten van lifelike imaging in videovorm was al gestoord.
• 1:04:18
  Dat we daar al aan gewend zijn is al te bizar. En dan heb je daarnaast ook nog eens: ja, maar die wereld is er daarna nog.
• 1:04:24
  Als je terugkijkt zit die data daar nog en ik, en dan kan je als luisteraar denken: dan sla je dat toch even ergens op? Nee man, zo makkelijk is dat niet. Dat kan je in de echt niet. Nee, dus, dus dat is heel bijzonder.
• 1:04:34
  En wat ik vooral, uh, waarom ik zo enthousiast ben over Genie 3, dus het is sowieso heel knap dat ze dat kunnen simuleren, dat ze dat, dat ze dat niveau van fidelity zeg maar voor elkaar hebben gekregen.
• 1:04:44
  En, uh, wat ze ook hebben dus toegevoegd is dat, uh, promptable events.
• 1:04:49
  Dus dat je ook tijdens dat het al bezig is, kan je bijvoorbeeld, je loopt bijvoorbeeld door een straat en dan kan je zeggen, je loopt bijvoorbeeld naast het water en dan zeg je: er komt nu in een keer een jetski voorbij en dan zie je in een keer zo'n jetski voorbijkomen.
• 1:05:01
  Dus dan gebeurt er iets op basis van wat je hebt gezegd. Nou, dat is natuurlijk een soort ultieme game engine-achtige omgeving. Dit is gewoon een soort Unity engine.
• 1:05:09
  W-die mensen waar je helemaal los kunnen gaan op games. En games is leuk. Games is fantastisch. Je kan er heel veel vette dingen mee doen, maar er is natuurlijk- Nog mij het minst die games.
• 1:05:16
  Ja, nou ja, ik ben ook niet zo'n gamer. En, uhm, wat ik vooral heel interessant vind is dat, ze, ze kunnen een heel groot, uh, openstaand probleem oplossen, uh, in embodied robotics.
• 1:05:29
  Dus als je een robot in de echte wereld wil plaatsen, dan is het voor-voorheen is het altijd extreem moeilijk geweest om robots betrouwbaar te laten functioneren, omdat het zo godsmoeilijk is om data te verzamelen van die robot in operatie.
• 1:05:43
  En simulaties- Ja, ik zeg altijd, sorry dat ik je onderbreek, maar ik zeg altijd: in de fabriek. Het is ook nog een gecontroleerd iets. Je weet waar alle kasten staan, waar alle machines staan.
• 1:05:51
  Je hebt het gevoel under control. Maar dat er die, dat er die middag iemand is die die machine komt repareren, zijn zoon bij zich heeft, die daar dan ook rondloopt.
• 1:05:58
  En trouwens met een warm kopje koffie wat hij voor zijn vader gehaald heeft. Dat zat nou net even niet in de trainingsset. Precies, precies. Dus dat is een heel groot openstaand probleem.
• 1:06:06
  En ik denk dat, uh, er hebben wel mensen pogingen gedaan om simulaties te bouwen die, uh, goed, zeg maar de essentiële dingen, want het is dan een modelVan de omgeving, maar heel gesimplificeerd vaak nog.
• 1:06:23
  En daar dan proberen ze in een, een, een soort offline training te doen, alsof die honderd of honderd miljoen keer alles kan zien, alle variaties. En dan gaan ze kijken.
• 1:06:32
  Gaat dat ook echt werken als het in de echte wereld komt, waar natuurlijk heel veel dingen niet in zitten die in dat model, uh, zouden moeten zitten.
• 1:06:39
  Maar door een soort holistische world, uh, simulation te maken, zo'n world model wat gewoon de algehele realiteit probeert te modelleren met, uh, nauwkeurige physics zeg maar.
• 1:06:49
  Dus, uh, hoe verf zich gedraagt, hoe muren zich gedragen als daar een auto tegenaan rijdt, et cetera.
• 1:06:54
  Als dat hoog genoeg in resolutie komt, dan kan je die gap tussen wat je kan doen in de echte wereld en wat je kunt doen in simulatie zo klein maken dat je mo-, uh, uh, ro-robots kunt creëren die heel, uh, betrouwbaar en autonoom kunnen opereren in de fysieke wereld.
• 1:07:10
  En ik denk dat iedereen heeft het gevoel dat de AI wave heel erg gaat over de, de white collar jobs, de, de, de, de desk jobs, de, de, de intellectuele nadenkbanen of zo en taken.
• 1:07:22
  Maar ik denk dat er wel heel duidelijk een push is van dat ook in de fysieke wereld doen.
• 1:07:27
  En Tesla claimt natuurlijk ook met Tesla Optimus en dergelijke, maar dit soort doorbraken zijn echt nodig, want je kunt gewoon niet simuleren in de echte wereld op grote schaal.
• 1:07:36
  Uhm, dat is gewoon, dat blijft altijd schaarse data. Ja, ik denk ook, het, het is ook va-- ik denk voor veel mensen, ik heb dit al een aantal keer, uh, uh, gezegd, maar i-ik blijf het even zeggen.
• 1:07:47
  Die robotica is niet zozeer een hardware issue, zeg maar servomotoren, uh, combineren tot een soort servo-ecosysteem waarin jij bewegingen kunt maken.
• 1:07:56
  Ga naar productielijnen van auto's in de jaren 80 en daar komen al armen langs die gewoon een complete auto kunnen lassen, zeg maar. Ik bedoel, daar zat het probleem niet.
• 1:08:03
  Het probleem zit hem en zat hem iets minder dus, of zit hem iets minder dus nu
• 1:08:08
  in een open wereld vol met kansen en dingen die je niet kunt voorspellen en bewegingen en op, en ook nog eens, uh, uh, hoe een object reageert. Wat gebeurt er als je iets lichts oppakt?
• 1:08:19
  Wat gebeurt er als je iets zachts oppakt? Wat gebeurt er als je iets glads oppakt? Wat gebeurt er als je die, die dingen na elkaar moet doen en in één doos moet stoppen? In welke volgorde moeten ze er dan in?
• 1:08:28
  Noem allemaal maar op en je merkt dus dat, ik vond het wel een leuke, uh, uh, uh, benchmark. Ik maak heel even het sprongetje terug naar GPT-5.
• 1:08:36
  Een van de privé benchmarks van een van de ontwikkelaars die ik volg is dat hij tegen die taalmodellen zegt: ik ga staan als mens.
• 1:08:44
  Ik doe mijn linkerhand achter mijn rechterknie en mijn rechterhand achter mijn linkerknie en nu ga ik lopen. Wat gebeurt er? En alle modellen, inclusief GPT-5, zeggen: je valt. Terwijl dat is helemaal niet zo.
• 1:08:55
  Je gaat gewoon op een ongemakkelijke, grappige manier lopen.
• 1:08:59
  Maar als jij dit zou maken, uh, in VO3 of in Genie3, hè, dus je laat in essentie, ik zeg het even heel, uh, dom nu, hè, want zo gaan die modellen niet werken, maar je laat een toolcall doen naar, laten we zeggen Genie3 door een taalmodel, reasoning model, agentic model, die zegt: oké, ik ben even aan het nadenken.
• 1:09:18
  Oftewel ik ben het me aan het inbeelden met Genie3, waarin de prompt is: de gebruiker vraagt of ik iemand een, h-ha-hand achter zijn ene knie, hand achter zijn ach-- andere knie.
• 1:09:27
  Dan kijkt hij frame voor frame de beelden die gegenereerd zijn door zijn maatje Genie3 en dan zegt hij tegen jou: dan loop jij wat ongemakkelijk, want dat heb ik net gezien in mijn droomwereld.
• 1:09:35
  En als, ik denk dat als mensen dit meer gaan- Dit vind ik wel gaaf, hoor, want ik had, uh, zelf nog niet eens de link gelegd tussen dat je die modellen naar elkaar toe kan brengen.
• 1:09:44
  In mijn hoofd was het nog gecompartamente- gecompa-partimenteriseerd. Dit is hoe die ARC Challenge gewoon keihard wel gebied gaat worden, ARC2. ARC2 gaat door een ensemble van Genie en whatever gebied worden.
• 1:09:53
  Nou, di-dit is dus ook een, uh, uh, ook, uh, Fei-Fei Li is een, uh, AI onderzoeker. Die is echt heel gerenommeerd, want zij heeft ImageNet afgetrapt.
• 1:10:02
  En ImageNet is echt de ontketening geweest van deep learning, omdat daar de eerste vision modellen getraind zijn.
• 1:10:08
  En dat was een soort wel kritisch moment, want zij had ImageNet als dataset en challenge bedacht, waarbij je dat uiteindelijk alleen kon oplossen met deep learning modellen. En er waren toen ook toevallig GPU's.
• 1:10:19
  Maar zij zegt dus, zij is zeg maar heel pop, of heel, uhm, legendarisch in, in, in wat zij heeft betekend voor het veld.
• 1:10:26
  En zij heeft dus recentelijk geclaimd op podium bij Y Combinator, is een, uh- Ja, ik aanraden die talk, staat gewoon op YouTube. Kan je op YouTube kijken en, uh, daar heeft ze dus over physical intelligence.
• 1:10:37
  Of in ieder geval de embodied soort van dimensional spatial intelligence heet het volgens mij. En dat is gewoon iets wat nu heel erg ontbreekt bij die taalmodellen.
• 1:10:48
  En inderdaad, wat jij zegt, als je dus echt gewoon die systemen begint te fuseren.
• 1:10:53
  En wat je dus altijd ziet, en dat zie je ook bij GPT-5, is dat die systemen, die worden eerst aan elkaar geknoopt als een soort Rube Goldberg machine, zeg maar, van, uh, dan doe je dit en dan ga je naar de machine.
• 1:11:03
  Maar uiteindelijk komt dat natuurlijk wel bij elkaar in een soort unified ding en dan, dan kan het nog verder losgaan.
• 1:11:08
  Uhm, maar dat wil niet zeggen dat het combineren van een GPT-5 met een Genie-model, dat dat, dat daarop kan opereren en die visi-, de, die, die, al die visuele inputs ook kan, uh, interpreteren.
• 1:11:19
  Dat daar wel een soort, uh, krachtige wisselwerking kan ontstaan. Dus, uh, ja, ik denk dat we voorlopig nog wel even druk bezig zijn, uh, met, uh, het hele AI-verhaal.
• 1:11:28
  Ja, en ik denk misschien nog wel een, een, een leuk detail is dat als je de interviews kijkt, uh, die nu allemaal rondom Genie3 gedaan zijn, hè. Dus, uh, voor de luisteraars: zoek gewoon even Genie3 launch interviews.
• 1:11:40
  Dan gaan ze met de ontwikkelaars die binnen DeepMind Genie3 in de Genie-serie ontwikkelen, zeg maar, interviewen.
• 1:11:45
  En wat mij gewoon opviel, inc-, ook bij Demis Hassabis trouwens, uh, uh, [lacht] lead, uh, DeepMind, de verbazing over Genie.
• 1:11:54
  Zij zitten daar echt in die interviews van: yo, we hadden op een gegeven moment door dat je dit kon blijven schalen, hè, dus want Genie zit nog helemaal in de scaling paradigm.
• 1:12:02
  Ze hadden gewoon verwacht als we van Genie 2 kunnen we gewoon doorschalen naar Genie 3 zonder al te complexe nieuwe uitvindingen te hoeven doen, hè.
• 1:12:08
  We hebben gewoon krachtigere, grotere datasets, meer hardware, et cetera nodig. Klassieke schalen zeg maar.
• 1:12:13
  En dat zij zeggenDat de real world physics, hè, de fluid dynamics, uh, uh, gravity, gewoon alle, alle belangrijke zaken die zo zwaar zijn om te simuleren als je dat expliciet doet, hè, dat die er nu impliciet in terechtgekomen zijn.
• 1:12:27
  En dat is niet perfect, hè, trouwens niet 100%, nog niet perfect, maar iedere keer weer beter. Gewoon het gooien van een, van een stuk piepschuim op een zee waar dan zout in het water zit.
• 1:12:38
  En op een of andere manier gebeurt dat en lukt dat omdat die in, tijdens het trainen blijkbaar uit al die bestaande beelden een soort intuïtie ontwikkeld wordt for lack of better term, door dat model voor, uh, natuurkunde.
• 1:12:54
  Een veel betere en, en complexere intuïtie dan in taalmodellen.
• 1:12:57
  Want ik bedoel, dat heb ik wel vaker gezegd over taalmodellen dat die soort van belachelijk gemaakt worden als ze bijvoorbeeld niet snappen dat jij gewoon kan lopen met een hand achter je knie.
• 1:13:06
  Het feit dat ze iets kunnen zeggen over de situatie als taalmodel is gestoord.
• 1:13:10
  Zeg maar, je bent ze helemaal buiten hun kunnen aan het trekken als je over fysie-, over fysieke bewegingen gaat praten met iets wat getraind is op Reddit en allerlei andere databronnen, zeg maar.
• 1:13:21
  Hè, dus ja, ik vind dat denken in ensembles van modellen die goed zijn in het ene en goed zijn in het andere en samen een ding vormen, net als ons brein die verschillende cortexen heeft voor verschillende taken, helemaal niet zo gek.
• 1:13:32
  Nee, en, en dat is, ik, uh, dat is mijn pinned tweet, uh, is, is, uh, op, op X, uh, is: if you can compress data well, you understand its patterns.
• 1:13:43
  En er is een, uh, een van de weinige talks die Ilya Sutskever geeft, en dat is een van de cofounders van OpenAI en is nu met zijn eigen hele geheimzinnige lab SSI, uh, bezig. En hij geeft dus een talk over, uhm,
• 1:13:58
  over machine learning. En hoe, hoe, hoe, hoe werkt dat nou fundamenteel? Hoe leren nou computers van data? En daar zitten heel veel wiskundige principes aan ten grondslag.
• 1:14:08
  Maar dat, uh, dat idee wat Demis Hassabis noemt over Gene, Genie 3, dat er een soort manifold is, dat, dat, dat, het, het, het concept dat als je iets, uh, wil beschrijven, een, een, een fenomeen,
• 1:14:25
  dan, dan kun je dat op, op sommige manieren alleen heel omslachtig doen en op andere manieren kan je dat heel efficiënt doen.
• 1:14:32
  Dus zeg maar, hoe je iets gaat beschrijven bepaalt een beetje hoeveel, hoeveel tekens je nodig hebt.
• 1:14:38
  En het idee is dus dat als je in een bijvoorbeeld een C++ code een physics engine gaat bouwen, heb je heel veel code nodig om te beschrijven hoe de hele fysieke werkelijkheid gaat werken.
• 1:14:50
  Maar dan is eigenlijk de conclusie dat je het niet moet gaan schrijven in C++ code.
• 1:14:55
  Je moet op een andere manier de essentie, zeg maar de, de, de essentiële, uh, informatie, uh, gaan beschrijven op een manier die veel beter past bij het fenomeen.
• 1:15:06
  Dus dat is het idee dat je, zeg maar, een soort van fit hebt tussen waar je iets mee beschrijft en wa-wat je beschrijft. En dat daar een hele grote mismatch in kan zitten waardoor je heel veel nodig hebt.
• 1:15:17
  Bijvoorbeeld het, het platte gezegde van: een foto zegt meer dan duizend woorden. Uhm, het maakt gewoon uit welk medium je kiest als het ware. En ik denk dat wat die modellen laten zien is dat er
• 1:15:29
  een manier is om, uh, om in die modellen dus een efficiënte beschrijving te vinden voor fenomenen. En dat zie je dus terug tussen al die domeinen.
• 1:15:38
  Dus aan de ene kant is het tekst, dus dan is het codeconcepten en dergelijke. Daar wordt dan uiteindelijk in dat model, uh, krijgen ze voor elkaar om efficiënt, uh, redeneren over logicaproblemen in software.
• 1:15:49
  Maar je ziet het dus ook in bedrijven zoals Cradle in Nederland, biotechbedrijf met proteïne folding.
• 1:15:54
  Dat je, uh, biologische fenomenen, d-daar kan ook een soort efficiënte beschrijving gevonden worden in, in die, in die modellen, uh, in de gewichten van die modellen.
• 1:16:04
  En, uh, als je dan kijkt naar die Veo modellen en Genie, dan zie je dat in het visuele domein dat daar ook een soort, met, dus de natuurkundige interactie, dat dat ook efficiënt in die modellen gestopt kan worden.
• 1:16:15
  Nou, of het echt efficiënt is, daar kan je natuurlijk nog vragen bij stellen, want het zijn heel veel parameters als het ware, maar het wordt in ieder geval geleerd van de data.
• 1:16:24
  Dus het is misschien niet per se efficiënt in die zin, maar het is wel te leren van de data. Efficiënt genoeg dat het geleerd kan worden van de finite samples die ze laten, laten zien.
• 1:16:34
  Bijvoorbeeld Veo 3 is getraind op waarschijnlijk heel YouTube, maar heel YouTube is nog steeds best weinig. Het is alleen YouTube, alleen YouTube-video's.
• 1:16:42
  Dus, dus, dus, dus dit is een zo'n soort van: wat kan je leren van data en hoe kan je dat, hoe kan je dat extraheren? Het dikste zou zijn, zeg maar- Het lijkt dus weinig limieten te hebben.
• 1:16:54
  Ja, ik denk als, als je als voorbeeld kijkt naar, stel dat je een, uh, een stuk ambient muziek hebt, uh, van een minuut, hè, dus gewoon een beetje, uh, Brian Eno-achtige vibe music van een minuut.
• 1:17:05
  Die sla je dan op in vlak, zeg maar, dus dat is dan lossless. Voor mij is dat ongeveer 10 MB per minuut. Dan zeg ik: oké, we gaan iets van compressie doen. Pak je MP3, classic MP3 algoritme van lang geleden.
• 1:17:16
  Dan kom je op een MB per minuut, hè, dus tien keer zo klein. Maar waarschijnlijk in de, het is het, uh, uh, een beetje die, die community die van die kleine demo scene code maakt.
• 1:17:26
  Hè, die probeert dan in 1 KB een, uh, uh, Flappy Bird te bouwen. Die zou waarschijnlijk zeggen: het is mij gelukt om ambient music te genereren, gewoon met waveforms- Ja.
• 1:17:35
  In één regeltje JavaScript van, nou ja, weet ik veel hoeveel tekens. En het is natuurlijk, en daar komt dan ongeveer dezelfde muziek uit, hè.
• 1:17:42
  Dus als je, als het jou lukt om het generatieve algoritme achter die data te vinden als het ware.
• 1:17:49
  En in dit geval, wat een beetje mogelijk aan het gebeuren is met Genie 3, is ook nog eens omdat er zoveel parallellen zijn tussen patronen in het universum, namelijk, uh, het lichtspectrum en het geluidsspectrum en al die spectra hebben een soort zelfde fractal-achtige patronen erachter zit.
• 1:18:04
  Ik maak hele grote- De universaliteit van elektromagnetisme et cetera.
• 1:18:08
  Is natuurlijk de hoop van de wiskundigen dat een soort theory of everything gevonden wordt waardoor je met één regel code het hele universum kan genereren. [lacht] Maar dit is een beetje waar jij over praat, toch?
• 1:18:18
  Hè, dat je zegt van: het is ook een beetje het idee van intelligence is compression, compression is intelligence.
• 1:18:23
  Het feit dat jij complexe patronen kan weergeven in steeds minder informatie, dat is eigenlijk een vorm van intelligentie.
• 1:18:30
  Dat is wat mensen doen.Ja, het is vooral een signaal denk ik, want het is zeg maar, uhm, kan je, die modellen worden niet groter terwijl ze trainen, hè.
• 1:18:39
  Die, die modellen die hebben één formaat en die moeten dat formaat blijven. En het idee is dat, je kan er heel veel d-doorheen pompen. Ja, staat die parameterlimiet al vanaf het begin? Ja. Oh, wauw.
• 1:18:49
  Ze zijn gewoon één formaat en ze gaan dan gewoon informatie continu krijgen. Ja. En het is niet alsof ze opzwellen. Ze blijven exact hetzelfde formaat, maar ze gaan gewoon steeds beter presteren.
• 1:18:58
  Dus als je, uh, een hele grote hoeveelheid data hebt en je kan die, uh, je voert die er continu doorheen.
• 1:19:05
  Op een gegeven moment is het idee dat ie alles wat je er doorheen hebt gevoerd, de training data die die heeft gezien, dat hij die perfect zou kunnen voorspellen. Dat is wat je hoopt.
• 1:19:14
  En in de praktijk, omdat die modellen zo groot worden, die datasets zo groot worden, behaal je niet meer perfecte begrip. En dan zie je dus dat die modellen een soort absorptielimiet hebben.
• 1:19:23
  Dus dan, uh, je kan er nog meer ingooien, maar ze worden niet beter in dat voorspellen.
• 1:19:28
  En, uh, een van de belangrijkste, uh, manieren waarop die labs hebben opgeschaald is door steeds beter verschillende data te vinden om er doorheen te voeren. En dan zie je dat er, dat ie wel weer zeg maar omlaag gaat.
• 1:19:41
  Dus de kwaliteit van data die je erin stopt, die bepaalt ook hoe laag die als het ware kan gaan.
• 1:19:46
  En ik denk dat dat mechanisme, dus dat fundamenteel leeralgoritme waarbij je, maar, aan de hand van data, uh, die patronen kan, uh, extraheren. Daar gaan we denk ik steeds beter in worden.
• 1:20:00
  En terwijl we ook meer data kunnen verzamelen en betere kwaliteit data kunnen verzamelen.
• 1:20:05
  Want als je kijkt naar de, de, de, de, de snelheid waarmee videocontent wordt geüpload naar het internet, dat groeit nog steeds allemaal.
• 1:20:12
  Dus w-onze data exhaust als het ware neemt niet heel erg af omdat we en steeds digitaler leven. Dus we hebben ve-ste-steeds meer, uh, voetsporen.
• 1:20:20
  En omdat a-alle instrumenten om op te nemen, die zijn ook steeds hoger in kwaliteit. Elk, uh, elke iPhone heeft weer een betere camera.
• 1:20:26
  Al die camerabeelden hebben veel meer informatie en zo kan een, een, een, een Genie 12, uh, kan natuurlijk van de, de 900 megapixel videocamera van iPhone, kan die op een gegeven moment wel die, die echte physical, uh, dingetjes, uh, extraheren.
• 1:20:41
  Dus, dus dat is toch een mee, want dan, dan, nou ja, dan heb je gewoon heel scherp water, weet je wel [lacht]. En dan heb je gewoon heel scherp water.
• 1:20:48
  Hé, laten we het nog heel even hebben over, uh, de open source modellen van OpenAI. Uhm, want een van de dingen die ik, uhm, tegenkwam is, uh, GPT, uh, OSS zoals ze heten, uh, is just Phi-5.
• 1:21:01
  En dat ging erover dat je de Phi-modellen van Microsoft hebt, die allemaal opvallen omdat ze getraind zijn op sec synthetische data, dus enkel op synthetische data.
• 1:21:10
  En de, de, uh, de roddel, de rumor, whatever, hoe we dit willen noemen, is nu een beetje in de community dat OpenAI ervoor gekozen heeft om de open source series van GPT ex-exclusief te trainen op synthetische data om gedoe te voorkomen.
• 1:21:24
  Want als je natuurlijk zo'n model uitbrengt en met dat model kan je bewijzen in de rechtszaal dat ze rommel hebben gebruikt, dat, dat er de, dat er de opdracht gegeven is intern: train dat maar allemaal op open source.
• 1:21:34
  Heel even voor de luisteraar, mocht je het niet hebben meegekregen: OpenAI heeft dus nu, uh, eindelijk open [gniffelt] modellen, open weights, uh.
• 1:21:41
  Dus dat houdt in dat de gewichten te downloaden zijn en te draaien zijn op je eigen machine.
• 1:21:45
  Uh, de data die erin gegaan is hebben we niet, dus het is niet volledig open source, maar in ieder geval de belofte om modellen uit te brengen zoals we dat gewend zijn van bijvoorbeeld DeepSeek-R1 of de Llama-series vanuit Meta, is er nu ook een GPT OSS-serie vanuit OpenAI.
• 1:21:59
  Hoe kijk jij daarnaar, Rick? Wat, wat was je eerste reactie toen die uitkwamen? Valt het tegen of was je niet verbaasd? Of wat is je take? Uhm,
• 1:22:10
  kijk, dit is ook een beetje zo'n vraag van, dus ik denk dat er een kern van waarheid in zit.
• 1:22:13
  Wat, wat, wat een beetje de vibes als je het model gebruikt, uh, wat, wat voor gevoel je daarvan kan krijgen, is dat het een hele klinische dataset is waar die op getraind is.
• 1:22:25
  Dat wil niet zeggen dat de data waarop die getraind is— ik heb even voor de grap, uh, net, uh, de vraag gesteld: what is React?
• 1:22:31
  Dat is zo'n, uh, programmeerframework aan GPT OSS, uh, op Grok geweest natuurlijk, uh, gevraagd van wat ie dan zegt en, uh, daar geeft ie gewoon een supernuttig antwoord, weet je wel.
• 1:22:43
  Dus, uh, de informatie die, uh, synthetisch geproduceerd is, is nog steeds public webdata voor een heel groot deel. En het is gewoon vooral heel erg opgeschoond.
• 1:22:55
  Dus ik denk dat ze, ze hebben lang gedaan over het release van een open source model, omdat inderdaad een open source model veel scrutiny met zich meebrengt.
• 1:23:02
  En ik denk dus dat ze de sweetspot hebben gevonden van eigenlijk wat, wat, wat al eerder, zeg maar, de wens was van het publiek en de, en vaak ook, uh, overheden met regelgeving van hoe die labs modellen maken, dat ze veel gedetailleerder nagaan: wat stoppen we nou eigenlijk precies in de pre-training, uh, dataset en wa-waar trainen we daarna nog op verder op door?
• 1:23:25
  En ik denk dat je nu het resultaat ziet van een heel, uh, klinische benadering van het trainen van een model. En dan zie je toch dat, dat, ja, dat het een beetje het rauwe randje eraf is.
• 1:23:38
  En, uh, dat is ook, uh, een beetje het stukje creativiteit of een soort ve-verrassingseffect, of dat het met nieuwe ideeën kan komen. Een beetje die long tail, dat, dat lijkt er een beetje uit, uit in de vibes.
• 1:23:50
  Ze zijn een beetje saai. Ja, en dat is misschien ook gewoon de, het resultaat van als je dus, uhm, je moet beperken tot een subset van data waar je niet mee in de problemen komt.
• 1:24:01
  En dat is eigenlijk al wat er heel lang geroepen wordt, is dat als er, als er dan discussie is over het juridische punt van, uhm, is het fair use voor een modelmaker, voor een modelbouwer om te trainen op copyrighted content die online staat, maar wel publiek online staat, dus iedereen kan het gewoon bekijken, maar er heerst wel copyright op.
• 1:24:18
  Is het fair use? Is het transformative genoeg? En ik denk dat OpenAI nu heeft gewoon gezegd: we gaan aan de veilige kant zitten en dan zie je wat er gebeurt.
• 1:24:26
  Hè, dus we weten niet of dat helemaal precies zo waar is, maar ik denk dat van de kern van dat idee dat dat wel, uh, uh, standhoudt. Dat gezegd hebbende, ik heb het model gebruikt voor, voor vragen
• 1:24:39
  en, uhmOm, om gewoon een gevoel te krijgen bij wat kan het. En o-op het moment dat je het model combineert met nieuwe data in de context window.
• 1:24:49
  Dus je gebruikt tool calling om allemaal informatie op het internet op te zoeken via search engines en daarna krijg je een antwoord.
• 1:24:57
  Dan zit die soort van, uh, dynamische, echte unieke nieuwe informatie, die voer je er zelf in.
• 1:25:04
  Dus het model is heel geschikt denk ik voor systemen waarbij je zelf verantwoordelijk bent voor het, het, het, het invullen van die context window. En dat is belangrijker dan ooit bij dit model.
• 1:25:14
  Het kan heel goed met die content die je het geeft interessante dingen doen, maar zal het in zijn weight hele vette dingen hebben? Ja. Minder. Precies.
• 1:25:24
  Het is een discussie van: moet een taalmodel eigenlijk een soort van kennis hebben of kennis over patronen?
• 1:25:29
  Oftewel liever wat meer intuïtie over patronen om als kennis geleverd wordt iets juist te kunnen doen met die kennis dan heel veel achtergrondkennis, uh, om, uh, vervolgens een soort, uh, heel Wikipedia eigenlijk er ook nog in te hebben zitten, wat heel inefficiënt is en ook nog eens gedoe kan opleveren.
• 1:25:46
  Wikipedia is slecht voorbeeld, want daar zijn voor mij minder vragen over. Maar de hele New York Times herladen. De juiste take, dat is de take. En, en je ziet het natuurlijk de, de gast die, uh, of de, de, de, de,
• 1:25:58
  de, de persoon die verantwoordelijk was voor Phi is naar OpenAI gegaan en er zal dus vast een sterke, sterke hand van hem in, uh, hebben gezeten. Dus ik denk dat- Ik bedoel dat trouwens niet per se als een negatieve, hè.
• 1:26:10
  Ik bedoel, je kunt ook zeggen- Die Phi-modellen waren wel heel negatief ontvangen over het algemeen. Ja, klopt. Ja, goed, dat, dat, er zit-- ik bedoel het is geen compliment om te zeggen je bent Phi-5, zeg maar. Nee.
• 1:26:20
  Maar tegelijkertijd, als de afspraak is: we laten deze modellen heel goed zijn in, uh, kunnen werken met, uh, ja, just in time context. Hè, dus de informatie wordt net op tijd toegevoegd aan de context window.
• 1:26:33
  Uhm, en, uh, voor de rest is het gewoon iets wat weinig snapt of wijn-weinig weet, maar veel snapt. Laat ik het dan zo zeggen, dat dat misschien best wel een interessante weg is om in te slaan.
• 1:26:43
  Om tot het allerkleinste, meest efficiënte of een heel efficiënt klein model te zijn die niets weet, maar heel veel snapt.
• 1:26:49
  Ja, want er is wel veel kritiek en het is echt een soort, uh, paradox of een soort k-fundamenteel conflict waar mensen nog niet over uit zijn van: kun je intelligent zijn in een vacuüm, zeg maar.
• 1:27:00
  Kan je alleen maar een soort axioma in je hoofd hebben? D-d-d-het is gewoon, kan je het, kan je, kan je intelligentie lostrekken van al die feitenkennis? Of is heel veel van die feitenkennis ook nodig?
• 1:27:12
  En ik denk dat, uhm, mensen een beetje proeven dat zo'n model wat op de manier getraind is zoals al die andere modellen getraind worden, maar met minder kennis voelt out of the box n-minder nuttig.
• 1:27:25
  En dat, dat is denk ik een redet, redelijk goede conclusie. Maar dit model is ook extreem agentic in de zin van het kan tool calling doen en nog meer tool calling en nog meer tool calling en daar dan chocola van maken.
• 1:27:36
  En dus denk ik dat als je het op de juiste manier vasthoudt. [lacht] If you hol-, if you're holding it wrong, it will be bad. If you're holding it right, it could do pretty useful stuff.
• 1:27:45
  En dat is een beetje de conclusie, denk ik. Voordat we afronden, want we hebben best wel wat gezonden al naar de mensen. Jij zei net even, uh, trots: het draait op Groq.
• 1:27:52
  Groq met een q, hè, want dat was nog een ding waar ik me eigenlijk minder, waar ik minder bij stil had gestaan is, is natuurlijk het feit dat als OpenAI die modellen releaset met een license erbij, Apache 2 uit mijn hoofd- Ja.
• 1:28:04
  Uh, waardoor je dit ook gewoon commercieel kunt inzetten.
• 1:28:08
  Dat de partijen zoals Groq, Cerebras, uh, nou ja, en anderen trouwens Bedrock, Amazon, noem ze allemaal maar op, dat die ook allemaal in hun rijtje waar nu DeepSeek, Llama en Qwen stond ineens ook GPT-OSS staat en je, want dat is nog het allerbelangrijkst, die gestoorde inference speed krijgt met 1.000 tokens per seconde.
• 1:28:26
  Want ik moet zeggen, het eerste wat ik deed was Groq in, in een IDE koppelen en kijken wat er gebeurt als je agentic gaat programmeren, als de tokens je gewoon om de oren vliegen.
• 1:28:35
  En ik, dat vond ik wel even een momentje dat ik dacht: ah, snelheid is dus blijkbaar ook nog wel een variable waar, uh, waar we nog kunnen winnen met elkaar.
• 1:28:43
  Ja, en dat, dat is, uh, w-waarbij je ziet dat het ecosysteem zich op meerdere assen ontwikkelt. Je hebt, uh, inference waarbij er partijen zijn die niet zozeer bezig zijn met de modellen.
• 1:28:54
  En het bedrijf waar ik voor werk, Groq, dat, die is daar mee bezig. Maar er zijn heel veel partijen, dus er is heel veel concurrentie om die inference markt goed te bedienen.
• 1:29:02
  En als er open source modellen zijn, dan zie je dat, ja, dan kan je je helemaal specialiseren op puurheid. Hoe draai je die modellen het beste? En dan kan je dingen doen die OpenAI gewoon niet voor elkaar krijgt.
• 1:29:13
  Zoals wij runnen nu, ik, di-deze what is React query runt met 1.200 tokens per second en GPT-OSS haalt voor duidelijkheid 60% op die SWE-bench verified.
• 1:29:25
  Dat is, ja, minder dan 75%, maar dat is nog steeds- Een prima sparringpartner. En prima voor heel veel programmeertaken. Ik bedoel, als jij simpele dingen programmeert, dan heb je er heel, heel veel aan.
• 1:29:35
  Dus ja, ik denk dat, uhm, i-ik denk dat het voor OpenAI een heel interessant, uhm, strategisch ding is geweest en het is heel multidimensionaal.
• 1:29:46
  Ik denk dat mensen willen liever voor OpenAI werken nu er ook echt een open model is.
• 1:29:50
  Uh, er zijn, uhm, er zijn ook wel, zeg maar geopolitieke dingen aan de hand met als China heel erg de overhand krijgt met, met innovatie doordat zij de als enige echt goede dingen open sourcen.
• 1:30:03
  Uhm, wat doet het dan met de zwaartekracht van het ecosysteem? Wat zijn de soort second order gevolgen van dat soort, van zo'n realiteit?
• 1:30:10
  En dus ik, ik kan niet precies spreken voor waarom OpenAI dit model gereleased heeft, maar ik vind het wel een indrukwekkend model en het is echt nuttig.
• 1:30:17
  Het is gewoon, het is niet een, het is niet een soort fake release. Nee, ik snap hem. Wat een beetje geroepen werd, uh, net na de release van dit. Niemand wilde dit, maar ze moesten of zo.
• 1:30:27
  Terwijl, daar hebben ze wel veel moeite voor gedaan als het de moeite was. Dat klopt niet helemaal met wat er nu uitgebracht is.
• 1:30:33
  En verwacht je dan ook, nog een laatste vraag, uhm, dat hier net als bij de Llama-serie en andere modellen een soort van heel ecosysteem gaat ontstaan.
• 1:30:41
  Allemaal fine tunes en a-- ik bedoel, tuurlijk zijn er al allemaal quants gemaakt en dat zie ik al nu gebeuren, hè, maar dat, dat er echt een soort, uh, 10%Beter presterende versie gemaakt wordt door een groep die open source ontwikkelaars die het model doorpakken Dat denk ik wel.
• 1:30:57
  Ik denk echt dat er op grote schaal, want de, de, de soort technologische ecosystemen, de, echt de, de frameworks voor training en voor reinforcement learning, dat is ook allemaal een stuk volwassener.
• 1:31:08
  Uh, dus er zijn nu echt gewoon mensen die pluggen gewoon hun bestaande training, uh, infrastructuur die gewoon konden zeggen: ik heb een model en train dat model nu op mijn use case.
• 1:31:19
  Veel meer mensen hadden al zo'n harnas traas, klaarstaan nu dan ooit tevoren. En die kunnen zo dit open source model pakken en kijken: even kijken hoe goed dit op OpenAI doet.
• 1:31:28
  En ik denk dat daar ga je wel zien dat mensen door kunnen bouwen op deze modellen.
• 1:31:33
  Maar nogmaals dan, dat vereist als je echt die modellen wil aanpassen voor je use case, dat vereist best wel veel expertise en data en, en dat is, ja, er is wel gewoon een beter model wat je ook kan krijgen.
• 1:31:43
  Dus ik denk dat je, u-het g-, het grootste deel van de mensen die kijkt gewoon kan ik met prompting, met gewoon mijn vraag op de juiste manier stellen aan het open source model, gewoon uit de voeten met dit model voor bepaalde features in mijn software of voor bepaalde code taken die ik doe, die ik gewoon het liefst zo goedkoop mogelijk wil hebben.
• 1:32:00
  En er zijn een aantal mensen die gaan kijken naar hoe kan ik dat model nog, nog verder pushen in de capability, zeg maar voor een, een, een meer spe-gespecialiseerde use case waar ze unieke data tot hun beschikking hebben om het op te finetunen, op reinforcement tuning of zo te doen.
• 1:32:15
  Uhm, maar dat is voor een selecte groep wegge-weggelegd denk ik.
• 1:32:20
  De meeste mensen kunnen of gewoon out of the box dit gebruiken en, uh, het is goed out of the box en, uh, of, of kijken naar nog, uh, nog betere modellen die dan niet open source zijn. Vet man!
• 1:32:32
  Dank je wel voor, uhm, alles. Het was een hoop. Uh, ik denk als je een graph zou laten tekenen van wat we aangeraakt hebben, dat het best wel [lacht] best wel veel is. Uhm, ja, laten we kijken man.
• 1:32:43
  Als er, als er een Gemini 3.8, ik bedoel die komt. Ja, zeker. En als het groot is, uhm, zou ik je graag, uh, nog eens erbij trekken man. Ja, ik ben heel benieuwd.
• 1:32:51
  Ik kijk met, uh, met heel veel interesse naar alle releases die er dit jaar nog gaan, uh, plaatsvinden, want het is, uh, echt fascinerend. Thanks man! Spreek je. Hoi! Hoi.
• 1:33:06
  [afsluitend muziek]