Latest / AI Report / Zeskoppige start-up kraakt 'onmogelijke' AI-test + Sam Altman haalt GPT-5.2 naar voren + MCP gaat naar non-profit
Transcript
- 0:00Welkom bij AI Report, de Nederlandse podcast over kunstmatige intelligentie waar we uitzoeken welke invloed AI heeft op ons werk, ons leven en de samenleving.
- 0:08Met deze week: er is een enorme sprong op de belangrijkste test die meet hoe ver we zijn in de ontwikkeling van AGI. En dat is dus het idee dat computers 95% van het kenniswerk kunnen overnemen.
- 0:20Op die test, dat meten, uhm, gebeurt normaal een grote sprong naar voren als er een nieuw groot model van een AI-bedrijf uitkomt, zoals we recent zagen met Gemini 3 Pro van Google.
- 0:32Maar er is deze week ook zo'n enorme sprong gemaakt en dit keer komt het niet van een groot AI-bedrijf, maar van een startup van zes nerds. Daar gaan we het over hebben.
- 0:41Natuurlijk blijven nieuwe modellen wel gewoon uitkomen. We verwachten deze week GPT-5.2 in ChatGPT en Wytse is bij voorbaat al kritisch. Nou, dat ga je dadelijk horen.
- 0:51En we tippen een geweldige AI-tool die je nu al kunt inzetten om delen van je werk te automatiseren. Ik heb hem geprobeerd. Het is fantastisch. Dat en meer in AI Report. Veel plezier.
- 1:02[muziek] Wytse, ik volg dus op LinkedIn heel veel van die marketingmensen en die van reclamebureaus en die delen nu deze week allemaal stuk voor stuk achter elkaar hun kerstcommercials.
- 1:20Dat schijnt een ding te zijn inmiddels bij marketingbureaus. Waar zij aan meegewerkt hebben, die uit hun stal komen, zeg maar. Precies. En dat zijn dit jaar voorspelbaar genoeg veel met AI gegenereerde kerstcommercials.
- 1:30En gaat dat dan met trots of juist een beetje verstopt? Uh, nee, daar zit wel, daar zit enige mate van trots in. Ja, uh, we zagen het bij Coca-Cola als eerste natuurlijk.
- 1:41Dat was internationaal, maar ook in Nederland heeft McDonald's voor Nederland een met AI gemaakte kerstcommercial gemaakt. En wat ik, en dat is niet de enige. Er zijn er meer.
- 1:50Dit is dus een trend, zou je kunnen zeggen, met AI kerstcommercials maken.
- 1:55En ik vind het altijd grappig hoe ze erover praten op LinkedIn, want er wordt toch een beetje met omhalen wordt er dan bij gezegd, soort van: ja, we experimenteren en belangrijk om, uh, te innoveren.
- 2:05Dus, d-d-we, er worden wel wat kanttekeningen bij geplaatst, zeg maar.
- 2:08De, de kritiek is natuurlijk ook voorspelbaar, maar wat tegelijkertijd gebeurde was dat ik weer een ander reclamebureau zag die heel erg juist trots, uh, ging doen met het tegenovergestelde.
- 2:16Namelijk: wij hebben de hele commercial gemaakt met klei en stopmotion. Ja, Wallace en Gromit, van die iedere keer een klein fotootje en dat klei dingetje een klein beetje aanpassen.
- 2:25En als je het allemaal achter elkaar plakt, dan beweegt het. En dat kun je natuurlijk niet los zien van de tijdsgeest.
- 2:31En die andere reclamebureaus die allemaal AI-gegenereerde commercials aan het maken, maar dat je dus je kont tegen de krib gooit en dat je daarmee ook iets probeert te zeggen.
- 2:38Een soort van: kijk ons eens heel moeilijk gedaan hebben. En ik vind het een grappig, grappig moment in het tijdsgewricht. Want die kerstcommercials, die zijn allemaal, zijn wel oké.
- 2:50Uh, ik denk niet echt dat, uh, soort van we over 20 jaar er aan terug gaan denken: nou, dat was een leuke commercial die McDonald's maakte voor de kerst,
- 2:58maar het is ook weer niet slecht en het, je zit er als kijker toch naar te kijken en denk je: ja, oké, het is met AI gemaakt, dat zie ik zelf ook wel. Het wordt steeds beter, snap ik ook wel.
- 3:09Het is een beetje een raar moment dat, dat, dat dus met de hand dingen nu maken nu op een, op een of andere manier ook betekenis hebben. Het heeft zeggingskracht.
- 3:17Het is natuurlijk ook nog dat ik denk dat vanuit marketing, dat is volgens mij wat Coca-Cola deed, want dit is hun tweede of derde al volgens mij met AI gemaakt.
- 3:24Hij wordt dan ieder jaar een beetje beter qua output, qua kwaliteit. Ja. Uh, maar er zit ook een beetje in van: AI is nu het ding. Als we het met AI maken, dan is het nieuws dat het met AI gemaakt is.
- 3:35Het is een beetje, beetje, het is gewoon marketing, zeg maar. Precies, mensen gaan erover praten, daardoor. Ja, dus enga-, whatever the engagement is, engagement is engagement.
- 3:43Om het eventjes, uh, [gniffelt] op marketingniveau te zeggen. Ik vind wel, ik ben, ben dus wel benieuwd in hoeverre dat dan, dat trucje gaat op een gegeven moment niet meer werken.
- 3:52En, hè, als in: het is gewoon niet meer interessant. Dat het met AI gemaakt is. Nee, want dat, dat is nu interessant omdat het zo'n onderwerp is.
- 3:58Maar kan me voorstellen- En het nog wel een beetje moeilijk is om een commercial uit te maken. Trots zeggen van: moet je kijken wat ons desondanks de matige kwaliteit van de output toch gelukt is om te maken.
- 4:07Als een soort trots op met mindere middelen toch iets te doen. En het is AI en dat creëert die engagement. Maar aan, ik ben wel benieuwd, dat is niet houdbaar. Nee.
- 4:18Uh, in hoeverre de minder enthousiaste engagement hier omheen op een gegeven moment niet een soort van, uh, uh, hoe zeg je dat, de weegschaal een beetje doet, doet draaien weer. Kijk, nu kan je zeggen,
- 4:30ook al is er best wel een vocale groep mensen die zegt: ik doe liever kijken naar een, uh, reclame van, uh, kleipoppetjes, hè, want dat is artis- Dat voelt beter.
- 4:39Daar word je in je hart iets warmer van dan het idee dat er GPU-cycles hebben staan draaien. Precies. Het is een heel mooi contrast tussen die twee.
- 4:46Uhm, of dan niet de, ja, de, het anti-sentiment richting die AI-gegenereerde reclames op een gegeven moment zwaarder gaat wegen omdat de novelty, de nieuwheid, de innovatie- Is dit jouw voorspelling van volgend jaar?
- 4:56Volgend jaar zijn er geen AI-commercials. Ja, wacht even, dat weet ik niet.
- 4:59Maar ik kan me wel voorstellen dat ik, als je nu bij Coca-Cola zit, dan zitten daar ook mensen aan tafel die zeggen: moeten we dit niet juist niet doen? Ja.
- 5:06En waar een andere groep zegt- Dat is wat, d-dat die klei-commercial is. Ik kan daar niet anders, iets, niet iets anders in zien dan een statement. Absoluut een statement, ja.
- 5:13Maar dan is de vraag volgend jaar, als we VO4 hebben en, en die reclamebureaus allemaal weer voor diezelfde taak zitten: we moeten een kerstcommercial hebben waar mensen over gaan praten.
- 5:22Gaan we dan nog de moeite nemen om die klei-reclame met de hand te maken?
- 5:25Of is het, het feit dat er dan geen verschil meer zichtbaar is, even voorspellend dat dat het geval gaat zijnUh, is dat dan, uh, is het dan nog de moeite waard om met de hand een kleine commercial te maken als je het verschil echt niet meer ziet?
- 5:37Nou ja, dan kan, dan zou je nog de moeite waard kunnen zijn dat de making of video, dat is ook een beetje- Ja. Je hebt allemaal van die meta content tegenwoordig. Ja.
- 5:43Ik merk het bij mezelf ook dat ik het vaak, dit was vroeger al met DVD specials en extended director cuts, dat je het, dat ik het in ieder geval leuk vond om te luis-, de film nog een keer te kijken terwijl de, de, de, de director meekletst.
- 5:55Ja. Hè, dus die meta content, dat was altijd al een ding. Maar ik kan me voorstel-, dit zie je nu ook bij al die robotvideo's. Dan zijn er allemaal robotvideo's en dan moeten er video's gemaakt worden van de making of.
- 6:04En ik heb er laatst één gezien. Dat was de video van de making of making of. [lacht] Nee, nee, nou ja, serieus, want dat, het ging over dat, volgens mij ging een robot ging iemand in elkaar schoppen of zo.
- 6:13Best wel intens beeld, als in als, uh, reclame. Toen werd er een video uitgebracht. Die la-lag al klaar van de making of, omdat ze al dachten: dit gaat niemand geloven, zeg maar.
- 6:21Dat was om te laten zien dat je een soort boxer, de vechtende robot had. En toen lag er ook alweer een video klaar van het maken van de making of.
- 6:27En ik denk, [lacht] ik kan me wel voorstellen dat als er volgend jaar twee commercials uitkomen, allebei met kleipoppetjes. Ja. De een is VIO4 en de ander hebben mensen 4.000 uur in gestoken of zo.
- 6:37Of in ieder geval 400 minimaal. Ja. Dat dan bij die tweede er een making of en de making of van de making of bij moet om die weer gewicht te geven. Het blijft boeiend hoe we AI in onze cultuur gaan opnemen.
- 6:49Dat is een, uh, dat is een groot thema. Daar gaan we ongetwijfeld volgend jaar nog heel veel over praten. Dit jaar was AI Report opnieuw de best beluisterde podcast over AI van Nederland. Gefeliciteerd, Wytse.
- 6:57Ja, jij ook. Uh, daar zijn we heel trots op en het geeft ons ook energie om nieuwe plannen te maken voor volgend jaar.
- 7:02We hebben ruimte voor nieuwe sponsoren die zich willen verbinden aan onze podcast en aan onze luisteraars. En dat zijn, weten we uit ervaring, veelal beslissers uit het bedrijfsleven.
- 7:10Als je daar interesse in hebt, in dus sponsor worden van deze podcast, dan kun je de link checken in de omschrijving en dan videobellen wij snel. We gaan naar het nieuws, Wytse.
- 7:21[muziek] Want in strijd met Google parkeert OpenAI de nieuwste snufjes en focust het weer op wat er toe doet: de volgende update van grote modellen. En er komt nu eerst een kleine update als tussenversie.
- 7:34GPT-5.2 kun je verwachten en die wordt waarschijnlijk naar voren gehaald. Zo gaan de geruchten. Oorspronkelijk gepland voor eind december, maar nu waarschijnlijk al deze week. Misschien zelfs wel als je dit luistert.
- 7:45OpenAI testte recent reclame in ChatGPT. Dat is dus een gebrek aan focus, uh, denkt Sam Altman nu. Uh, betalende gebruikers gingen gelijk klagen en die functie is daarop uitgezegd, uitgezet.
- 7:57En het valt allemaal een beetje samen met die intern afgekondigde code rood bij OpenAI in verband met de strijd met Google.
- 8:05Dat betekent dus ook dat die advertentieplannen in ChatGPT, uh, naar de lange baan zijn geschoven tot de basis eerst op orde is. Claude Code komt naar Slack.
- 8:15Dat is een, uh, Claude Code is een vibe coding tool, gebouwd op het razend populaire AI-model Claude.
- 8:21En vibe coding betekent natuurlijk dat je samen met AI kunt programmeren door gewoon te beschrijven wat je wil, in plaats van dat je per se moet kunnen programmeren.
- 8:28En nu komt er dus deze functionaliteit naar een programma dat heel veel mensen gebruiken op hun werk.
- 8:33Je kunt in een chat met een collega dan zeggen dat je iets wil debuggen en dan Claude erbij taggen zoals je normaal een collega tagt en dan pakt het model dat voor je op.
- 8:42En dat is misschien belangrijker dan dat het klinkt, want het toont hoe AI integreert in onze alledaagse programma's.
- 8:49Andere populaire tools zoals Cursor en GitHub Copilot bieden ook al Slack integraties en de strijd gaat hier niet meer over welk model het beste is, maar wie het beste en het diepst integreert in de workflow die je al gebruikt.
- 9:01Een zeskoppig bedrijf genaamd Poetic is als eerste ter wereld door de 50%-grens gebroken op de ARC-AGI2 Challenge.
- 9:09Dat is een test die binnen de AI-wereld geldt als de ultieme lakmoesproef voor menselijk, uh, intelligentie, uh, niveau. De test meet waar AI slecht in is en waar mensen juist goed in zijn.
- 9:21Nieuwe onbekende problemen oplossen zonder terug te vallen op voorbeelden waar, wat het ding eerder heeft kunnen zien.
- 9:28Zes maanden geleden scoorden de beste modellen nog onder de 5% en mensen halen daar ondertussen dus moeiteloos 60%. Voor mensen is het makkelijk, voor AI is het moeilijk.
- 9:37Maar het bijzondere is dat Poetic geen eigen model bouwde en toch de boel versloeg. Ze gebruikten Google's, uh, Gemini 3 Pro en maakten daar slimme software omheen.
- 9:47En het resultaat is dat het beter scoort op die belangrijke test dan Google's eigen topvariant. Voor ook nog eens de helft van de kosten.
- 9:56En dat laat zien dat vooruitgang op dit moment niet alleen komt van bedrijven die miljarden uitgeven aan het trainen van nieuwe modellen, maar ook door dit soort slimme zetten van kleine groepjes nerds.
- 10:06We gaan het er straks uitgebreid over hebben. En Anthropic, OpenAI en Block bundelen hun krachten voor open AI-standaarden. Zo maakte Anthropic deze week bekend. Het bedrijf doneert het Model Context Protocol.
- 10:18Dat is een universele standaard waarmee AI-applicaties met elkaar of externe systemen kunnen communiceren. Aan een foundation, een stichting die valt onder de Line, uh, de Linux Foundation.
- 10:31Dat is een non-profit die open source projecten beheert en zorgt dat geen enkel bedrijf de controle krijgt. Het is allemaal heel, uh, uhm, gezellig. En de cijfers tonen aan waarom dit relevant is.
- 10:41Meer dan 10.000 actieve MCP-servers hebben we op dit moment. Het is een standaard die is geadopteerd door eigenlijk alle grote, uh, makers van taalmodellen en er worden ontzettend onwaarschijnlijk veel MCP-calls gedaan.
- 10:54Het is inmiddels een, nou ja, belangrijke bouwsteen voor hoe AI-systemen met externe software werken. En ook Google, Microsoft, AWS en Cloudflare, allemaal grote partijen, steunen dit initiatief.
- 11:08Dit is best wel cool, Wytse. Ja, en best wel snel gegaan, want onze MCP-aflevering is denk ik een jaar oud nu max. Ja, toch nog even: wat is MCP? Nou, je zou het HTTP kunnen noemen van, dan zeg jij: wat is HTTP?
- 11:19Ja, precies, het maakt niet beter. Taalafspraken tussen partijen, zodat je in dezelfde taal data naar elkaar kunt sturen. Het is een koppeling. Ja. Zodat je, zodat je bij-bijvoorbeeld in ChatGPT met Notion kan praten.
- 11:31Ja. Als je Notion gebruikt. Of Moneybird. Of Moneybird. Noem het maar op. Ja. En eigenlijk is het, we hadden dit al in de vorm van API's. Alleen API's waren bedacht voor ontwikkelaars om met externe systemen te praten.
- 11:40En hier gaat het om AI agents of AI-systemen die met externe systemen praten. En dan heb je ook nog wat meer veiligheid nodig.
- 11:48En het is gewoon prettig als je een beetje van elkaar weet hoe je dat doet, want dan kan jeVoor de eind eindgebruiker wat makkelijker die hele plug-in directory maken.
- 11:56Namelijk dat jij in ChatGPT kan zeggen: ik wil mijn Google Drive, ik wil mijn Canva, ik wil mijn dingetjes, mijn Figma. Ik wil icoontjes koppelen als een soort appstore.
- 12:03Het klinkt allemaal heel ingewikkeld, maar het heeft hele praktische, uh, gevolgen. Want daardoor kun je dus in je ChatGPT letterlijk vragen om de verwarming harder te zetten als je die koppeling maakt.
- 12:14Nou, dit was een protocol wat is bedacht door Anthropic. Die hebben dus, uh, ja, die zijn ermee begonnen en dat is heel snel overgenomen door grote concurrent OpenAI en Google.
- 12:26Ja, toen eigenlijk volgens mij, uh, was Google eerst, maar toen uiteindelijk één grote speler ook meedeed en op een gegeven moment is het eerst, het tweede schaap over de dam zou je moeten zeggen en dan gaat het hard.
- 12:36En dan gaat het nu ook nog eens in een open source foundation. Ik vind het verdacht, uh, ja. Ja, het is, nee, maar goed.
- 12:43Ik denk dat- Onvoorstelbaar dat deze grote commerciële bedrijven nu iets, een zo'n belangrijke standaard in een non-profit parkeren.
- 12:49Nou, misschien is goed, goede achtergrondinformatie is dat het A2A-protocol, namelijk agent to agent, wat door Google bedacht is, dat is weer bedacht om agents met elkaar te laten praten.
- 12:59Dat dat ook al in de, in de community gegooid was, zeg maar, of gezet was. Dus in essentie kan, zou je kunnen zeggen dat als Google dat schaakstuk naar voren schuift, dat Anthropic eigenlijk mee moet gaan schuiven.
- 13:09Dus, uh. Maar waarom doen ze dit? Nou, uiteindelijk is het in ieders voordeel. Het is, hè, het is, het is, je zou het een soort van positieve, uh, collusion kunnen noemen.
- 13:18Het is een soort van, uh, uh, samenwerken, uh, voor de markt.
- 13:22Omdat, als jij elkaars protocollen ondersteunt, zorgt dat ervoor dat de portabiliteit, dus het mee kunnen nemen van het één en het andere, uh, binnen het systeem groter wordt.
- 13:31En dat opent dan eigenlijk, hè, normaal dwingt de Europese Unie dit soort dingen af, hè. Dus ik denk dat jij ook een beetje verbaasd bent dat ze het zichzelf aan het opleggen zijn.
- 13:38Uh, ik bedoel, ik denk dat het, dat de voordelen om samen te werken tussen alle partijen en hun agents en hun developers en hun, uh. Groter is dan als ze het allemaal voor zichzelf zouden houden.
- 13:48De nadelen over— Ik bedoel, er zit een enorme lock-in neiging bij die grote partijen, hè, om te zeggen: uh, je hebt het, uh, nou, laten we voor het gemak Google nemen, die A2A, agent to agent maakt, helemaal beheert.
- 13:59En, uh, als je mee wil doen moet je naar Google luisteren, zeg maar. Dat is in hun voordeel, maar het is om het te laten adopteren door de industrie in hun nadeel.
- 14:06En je, je merkt gewoon dat voor jouw concurrenten om mee te doen aan jouw plan, dat dat in een non-profit stoppen en in dit geval zelfs onder een derde partij te leggen die best wel gewend is, de Linux Foundation bestaat al best wel lang, om, ja, een soort shepherding, hè, een soort herder te zijn van dit soort, uh, uh, afspraken.
- 14:25Ja, de Linux Foundation beheert de, ik neem aan de code achter Linux? Onder andere en heel veel standaarden daarin. Het gaat vooral om protocollen eigenlijk. Dus je hebt, uh, kijk, uiteindelijk is het implementaties.
- 14:37Dat is code. Dat mag je redelijk zelf weten hoe je het implementeert. Zijn ook wel een beetje regels over, maar het is vooral: hoe, wat kunnen we van jou verwachten? Als we met jou praten, wat zeg je dan terug?
- 14:46En als we deze 20 dingen aan jou vragen, verwachten we het ook in dit formaat terug.
- 14:50Het is bijna hartverwarmend hoe deze bedrijven bij elkaar gekomen zijn rond kerstdagen om te zeggen: weet je wat, we hebben hier iets heel waardevols in handen. We stoppen het in een non-profit.
- 14:57Luister, het hele internet is gebouwd op dat soort standaarden en die zijn vaak ook spontaan ontstaan en later, uh, in een werkgroep gegroeid.
- 15:04Alleen werkgroepen krijgen mensen vaak zenuwachtig van, omdat ze dan denken: nou, daar gaat MCP. Als in: dit staat nu voor altijd stil.
- 15:09Terwijl, dus, hè, als in, als het eenmaal een soort bureaucratisch, uh, democratisch proces is binnen een stichting, kan MCP dan nog doorgroeien?
- 15:17Hè, want toen alleen Anthropic het deed, waren het misschien vijf mensen bij Anthropic. Hè, dat gaat een stuk harder. Ja, ja, nu moeten ze maar overleggen.
- 15:22Ja, maar je zou ook kunnen zeggen: als je eenmaal op de 1.0 bent, hè, dus alle, de foundations, de fundamenten liggen, dan is er een moment dat je het overdraagt.
- 15:30Nou, er is nog meer hartverwarmends, namelijk Marjan en Lucas van Dept. [muziek] Hi, hier marketing- en techbureau Dept. Elke week bespreken we hoe wij merken helpen in de wondere wereld van AI.
- 15:41Deze week gaan we het hebben over AI guardrails om consumenteninput te controleren op niet-toegestane inhoud, zodat we AI veilig kunnen gebruiken in hun merkervaring. Lucas, vertel.
- 15:51Ja, nou, je moet er niet aan denken dat iemand bijvoorbeeld met je chatbot begint te praten, uh, en daar zijn, uh, politieke voorkeuren begint te venten en jouw chatbot een vrolijk gesprek daarover begint.
- 15:59Nou, om die reden hebben we voor een wereldwijd FMCG-merk een oplossing gebouwd die ervoor zorgt dat AI consumenten één op één kan helpen, maar wel allemaal binnen de veilige merkconforme grenzen.
- 16:09Interessant, want het gaat best wel vaak fout nog toch? Ja, we kennen allemaal de voorbeelden van AI's die beginnen te hallucineren of, uh, uh, uh, iets te ver meegaan met iemands, uh, uh, politieke mening bijvoorbeeld.
- 16:20Uh, en dat is niet gek, want je hebt gewoon weinig controle natuurlijk over wat consumenten allemaal kunnen invoeren. Denk bijvoorbeeld aan scheldwoorden, gevoelige data of politieke statements die we net al noemden.
- 16:28En die wil je gewoon niet in je merkervaring hebben. Uhm, daarom hebben we AI guardrails ontwikkeld.
- 16:32Eigenlijk is het een laag van slimme controles die je over het inputveld legt en die kijkt realtime of wat er gezegd wordt, uh, uh, wel of niet binnen de, uh, de guardrails valt.
- 16:42En pas als die het sein 'veilig' geeft, gaat de rest van de AI aan de slag met het, uh, formuleren van het antwoord, waardoor we ervoor kunnen zorgen dat het supermenselijk is, één op één, maar ook veilig. Check.
- 16:53Hé, en kunnen merken dit makkelijk toepassen ook? Ja, het vraagt natuurlijk altijd werk, hè. Te beginnen met dat je moet bepalen wat wel of niet mag.
- 16:59Nou, ik denk dat 90%, uh, logisch is wat niet mag, maar er is altijd die laatste 10%. Denk aan, uh, welke concurrent je wel of niet wil meenemen, et cetera. Uhm, dan ontwikkelen we of trainen we het model.
- 17:09Dat moeten we een aantal keer testen, uh, maar het goede is: de tech is volwassen en ook heel goed te trainen.
- 17:14Dus ja, eigenlijk elk merk dat AI wil inzetten in klantinteractie of service of campagnes, uh, kan dit gaan toepassen.
- 17:21En het maakt AI niet alleen veiliger, maar ook vaak consistenter, omdat je beter traint op, o-op je merk, uh, en daarmee ook schaalbaarder. Yes. Kortom: niet afwachten, maar doen.
- 17:30Wil je weten hoe jij AI-interacties kunt opschalen zonder risico voor je merk? Kijk dan naar deptagency.com/aireport. Tot volgende week. [muziek] Je hoorde het net in de intro al even.
- 17:43Een zeskoppig bedrijf genaamd Poetic met een Q is als eerste door de 50% grens gebroken van de ARC-AGI2 Challenge.
- 17:52Dat is een test die binnen de AI-wereld geldt als de ultieme meetlat voor AGI, uh, algemene kunstmatige intelligentie. Dat is groot nieuwsLaten we eerst even opfrissen wat die ARC-test ook weer is.
- 18:03Dat is een test die is bedacht door ene François Chollet. Chollet. Chollet? Volgens mij. En dat is een AI-onderzoeker en die vindt dat we veel te makkelijk roepen dat AI intelligent is.
- 18:14En daarom ontwierp hij puzzels die meten waar AI slecht in is en waar mensen goed in zijn.
- 18:19Het zijn dus nieuwe, onbekende problemen die opgelost moeten worden door die AI, uh, zonder dat ze kunnen terugvallen op eerder geziene voorbeelden. Het zijn dus geheim, geheime testen voor een deel.
- 18:30Uh, vaak visuele puzzeltjes waarbij je moet ontdekken welke logica er achter een patroon zit. En die moet je dan vervolgens toepassen op een nieuwe situatie.
- 18:37Dat zijn, dat klinkt allemaal heel abstract, maar het zijn gewoon testjes die voor mensen te doen zijn, maar voor een computer heel lastig. Als je luistert en denkt: waar gaat dit over?
- 18:43Dan ka-- en je hebt bij de kerst, tijdens de kerst. Nou, dit is nou een leuk ding. Sommige mensen doen de AIVD-kerstpuzzel, maar er zijn ook mensen die doen de ARC-AGI2 Challenge.
- 18:52Misschien is dat iets wat wij kunnen doen onder de boom, Wytse. [lacht] Jij eerst. Ik hoor het wel van je. Vorig jaar werd de eerste versie, uh, van die test, de ARC-AGI1, verslagen door OpenAI's redeneermodel o1.
- 19:05Weet je nog? Uh, dat haalde ruim 75% in de zuinige modus en zelfs 85% met meer rekenkracht. Met extended thinking, zoals dat tegenwoordig heet. En experts riepen op een gegeven moment dat die test was gekraakt.
- 19:18Maar, s-, uh, Chollet zat al stilletjes te broeden op een nieuwe, veel moeilijkere versie. En dit voorjaar lanceerde hij dus de versie nummer 2. En de resultaten zetten de AI-wereld weer met beide benen op de grond.
- 19:29Want mensen scoren gemiddeld 60% op die test, maar een panel van, en een panel van experts, dus echt gewoon de echt slimme mensen, uh, haalt 100%. Dus gemiddelde mens 60% en echt, uh, slimme mensen 100%.
- 19:40OpenAI's beste model o3 op dat moment kwam niet verder dan 4% en het kostte $200 per taak om dat ding te laten broeden. En gewone taalmodellen op dat moment, zoals GPT 4,5 scoorden 0%.
- 19:55Nou, negen maanden lang bleef die kloon bestaan. Geen enkel model kwam ook maar in de buurt van die menselijke scores. En voordat we naar Poetic gaan, want die hebben dus weer een belangrijke slag geslagen.
- 20:06Waarom, Wytse, is deze test zo moeilijk voor AI? Nou, wat je eigenlijk, wat het idee, de,
- 20:13is van, v-van François Chollet, de, is dat taalmodellen, omdat het statistische modellen zijn, zijn ze echt goed in het gokken op iets wat ze al eerder hebben gezien.
- 20:24Maar wat onderdeel is van intelligentie, in ieder geval, dat is het hele debat, is: kan je ook dingen die je hebt geleerd op A toepassen op B? Ja. En dus kan jij, uh, een totaal nieuwe situatie ineens ook begrijpen.
- 20:37Of in ieder geval pogingen doen, leren van die pogingen en eigenlijk in het moment uitvinden door experimenteren wat bijvoorbeeld kinderen doen. Gewoon een beetje rommelen ermee, iets nieuws leren in het moment.
- 20:50Wat je eigenlijk doet, is: je hebt al een stukje bestaande kennis op een, uh, ander, binnen een ander domein bijvoorbeeld. Of je hebt een eerdere versie van een puzzel gezien die er een beetje op lijkt.
- 20:59Maar kan je dan ook de stap maken om te denken: maar wacht even,
- 21:03als ik hier een beetje mee ga rommelen, krijg ik het dan niet voor mekaar om al mijn eerder geleerde dingen plus de nieuwe deer-, dingen die ik leer tijdens het puzzelen toch die puzzel te kraken? M-hm.
- 21:12En wat tot nu toe de eerdere modellen, of ze nou multimodaal zijn, hè, dus dat ze mee kunnen kijken, visueel of alleen maar tekst voorspellen.
- 21:18Hè, soms werden de puzzels eerst omgezet in tekst, dan gegokt in tekst en dan weer terug. Of dus- Gingen beschrijven wat de puzzel was om hem dan op te lossen. Ja, want die kon niet kijken, zeg maar. Hij kon niet echt.
- 21:28Hij kon wel kijken om het te beschrijven, maar hij kon niet kijken om te denken. Kijken, precies. Ja, bizar. Inmiddels hebben we natuurlijk die omnimodellen of die multimodale modellen.
- 21:36Toen gingen die scores van ARC-AGI2 dus ook heel erg omhoog. Ja. Want je kon eigenlijk een soort bredere, tussen aanhalingstekens, intelligentie inzetten. Het was minder compressed ook. Ja, en je hoeft, precies.
- 21:46En het, niet alles. Kijk, die, t-, uh, puzzeltjes zijn zo ontworpen, eigenlijk expres. Ja. Het is, het is alsof jij, uhm,
- 21:55een student in je klas hebt zitten als docent die ontzettend goed antwoord geeft, waardoor he- waardoor heel de klas tegen hem of haar opkijkt, maar jij eigenlijk denkt: volgens mij weet je helemaal niks, man.
- 22:05Volgens mij zit jij gewoon heel slim net op tijd te bluffen en je bluft omdat je eigenlijk al alle vragen van mij al een keer hebt gezien, hè. Je bent vorig jaar al in mijn lessen geweest, hè. Dus. Ja. Ja.
- 22:15Maar als je dan, als je dat dan weet en je hebt die theorie, kan je natuurlijk vragen gaan verzinnen waardoor die student door de mand valt. Ja.
- 22:21En dit is wat de ARC-AGI Challenge is: hoe laat je een LLM door de mand vallen? En wetenschappelijk gezien is dat heel mooi, want volgens mij is wetenschap juist falsificeren.
- 22:29Dus je wilt constant eigenlijk zel- jezelf uitdagen om te zeggen: ik heb iets gebouwd, hè, want ze zijn allemaal best enthousiast bij ARC, uh, uh, over AI-modellen.
- 22:38Maar ook te zeggen: kunnen we niet puzzels maken waarop mensen heel goed zijn en AI's direct door de mand vallen? Ja. En dat gebeurde ook. Ja. Nou, en daar is nu dus Poetic.
- 22:49Uh, dat is een team van zes mensen, uh, die als eerste door die, uh, 50%-grens breekt van dit, uh, dit model wat dus eerder dit jaar is uitgekomen. Deze, deze test moet ik zeggen.
- 23:00Die test die eerder dit jaar is uitgekomen. Dus dat is de ARC-AGI2 Challenge, waarop dus o3h, hè, wat het summum was van reasoning, uh, nog zes maanden geleden. Ja. Uh, ja, niet- 4% scoorde.
- 23:11En ik bedoel, en Gemini, uh, 3 Pro zelf, hè, van Google. Het model van een maand geleden. Ja. Maakte ook al een leuke sprong op ARC-AGI2. Juist. Maar niet een spectaculaire sprong. Nee.
- 23:23En wat nu dus nieuws is, is dat er een clubje is die niet een eigen model hebben gemaakt. Toch door die grenzen zijn heen gebroken en ook nog best goedkoop, $30 per opgave aan dat dat ding dus moet denken.
- 23:35En wat je aan API-credits moet betalen aan, uh, aan Google in dit geval. Uh, dit zijn geen, uh, sukkels. Nee. Het zijn best wel slimme mensen, deze zes. Ex DeepMind, ex Google.
- 23:46[lacht] Hè, dus die hebben gewerkt met de mensen die Google DeepMind, sorry, Google Gemini ontwil- ontwikkeld hebben. Ik wil er wel meteen bij zeggen: je kan natuurlijk denkenEhm, want even in een aantal stappen.
- 23:58Het Poetic team heeft met z'n zessen een harnas of scaffold gemaakt, hè, een soort exoskeleton om Gemini heen, hè, dus- Ja, zij gebruiken Gemini 3 Pro.
- 24:07Ja, in het winnen van deze score, zeg maar, het behalen van deze score is een combinatie van de vanille Gemini 3 Pro, oftewel die jij kunt gebruiken in de Gemini app. Niets aan, niets aan aangepast. Ja.
- 24:18Maar je zou kunnen zeggen door heeeel slim te prompten. Ik ga straks uitleggen wat ik daarmee bedoel, want dat, doet het een beetje tekort.
- 24:25Maar te zeggen: geef ons nou maar gewoon wat iedereen krijgt in Gemini en wij gaan zo slim om met Gemini dat wij een veel hogere score kunnen halen dan Google zelf met hun eigen model lukt op Arc AGI 2. Ja.
- 24:37En dat is best wel bizar. Ja. En dat, dat heeft dus een aantal implicaties waardoor ik dacht: dit is, dit nieuws mag toch wel wat groter uitge-uitgemeten worden, dus we gaan nu ons best doen. Daar hebben we het over.
- 24:46Maar wat hebben zij gedaan?
- 24:48Wat ze eigenlijk hebben gedaan is in eerste instantie nog zonder dat Gemini 3 Pro uit was, en dit maakt het heel boeiend, want zij zeiden: als Poetic zijnde willen wij eigenlijk, uh, model scaffolds maken, hè.
- 24:59Dus, uh, scaffolding is net als dat je een steiger om een huis heen zet, hè. Dus je hebt het huis zelf, dat is het model en de steigers staat daar omheen als extra, zeg maar.
- 25:07Dus je bent om het model heen extra features aan het bouwen. Je hangt als het ware ballen in de kerstboom, hè, dus je doet er iets bij. Mhmm.
- 25:13Dat je zegt: voor alle modellen willen we een scaffold maken waardoor alle modellen sterker worden op hun eigen manier. Dus wat zijn ze gaan doen?
- 25:21Ze hebben JP-- GPT-120B, dus het open source model van Open, uh, van OpenAI, uh, Claude, uh, maar ook, uh, Gemini 2.5 destijds hebben ze een scaffold omheen gebouwd die werkt voor al die modellen.
- 25:33Ja, dus het is een soort superheldenpak dat iedereen aan kan trekken. Absoluut. En wat hebben ze-- wat doen ze dan? Nou, in dat superheldenpak zitten een aantal onderdelen.
- 25:42Uhm, wat heel belangrijk is, is dat wat we nu eigenlijk niet goed hebben is test time compute.
- 25:48Dus dat houdt in: je hebt training, pre-training compute, dus dat is alle computerkracht in datacenters die je inzet om de modellen te trainen om ze te bakken, hè. Dat is het bakproces van het model.
- 25:58Dat kost heel veel water, energie, noem het allemaal maar op. En, en data. En uiteindelijk komt daar dan Gemini 3 Pro uit. Daar gaat dit allemaal niet over. Absoluut niet.
- 26:06Dat hebben ze ook eigenlijk een beetje afgesproken om te zeggen: daar gaan wij niet aan zitten. Ja. Laat dat de grote labs maar doen.
- 26:13Want wij, wij krijgen eigenlijk het model als af, uh, aangeleverd en wij gaan het dan nog, hè, we gaan nog een camperdak bouwen op dat busje, zeg maar. Geef ons maar dat busje, wij gaan er nog effe mee door.
- 26:24En, uh, de test time compute is eigenlijk dat je zegt: op het moment dat je met het model aan het praten bent, hè, dan kun je ook nog computerkracht inzetten om het model wat al af is eigenlijk nog extra kracht te geven.
- 26:36Wacht, op een- Ja, dus even voor jouw beeld. Uhm, je hebt trainen en je hebt inference. Ja, dat snap ik. Ja, en de inference is dus test time compute.
- 26:45Dat is het moment dat het model wat eigenlijk statisch is op dat moment, je kan het niet meer aanpassen, dat je het model nog de mogelijkheid geeft om na te denken. Ja.
- 26:54En dat, dat denken, dat kost, uh, uiteindelijk computerkracht. Ja, dus dat knopje met external thinking.
- 26:59En testing is eigenlijk, is eigenlijk wanneer je, je kunt oefenen thuis voor de toets en je hebt het mondeling examen. Ja. Het mondeling examen is test time compute.
- 27:08Als in: hoe lang krijg jij van die docent om na te denken over je antwoord? Ja. Maar je mag niet meer je boeken erbij pakken.
- 27:14Ik bedoel, dat is nog een beetje, het is een beetje een maffe metafoor, maar ga er maar van uit: je bent al voorbereid. Je hebt je prep al gedaan.
- 27:20Je mag trouwens nog wel je boeken erbij pakken, maar dan moet je wel donders goed weten wa- naar welke pagina je toe moet bladeren, want je hebt maar vijf minuten. Ja. En
- 27:28het allerbelangrijkste is wat, om even terug te haken op, uh, die puzzeltjes, want daar gaat het uiteindelijk over. Nu is het zo geweest dat Gemini 3 Pro krijgt die puzzel te zien en die heeft dan eigenlijk twee shots.
- 27:40Dus je heeft twee pogingen om die puzzel te maken. Oké. En dan krijg je je cijfer. Dat is hoe dit, deze test werkt. Ja, dat was het. Je mag twee keer proberen. Oké. Uhm, maar,
- 27:49uh, dan eig-- en, en dan krijg je inderdaad het volgende puzzeltje. Mhmm. Maar wat je geleerd hebt bij het eerste puzzeltje is weg, want het is een nieuw gesprek voor het tweede puzzeltje. Oké.
- 27:58Dus een van de eerste dingen die zij zijn gaan doen is zeggen: oké, wacht even.
- 28:02Als jij puzzels maakt en je ontdekt daar terwijl je ze aan het maken bent nieuwe inzichten, dan ga je die inzichten opschrijven en krijg je daarmee, uhm- Juist.
- 28:12Ja, en er zijn ook nog eens, je bent niet in je eentje puzzels aan het oplossen, maar met heel veel Gemini's tegelijk. Die ook nog eens met elkaar hun inzichten delen. Ah. En ook nog eens, want ik ga nu effe stapelen.
- 28:22Ze hebben iets van 12 innovaties gedaan, uh, in die, in dat Superman-pak. In dat superheldenpak zitten 12 trucjes op zijn minst. Ik weet niet of ik ze alle 12 uit mijn hoofd zal zeggen, maar ik ga de belangrijkste langs.
- 28:32Dus, uhm, jij geeft de initiële prompt, van hun is al een goede prompt, hè. Daar zaten-- [stammelt] dus, dus, laat ik zeggen, als, als soort prompt engineers hebben ze al een goede prompt gemaakt om puzzels op te lossen.
- 28:44Dat is één. Dan zit er in die prompt ook, die prompt is vloeibaar, als in: als je een puzzel hebt gemaakt, dan heb je ervan geleerd wat je verkeerd hebt gedaan.
- 28:52Want we hebben jou ook dankzij die hele goede prompt, uh, een manier gegeven om beter te snappen wat je verkeerd hebt gedaan. Dus, uh, iedere test die faalt is informatie. Ja.
- 29:04Want het is niet alleen maar: kijk, het enige wat Arc AGI tegen jou zegt is: fout.
- 29:09Is dit niet wat een, zeg maar, als ik naar, als ik aan Google's, uh, Gemini iets vraag en ik kli-klap dan vervolgens die redeneerdrant open, dat je kan zien welke stappen die allemaal maakt bij het nadenken, dan zie ik hem regelmatig zichzelf op fouten betrappen en dan
- 29:28eigenlijk een nieuwe route inslaan. Dus leren van die fout. Ja. Wat je nu beschrijft klinkt alsof dit al gebeurt. Ja, het gebeurt alleen heel slecht. Oké. Dat blijkt, want de scores zijn veel lager op Arc AGI.
- 29:39Hij is niet goed in van zichzelf, lu- van zijn eigen fouten leren. En hij loopt heel vaak, uh, in cirkels en vast, zeg maar. Ja.
- 29:46Dus even voor de mensen die al langer deze, uh, podcast luisteren, dat zijn velen van jullie denk ik.
- 29:52We hebben het er al eens over gehad dat heel veel van de sprongen die nu door de modellen an sich gemaakt worden zijn omdat die, een deel van dat Superman-pak inmiddels toegevoegd is aan het model zelf, hè. Ja.
- 30:02Dat, dat, als het ware het pak zit vastgeplakt als huid aan het model. Een beetje een maffe metafoor, maar goed. Uhm.Wat ze bij Poetic zeiden is: oké, luister, we hebben een aantal innovaties gedaan.
- 30:13Daar kunnen alle labs van leren. Ja. En een deel daarvan kunnen ze ook in de modellen gaan stoppen. Ja. Maar wat zegt Poetic?
- 30:19Volgens mij moet hier een scheiding gaan ontstaan waarin wij een pak maken dat op alle modellen werkt. Juist.
- 30:25En ik denk als ik hier zelf naar kijk, sla ik even een paar stapjes over alvast richting een soort, uh, conclusie, maar dan hebben we die alvast staan.
- 30:33In, uh, engineering, hardware en software heb je zoiets als separation of concerns. Dat houdt in dat, uh, jij hebt, uh, op een, op jouw server staat een e-mailserver.
- 30:44Die kan e-mail ontvangen en die maakt een mailboxje aan. Ja. Er staat ook een DNS-server, die doet, uh, namen omzetten naar IP-adressen. Dat zijn twee verschillende services met twee verschillende rollen. Ja.
- 30:54Hun, de concerns zijn separated in die twee services.
- 30:58Wat we, wat we nu aan het ontdekken zijn met elkaar, LLM's zijn nog best wel jong, is: hoeveel moet er nou in die base model zitten en hoeveel moet er zitten in test time?
- 31:07En moet je die scaffold dan- Test time bedoel jij dus mee: het daadwerkelijk gebruiken van- Ja, want je-...het model. Ja, precies. Test time. En, uh, precies, dus, ja, dat woord test is een beetje stom misschien.
- 31:17Ja, heel raar woord. Misschien gewoon wanneer je het gebruikt. Juist. [lacht] Ja. Ja, dat is gewoon toch beter, toch? Ja, tijdens het mondeling, uh, wa-want dan heb je niet me-, kan je niet meer zoveel fixen, hè.
- 31:25Je bent erin, van, uh, tijdens de opname van AI Report. Ja. Dit is test time compute, Wietse, waar je nu mee praat. Helder, ik zal voortaan [Niels lacht] dit taalgebruik overnemen. Ja, en je wilt eigenlijk, uhm,
- 31:36wat blijkt is dat, je kunt proberen om alles in de training te doen, want dat scheelt natuurlijk een hoop test time compute, want die is best wel duur, hè. Mhm. En een eindgebruiker moet ook wachten. Mhm.
- 31:45Dus die, die labs zijn ook een beetje aan het duwen van: laat het alsjeblieft maar erin zitten. Maar wat blijkt? Die François Chollet, die is puzzels aan het maken waardoor dat, uh, wat er al in zit niet meer werkt.
- 31:57Juist, en dat is een kat-en-muisspel wat je de hele tijd kan proberen blijven inhalen.
- 32:01Maar misschien moet je dus iets veranderen aan, uhm, welke rol je het taalmodel geeft en welke rol je geeft aan de software waarin het taalmodel draait wat wij als gebruiker gewoon gebruiken.
- 32:13Ja, en dat een beetje die separation of concerns. Juist. Dat mogelijk is een betere architectuur voor AGI. Juist, oké, snap ik. Ja, want- En wat voor trucs doen ze dan?
- 32:21Nou, b-, je hebt bijvoorbeeld, uh, we hebben het vorige keer volgens mij ook wel eens gehad over vloeibare modellen. Dat zijn eigenlijk modellen die wel, uh, aangepast kunnen worden terwijl ze getest worden, hè.
- 32:31Dus heel veel mensen hebben de misvatting dat de AI die je vandaag de dag gebruikt, dat die soort van op jou aangepast wordt.
- 32:38Ja, er wordt wel een blokje memory gemaakt waarin die leert dat jij Alexander Klöpping ben, maar dat is alleen voor jou. Ja. Het staat alleen maar in jouw account.
- 32:43Het onderliggende model- Blijft hetzelfde...blijft, blijft misschien wel een jaar lang of nog langer hetzelfde.
- 32:48Precies, en daarom hebben ze ook versienummers, zodat je er ook een beetje op kan vertrouwen dat hij hetzelfde blijft. Ja. Dus dat is waarschijnlijk ook gewoon een goed idee. Ja.
- 32:54Maar waar je kunt zeggen: wacht even, is het niet handiger dat Gemini 3 Pro in dit geval al puzzelend leert, die leerlessen meteen onthoudt? Ja.
- 33:06Die gaan niet terug in de base model, maar die blijven ertussenin hangen in dat supermanpak, zeg maar. En eigenlijk al, al puzzelend steeds slimmer aan het worden is.
- 33:16Uh, en, en dat is dan nu eigenlijk de truc, hè, dat, dat wat ze dan, uh, recurring learning noemen, is dat ze- Recurring learning. Ja, dus dat je- Tijdens je test time compute.
- 33:23Ja, dus je hebt een loop, een cirkel waarin je draait. Ja, je doet een puzzel, je krijgt terug: fout.
- 33:29Maar je hebt ook gezorgd dat je prompt ervoor zorgt dat je niet alleen maar fout terugkrijgt, maar ook weet wat je fout gedaan hebt. Ja. Dan verzin je een nieuwe hypothese als model.
- 33:36Probeer het nog een keer, want je mag best wel vaak proberen. Sterker nog, je probeert het met 100 tegelijk en je gaat ook nog met elkaar communiceren over wat je geleerd hebt.
- 33:44Dan heb je ook nog een, uh, democratische stemronde, wat eigenlijk inhoudt- Democratische stemronde van modellen. Ja.
- 33:51Dus je, Gemini 3 Pro draait, zeg maar, multi-head, dus met meerdere hoofdjes tegelijk naast elkaar die lessen met elkaar delen. Meerdere kopieën van Gemini 3. Ja. Oké. Allemaal agents zou je ze kunnen noemen. Wauw. Oké.
- 34:01Die gaan daarna in, in conclaaf van: oké, luister, het is niemand gelukt om die puzzel op te lossen. Maar wat hebben we eigenlijk allemaal geleerd? Ze, ze, ze, ze, zo.
- 34:08Zullen we een nieuwe hypothese maken en het dan weer proberen? En dan op een gegeven moment brute force je als het ware die puzzel.
- 34:14Maar je hebt maar een maximaal aantal pogingen volgens ARC, dus je moet ook nog heel sni-slim inplannen. Ja. Eigenlijk in je eerste poging mooi gebruiken.
- 34:23Even, even een, uhm, [klikt tong] hoe zeg je dat, een, uh, uh, iets toe te geven op, in deze podcast. Ik zit nu toch niet meer op, uh, op school [lacht]. Ik deed dit een beetje op mijn eigen beetje suffe Wietze-manier.
- 34:34Mijn, mijn trucje was, mijn scaffold, hoe ik dat inrichtte was: ik ging naar de toets zonder te leren en ik deed altijd de herkansing, zodat ik alvast wist wat er gevraagd werd ongeveer.
- 34:45Dus het was, ik bedoel, de herkansing is nooit dezelfde toets, hè, laat dat duidelijk zijn. Als het goed is, soms wel. Nee, ik, ik, ik val stil omdat ik, uh- Dat ik de, de-...dit is een opzienbarend moment.
- 34:56Nou ja, het punt is dat ik- Jij ging zonder te leren naar de eerste toets. Ja, dan weet je alvast wat er gevraagd wordt ongeveer. Dan weet je al hoe dit ongeveer gaat. Ja, en dan doe je de herkansing.
- 35:03En dan ging je het uit je hoofd leren. Of dan dacht je een beetje: oh, ze, ze, ze pakken het wel aan. Nee, ik wilde vooral weten niet, uh, wat er gevraagd werd, maar hoe er gevraagd werd. Ja, ja, ja.
- 35:10Zo moet ik het zeggen. Zo. En je hebt dus op Arc AGI, om even de brug te maken waarom ik dit vertel, op Arc AGI heb je twee pogingen. Je bent een soort dieselgate, jij. Jij optimaliseerde je, je leren voor de test.
- 35:21Ja, nee, maar dit heb ik ook, ik heb ook heel vaak gezegd over- Onethisch van jou...in de basis, uh, een student die goed is, een student die goede, uh, cijfers haalt, zou in essentie, uh, kan je vooral van zeggen dat ze goed zijn in de toets maken.
- 35:34Ja, ja. Uh, dus, en bij mij deed, ik was heel vaak wel benieuwd van: oké, ik kan nu de hele, het hele boek uit mijn hoofd gaan leren, maar ik kan beter even kijken waarop ze gaan prikken. Ja.
- 35:42Nou, dat doet eigenlijk deze s-, deze, uh, poetic scaffold ook. Juist. Want die doet een eerste poging, een goede poging. Maakt het generaliseerbaarder.
- 35:51Ja, en dan leert hij van de eerste poging en daarmee doet hij de tweede poging. En niet alleen maar met meerdere tegelijk.
- 35:55Nou, ondertussen is de volgende test van, of de volgende versie van deze test is alweer in ontwikkeling en dat blijkt dus ook nodig te zijn met deze, uh, vooruitgang van deze zes, uh, ex-DeepMind-mensen.
- 36:08UhmDe volgende test zal waarschijnlijk gaan niet meer over statische puzzels, maar interactieve game omgevingen.
- 36:14AI-agents moeten daarin waarnemen, beslissen en handelen over meerdere stappen zonder voorafgaande instructies. De puzzel gaat veranderen terwijl je ermee bezig bent, hè.
- 36:22In plaats van dat die op, je zou de ARC juist jij kunnen uitprinten als het ware. Nu kan je hem nog uitprinten, maar straks wordt het een game waar je een puzzel in moet doen. Dat zijn interactive reasoning benchmarks.
- 36:33Jezus Christus. Uh, ze testen een breder scala aan vaardigheden exploratie, planning, geheugen en doelen begrijpen. Ik begin wel op het moment te komen dat ik denk: why would we care?
- 36:42Nou, oké, dat, dat is wel een hele belangrijke, omdat in het hele- Leuk die nerds met hun puzzels, maar. In het hele, uh, brede debat rondom AI en wat is dit nou eigenlijk? Zijn taalmodellen een vorm van intelligentie?
- 36:58Uh, en zo ja, kan dat dan doorschalen naar iets wat dan lijkt op wat wij doen? Op zo'n manier, ja, dat 95% van het kenniswerk, uh, vervangen kan worden door agents. En hoe helpt het doen van een spelletje daarbij?
- 37:13Nou, dat nu, uhm, de sceptici, en dat is allemaal, uh, de Gary Marcus' van deze wereld voor de mensen die dat interessant vinden om te lezen. Die claimen: leuke truc, die taalmodellen.
- 37:25Leuke truc, het voorspellen van pixels en video's en alles. Maar het heeft gewoon weinig te doen met wat wij als mensen kunnen.
- 37:32Nog even los van wat wij als mensen zijn, hè, dat is een hele filosofische discussie, maar vooral: dat schaalt niet naar een niveau.
- 37:39Je kunt niet zeggen: met wat trucjes en wat tweakjes en wat superhero pakken kunnen wij van een GPT, een, een, een, een tekstvoorspeller en een beetje beeld voorspellen, komen tot iets wat 95% van het kenniswerk gaat doen.
- 37:52Als dat even de definitie van AGI is. Om daar wel te komen, moeten we terug naar de drawing board. We moeten, uh, een hele nieuwe vormen van AI gaan uitvinden. Wat ik vorige week zei,
- 38:05uh, omdat ik die optie openhoud, is: wat op het moment dat je een soort, uh, ik had het toen over zo'n compound eye, hè, dus dat een insect heeft 1.000, een oog wat bestaat uit 1.000 stukjes.
- 38:14Zijn het niet straks 1.000 AI'tjes die met elkaar samenwerken in een soort team? En wordt dat team dan AGI?
- 38:21Nou, eigenlijk zou je kunnen zeggen dat wat Poetic doet, dat die groep mensen die bij DeepMind vandaan komt, die zegt- Een team van AGI's. Ja. Of van AI's bedoel ik.
- 38:30Ja, ja, die eigenlijk zegt: ja, uh, inderdaad, één bandmember, een soloartiest is niet genoeg. Maar als we die band slimmer maken en eigenlijk.
- 38:41Want- Ja, maar eigenlijk, als ik je goed begrijp, zegt Gary Marcus dus als een van de, uh, sceptici, zegt: menselijk kenniswerk is zo ingewikkeld. Een AI-model gaat dat nooit in zijn eentje kunnen.
- 38:53En dan zeg jij: z-z-zelfs als dat waar is, doet het er niet toe. Want een ensemble, zou het kunnen dat het er niet toe doet, want een ensemble van AI's scoort elke keer weer beter op tests.
- 39:06En dat zijn nu gewoon testjes, uhm, waar je nog misschien om kan lachen. Maar als het straks testjes zijn die wel heel erg lijken op wat wij doen als wij werk doen, dan is het niet zo grappig meer.
- 39:20Nou, ik denk dat belangrijk is, ja, precies wat jij zegt. Belangrijk is dat ensemble verhaal.
- 39:25Dus het combineren van verschillende AI in een soort knowledge of the crowd, hè, dus dat je zegt: de groep weet meer dan het individu, is één van de stapjes van Poetic. Ja. Ze hebben meer ideeën, die hebben ze ook.
- 39:35Ze hebben een deel open source gemaakt, zodat ze zeiden: voor andere partijen, ga hier eens naar kijken, want we denken dat we wat fundamentele dingen hebben uitgevonden.
- 39:42Een deel houden- Ze zijn ook VC funded, dus ze houden wat dingen geheim. Ja, en, we, even voor jouw punt: waarom is het, uhm, uh- Why would we care? Waarom gaan we het hier nog veel meer over hebben in de toekomst?
- 39:53Wat Poetic nu zegt, is: ten eerste, het Superman-pak wat we hebben gemaakt kan je om alle modellen heen doen. En dat is waar. Ze hebben niet alleen maar ARC-AGI 2 getest met, uh, Gemini 3 Pro.
- 40:06Die kwam er als best uit, hè, dus Gemini 3 Pro plus Superman-pak van Poetic heeft nu die hoogste score gehaald. Ze hebben ook alle scores gepubliceerd voor andere modellen.
- 40:14Die zijn ook allemaal hoger dan het model alleen. Exact hetzelfde pak. Niet een pakje voor Gemini. Dat is al supervet. Als in: dat is gaaf, want dat is generaliseerbaar.
- 40:23Het woord generaliseerbaar is waar we het de komende jaren over gaan hebben. Is het generaliseerbaar? Ten tweede hebben ze gezegd, uh, aankondiging op hun blog. Ik ben heel benieuwd.
- 40:32We hebben niet alleen maar ARC-AGI 2 geprobeerd met dit harnas. We zijn alle andere benchmarks ook aan het afgaan, dus verwacht de komende maanden enorme- Zoals wat dan?
- 40:40Nou ja, we hebben een hele lijst van, uh, de Humanity's Last Exam, bijvoorbeeld. De hele, hele belangrijke benchmark wordt dan Humanity's Last Exam genoemd, hè. Onze laatste examen. Heel dramatisch.
- 40:50Elke keer een nieuwe, maar oké. [lacht] Nee, maar ik bedoel, ook daar komt dan waarschijnlijk weer een versie 2 en een versie 3 van. Kijk, hier zit- Maar bijvoorbeeld ook voor programmeren. Absoluut. Juist.
- 40:59En dan wordt het wezenlijk. Ja, want wat, wat ik nu zelf. Kijk, ik zie Poetic, ik zie het wel als een soort Poetic moment dat ik denk: oké, wauw, wat zij nu bewezen hebben, mogelijk, zeer mogelijk,
- 41:12is dat er nog ontzettend veel te halen is- Ja...zonder dat je de base, base models hoeft aan te passen. Zonder die, al die GPU cycles bij het trainen van het basismodel. Je kan de GPU cycles gebruiken bij het testen, hè.
- 41:23Ik bedoel op een andere plek, maar dan nog. Juist. En het laat mij zien dat, kijk, uiteindelijk, uh, jouw smartphone, jouw computer, jouw tablet. Die apparaten zijn ook een hele lage constructie.
- 41:36Daarmee bedoel ik: er zit een computer CPU in, die kan eigenlijk alleen maar enen en nullen optellen en, uh, vermenigvuldigen. Dat is gewoon een basis, uh, uh, math processor plus nog wat dingen eromheen.
- 41:48Daaroverheen is allemaal software gebouwd op dat basisprincipe van, eigenlijk zeg je eigenlijk tegen die processor: luister, als jij gewoon heel goed bent in data manipuleren.
- 41:57Je hoeft niet te weten wat het is, maar als jij gewoon heel goed bent in data manipulatieDan gaan we daar abstractielagen overheen bouwen waardoor er uiteindelijk een computergame op gaat draaien.
- 42:05Op CPU-niveau heb je er helemaal geen zicht op. Het is alleen maar het heen en weer gaan van nullen en enen, maar uiteindelijk is de eindgebruiker een computerspel aan het spelen.
- 42:12Mijn punt is dat de modellen zoals Gemini waarschijnlijk de rol zullen gaan vervullen van een fundamentele schakel in zo'n AGI-ensemble-achtige scaffold.
- 42:22Dus er gaan lagen over, uh, de GPT's en de Gemini's van deze wereld heen gebouwd worden.
- 42:28Niet door de Googles van deze wereld, maar door andere partijen die eigenlijk als, als brein een deel van het brein, uh, die modellen gebruiken.
- 42:37Maar de rest komt door alle laagjes eroverheen en dat is een andere architectuur en daardoor wat mij betreft de discussie: LLM's of Gemini's kunnen niet AGI worden.
- 42:51Dan zou ik zeggen: oké, fair, dan kan je terug naar de tekentafel of zeggen: ze worden onderdeel van een samenwerking tussen allerlei laagjes.
- 43:01Ondertussen komen er nog steeds basismodellen uit, zoals dus 5.2 van, uuuh, ja, ChatGPT zou je kunnen zeggen. Wat, uuuh, ik zei in het begin: jij bent hier kritisch over. Waarom ben je hier eigenlijk kritisch over?
- 43:14Nou, ik vind in, in, uhm. Dit gaat waarschijnlijk gebeuren deze week of is al gebeurd als je nu luistert. De, uh, OpenAI speelt een beetje paniekvoetbal op dit moment. Zo voelt het voor mij.
- 43:25Uh, dus je hebt, als jij een roadmap, roadmap hebt waarop je bepaalt wat je het komende jaar gaat doen of het komende half jaar, en je past die roadmap aan aan de hand van wat je concurrenten doen.
- 43:35Binnen een paar weken, hè, laten we wel wezen. Ja, nou ja, goed, de, uhm, ik ben kritisch omdat ik, ja, dit is, ik zit nog in het vorige verhaal en dat sluit hier ook op aan. Wij,
- 43:48het is een beetje een ingewikkeld ding aan het worden omdat wat GPT-5 was ook al een deel Superman-pak is. Het is ook al een model plus dingen eromheen. Ja.
- 43:57En dan kunnen wij zeggen: hoeveel van dat pak zit inmiddels in het model versus, weet je, het doet er uiteindelijk even niet toe. Het komt erop neer
- 44:04dat er, uh, het steeds moeilijker aan het worden is om een soort van eenvoudig, zonder allerlei, uh, uh, metaforen en moeilijke lagen modellen van, uh, [gniffelt] processors en zo erbij te halen, te praten over: wie heeft nou de beste AI?
- 44:19Mhmm. Die vraag is legitiem.
- 44:21Die kan je ook stellen, maar dan vraag je eigenlijk: wie heeft de beste modellen plus model scaffolding in de beste UI, waardoor een eindgebruiker denkt: ik wil Gemini gebruiken in de App Store. Ja, ja.
- 44:31En dat doet ei-, die eindgebruiker er ook niet toe. Die heeft gewoon vragen. Ja. En die heeft gewoon puzzels, met een hoofdletter P, en die moeten opgelost worden. Puzzels in PowerPoint. Ja, klaar. En Excel.
- 44:40En ik, ik denk wel dat, uhm, wat, om toch nog even op GPT-5.2 te komen. Waar OpenAI nu mee zit is dat ze eigenlijk in die scaffold rom, om die modellen heen allerlei trucjes aan het doen zijn, hè.
- 44:53Kiezen voor denken of niet denken. Uh, uh, de tone of voice heel erg aan het aanpassen zijn. Kies maar je eigen tone of voice.
- 44:59Het voelt allemaal best wel-- ik kreeg vanochtend een pop-up in ChatGPT die zei: hoe wil je eigenlijk dat we tegen je praten? Dat ik dacht: ja, ik heb dat bij Gemini nooit hoeven zeggen en dat gaat prima.
- 45:08Uh, als in, ik vo-- het voelde voor mij dat ik een beetje dacht: hebben jullie het nog een beetje onder controle of, of, of ben je een beetje he-heen en weer aan het springen? Ja.
- 45:15En dit is niet helemaal mijn mening, want ik, ik heb ook veel- Dit zijn de vibes. Ik lees ook veel van mensen die zeggen: het voelt alsof, uh,
- 45:25binnen OpenAI, en dit kan met een maand anders zijn als, uh, als een a-, als een ander team wat scherper zet, hoor. Dus, uh, wie weet, uh, verandert de koers nog, maar
- 45:35heel snel hebben gebouwd, iedereen voor wilden blijven, daardoor alle trucjes uit de kast hebben gepakt om er maar overheen te bouwen, om er overheen te bouwen.
- 45:44Uh, dan maar vlug weer de systeemprompt aanpassen, want dit ging mis.
- 45:47Dan maar een router ervoor, want denken gaat mis, maar uiteindelijk zijn dat niet een soort diepe arsje, ars-- dat is niet een, een, een, een soort duurzame, uh, uh, strategie.
- 45:55Ja, waar we, waar Gemini vanaf de grond opnieuw is opgebouwd. Zie jij in OpenAI's perspectief vooral een, een soort van, uh, met ducttape aan elkaar getapete onderdelen. Ja, ik zit al een tijdje in software.
- 46:08Ja, daar word je niet boos van. Nou. Wat kunnen ze nu doen om jou positief te verbazen bij 5.2? Uhm. Niet zoveel, zou ik toch zeggen. Nou, ik bedoel, kijk, als, als de 5.2,
- 46:21uh, soort de rommel opruimen release is, hè, dus we zijn een beetje te hard gegaan bij 5 en 5. 5.1 was ook al een beetje een rommel opruimen. Ja.
- 46:29Van: we beginnen beter door te krijgen wat we eigenlijk hebben gemaakt met 5 nu die in de wereld is en mensen er ook kritisch over zijn. 5.2 lost een lijst van 20 problemen op.
- 46:40Het gaat mij uitein- dan niet zozeer om benchmarks. Mhmm. Maar vooral om, merk ik zelf dat ik weer terug ga grijpen naar ChatGPT. Dat is wel mijn eigen benchmark.
- 46:49Ik wissel een beetje tussen die modellen aan de hand van wat ze voor me kunnen doen. Mhmm. Wat, hoe ze mijn problemen kunnen oplossen of, uh, dromen kunnen waarmaken, zeg maar. Ja. En ik merk dat ik me
- 46:59als eindgebruiker begin te voelen met mijn technische achtergrond dat ik bij OpenAI zoiets heb: ik mis focus en die focus die mist in het diepst van het bedrijf voel ik in het eindproduct.
- 47:11Namelijk: jullie zijn pleisters aan het plakken overal op.
- 47:13En het kan prima zo zijn dat er nu een team GPT-5.5 of 6 naast loopt waartegen gezegd is: ik geef jullie even een paar maanden de tijd, ruim het op en breng alsjeblieft iets uit wat niet doorbouwt op de rommel die we hiervoor hebben gemaakt.
- 47:27Hè, zo werkt het vaak een beetje binnen softwarebedrijven. Vlug even een team ernaast en dan, uh, het oplossen. Uh, maar
- 47:34ik vind gewoon de, uh, die 5.2 en de beetje de, de media daaromheen voelt heel erg als een vrij, uh, rommelige, uh, paniekvoetballer, reactieve, uh, actie, zeg maar. Oké.
- 47:48Maar ik wou, ik, ik wil nog wel even terugkomen op, uh, wat er bij, wat er bij Poetic gebeurt. Want je hebt het over welke trucjes zitten er allemaal in? Uh, misschien toch nog even goed
- 47:58om, om te benadrukken dat dit precies, uh, de kritiek die, uh, Colin heeft op, uhmAlle eerdere modellen is dat ze niet kunnen leren terwijl ze aan het puzzelen zijn.
- 48:12En wat Poetic gebouwd heeft, is precies wat Cole zegt dat er in moet zitten. Kan je leren terwijl je antwoord aan het geven bent.
- 48:21En ik denk dat we misschien gedacht hadden dat dat in de basis modellen gezet moest worden, maar dat kan blijkbaar prima in het Superman pak gestopt worden.
- 48:29Ja, ja, wat zomaar eens een fundamentele stap zou kunnen zijn in hoe we over een jaar over AI praten. Dat het zelflerend wordt. Nou ja, precies. En in dat opzicht zou je kunnen zeggen. Erop.
- 48:40Ja, ja, als precies in een andere laag dat we moeten naar een andere laag gaan kijken. En je zou kunnen zeggen.
- 48:46Ik ben dus heel benieuwd of we de komende maanden allerlei benchmarks gaan krijgen waar ineens weer tien of vijftien procent op het grafiekje erbij komt, puur en alleen maar doordat ze dat Superman pak hebben aangetrokken.
- 48:58Ja, je kan af en toe het idee krijgen soort van hoe snel gaat het nou eigenlijk allemaal? Maar dit is echt een prima manier om te kijken hoe fucking snel het gaat, de snelheid waarmee ze nieuwe tests moeten maken.
- 49:07Goed Wietse, we komen weer terug naar aarde, want iedere week testen we een tool die je kan gebruiken in je leven of in je werk. En deze week is dat Tasklet.
- 49:18Beeld je eens in, je komt 's ochtends op kantoor en je inbox bevat al een overzicht van het belangrijkste nieuws uit jouw vakgebied.
- 49:23Je agenda afspraken zijn automatisch voorzien van achtergrondinformatie over de mensen die je spreekt. En die wekelijkse statusupdate die je normaal naar je team stuurt, die is al verstuurd zonder dat je het vroeg.
- 49:34Deze week testen we Tasklet. Dat is een platform waarmee je dit soort AI agents maakt in gewone mensentaal. Je hoeft niet te programmeren of met blokjes te slepen.
- 49:42Je bouwt gewoon, of je beschrijft eigenlijk gewoon in het Nederlands wat je wil. En dan probeert die AI de rest te regelen.
- 49:48Het belangrijkste wat dat ding doet, is verbindingen maken met die MCP's waar we het eerder over hadden. Dus hij kan op. Met groot gemak kan hij allerlei tooltjes aan elkaar koppelen.
- 49:58Je hoeft niets meer te vragen dan maak inderdaad die.
- 50:03Maak een overzicht van het belangrijkste nieuws in mijn vakgebied en dan begrijpt dat ding dat hij jou moet mailen en dat hij daarvoor een Gmail connectie moet hebben. Ik noem maar een voorbeeld.
- 50:11En dan is dus één keer vragen verbind met Gmail genoeg om die koppeling te maken. Dat is verder helemaal geen technisch werk wat je daarvoor hoeft te doen.
- 50:18Onze redacteur Zhang test het met die dagelijkse AI nieuws briefing. Dus een briefing over jouw vakgebied, in ons geval AI. En binnen 2 minuten stond alles. Is niet gewoon concurrentie voor onze eigen nieuwsbrief.
- 50:27Iets heel heftig schema e-mailadres, bronnen en de volgende dag laat er een keurig gestructureerd overzicht in haar inbox, opgedeeld in categorieën als doorbraken, investeringen en beleid.
- 50:37Het mooie is je kan dit instellen door gewoon te chatten met die agent om dingen aan te passen. Dus die eerste briefing die zij kreeg bevatte bijvoorbeeld geen linkjes.
- 50:45Zhang wilde dat wel en alle volgende e-mails werden vervolgens automatisch werkende links gestuurd. De kanttekening is dat Task niet goedkoop is en gratis gebruik beperkt is. Je loopt best wel snel tegen grenzen aan.
- 50:58Betaalde abonnementen beginnen bij $ 35 per maand, dus het is niet goedkoop.
- 51:01Maar als je dagelijks handmatig informatie bij elkaar sprokkelen of onderzoek doet dat eigenlijk best voorspelbaar is qua stappen, dan verdient het zich misschien wel terug.
- 51:10Als je wil weten hoe je alles uit die tool haalt, dan kun je onze nieuwsbrief checken via AI Report punt NL. Ik las nog een grappig ding Wietse, namelijk dat AI datacenters steeds meer industriële capaciteit opslokken.
- 51:25Dat zien we al een tijdje bij Bitcoin miners. Dat is inmiddels een matig bedrijfsmodel geworden om geld te verdienen met bitcoin koers. Je kijkt maar naar de aandelenkoersen van die bitcoin mining bedrijven.
- 51:37Maar zij hebben één ding wat al die AI bedrijven graag willen en dat is betrouwbare stroomaansluiting. Want voor bitcoin mining moet je heel veel stroom uitgeven. En datzelfde geldt voor AI bedrijven.
- 51:47En op dit moment is die stroom zo schaars dat AI bedrijven gretig bitcoin miners aan het opkopen zijn.
- 51:55En dat zegt iets over hoe de economie nu werkt, namelijk dat er heel veel onderdelen van de industrie in de brede zin van het woord eigenlijk hun werk nu aanpassen om meer energie voor AI bedrijven te leveren.
- 52:09En dat gaat best ver, want zelfs Boom, dat is een bedrijf wat een supersonisch passagiersvliegtuig wil maken. Eigenlijk een beetje de opvolger van de Concorde, gaat gasturbines van 42 megawatt verkopen aan datacentra.
- 52:25Dus die parkeren hun werk in het maken van supersonische vliegtuigen omdat zij ontdekten dat hun straalmotoren, waarmee zij dus die vliegtuigen laten vliegen, ook stroom kunnen opwekken.
- 52:37Het vliegtuig project gaat weliswaar door, maar dit gaat dan volgens het verhaal cruciale cashflow leveren om sneller supersonische vliegtuigen te maken. Het zijn letterlijk jet engines, dus in containers. Insane.
- 52:49Die dan naast de datacenters geplaatst worden waar kerosine ingaat. Aan één kant dan heel veel herrie en dan klappen daar allemaal kilowatt uit aan de andere kant.
- 52:56Ik denk dat de mensen die debatteren rondom vliegschaamte en AI-schaamte nu makkelijker uit kunnen leggen hoe vliegschaamte gekoppeld is aan AI-schaamte.
- 53:06Op het moment dat letterlijk de motoren uit vliegtuigen op de grond liggen naast datacenters. Daar liggen te blazen om elektriciteit op te wekken. Dit is dus niet een metafoor.
- 53:15Dit is letterlijk wat Boom met hun Boom Super. Maar jij zegt dit met enig cynisme, als ik goed, als ik het goed begrijp.
- 53:23Ja, vliegtuigmotoren op de grond gaan leggen naast datacenters waar je kerosine in doet en dan blazen en allemaal CO2 uit, word ik er natuurlijk niet vrolijk van. Ja, liever dit dan kolencentrales, toch?
- 53:32Ja, ik ken daar de berekeningen niet van. Ik zou zeggen zet het. Het lijkt me iets beter voor het milieu. Zet het allemaal bij Stuwmeer zou ik zeggen. Ja, gaat me te hard genoeg, hè? Ja, goed. Waarom zo snel?
- 53:43Economen noemen dit proces crowding out. Wanneer één sector zoveel kapitaal opslokt dat andere projecten in de snel in de knel komen. En dat is hier dus aan het gebeuren. Even door de economische bril bekeken.
- 53:54Elektriciteit, arbeid en dus industriële capaciteit. In dit geval dus van het maken van vliegtuigen naar stroom. Gasturbines maken voor datacentra. Alles stroomt richting AI.
- 54:07Het is het.Soms zou ik willen dat ik soort van even een jaartje of twee jaar vooruitkijken. Dat ik, dat ik zo vijf seconden in de toekomst kan zijn, maar één vraag kan stellen, namelijk: is de bubbel al gebarsten?
- 54:16Dat ik dan alleen maar ja of nee kan horen. Dat ik weet waar ik aan toe ben. Nou ja, en ik zou dan nog, uh, om even de cynische pet op te zetten: hebben we er al wat aan?
- 54:23Want ik bedoel, op heel veel punten in mijn leven voegt het best wel toe, hè, de verschillende AI, AI-tooling. Maar ik kan me, s-, uh, samenlevingsbreed wel voorstellen.
- 54:33Kijk, het is- Mensen denken: dat duurt wel lang allemaal.
- 54:35Nou ja, en ik, ik moet zeggen dat die, uh, kijk, als jij, als er letterlijk een, uh, een, een jet engine, uh, 200 meter van jouw achtertuin ligt te blazen omdat daar een datacenter is waarin blijkbaar, uh, Sora 2.0 videoslop gemaakt moet worden.
- 54:51Ik maak hem even heel concreet nu, hè. [lacht] Dus jij zit in je achtertuin. Ja. Je kinderen zijn verslaafd geraakt aan synthetische content. Die zitten te TikTokken de hele dag.
- 54:58Waar je op de achtergrond een herrie hoort en dan vraagt: wat is dat? Wat is dat? Dat is om die filmpjes te maken. Dat is een gasturbine [lacht] met een straalmotor erin.
- 55:04Om de filmpjes te maken op de telefoon van je kinderen. Ja, oké, ik zeg: maak even de cirkel rond. Mhmm. Uhm, d-, als dat het, als dat het enige AI-verhaal is, dan, dan, dan vind ik de podcast maken wel moeilijker.
- 55:17Ja, dat is niet het enige AI-verhaal. Nee. Dan kan je zeggen: ja, Wytse, dat hou jij jezelf voor.
- 55:22Nee, dat is niet het enige A-AI-verhaal, maar de verhouding moet wel een beetje blijven kloppen tussen jet engine slop [lacht] versus, uh, doorbraak op medisch veld en, uh, nou, noem het allemaal maar op. Ja.
- 55:35Doe mij maar doorbraken medisch bij Stuwmeer en niet jet engines voor Sora 2.0 AI TikTok-slop. Oké, nou, punt gemaakt.
- 55:44Uh, deze week, uh, ten slotte maakte ik een grappig dingetje mee met een research tool van Anthropic die een week online heeft gestaan en nu alweer offline is. Oh, waarom?
- 55:53Ik zeg het maar, ik zeg het er maar gelijk bij voordat je het wil proberen. Weet je waarom die offline is? Het was een test. Mhmm. Waarschijnlijk gaan ze hem wel online zetten, maar het was een test.
- 56:01Wat Anthropic de hele tijd doet, is allemaal onderzoek de wereld in brengen. Zij zijn best wel scheutig met het delen van, ook wel gevoelige, uh, resultaten van hun testen.
- 56:12Testen die over veiligheid gaan, maar ook over impact op onze economie.
- 56:17En zij wilden, naast dat ze natuurlijk allerlei onderzoek kunnen doen uit het gebruik van hun AI-tooling om de impact te meten op verschillende sectoren.
- 56:26Zij kunnen plat gezegd gewoon zien hoeveel wordt Claude met Excel gebruikt. Nou, dan kunnen we daar wat meer op gaan optimaliseren, willen ze ook kwalitatief onderzoek doen.
- 56:35Namelijk mensen vragen naar hun gevoelens bij hoe zij AI gebruiken en hoe ze Claude gebruiken en hoe AI past in hun leven. Wat ze positief eraan vinden, wat ze negatief eraan vinden.
- 56:47En zo'n, uh, onderzoeksproject op schaal doen is natuurlijk, uh, ja, arbeidsintensief.
- 56:53Je moet mensen gaan bellen en dan moet je ze vragen om iets, uh, te vertellen en dan schrijf je dat allemaal op en dan moet je dat weer gaan analyseren. En nou ja, je, je weet dat het veel tijd kost.
- 57:01Anthropic heeft dat geprobeerd voor zichzelf makkelijker te maken door een tool te maken, een chatbot te maken waarmee je dat gesprek kan voeren. Dus een chatbot die jou vraagt: wat vind je van de rol van AI in je werk?
- 57:16Waar ze snel achter kwamen, is dat als je dat met de standaard chatbot doet, dat mensen niet echt graag antwoord geven op die vragen.
- 57:22Want het is gewoon best wel saai om met een chatbot te vragen, te praten die alleen maar vragen stelt. En, uh, ja, het is gewoon niet motiverend voor mensen.
- 57:30Ze kwamen erachter: dit gebruiken mensen in de praktijk niet en dan kunnen we ons doel niet bereiken, want dan kunnen we niet genoeg onderzoek doen.
- 57:35Dus toen dachten ze: wat maakt nou dat mensen graag praten met, uh, iemand anders over dit soort, ja, abstracte en emotionele ideeën bij hun werk?
- 57:47Nou, een plek bijvoorbeeld waar dat goed werkt, is als jij naar een conferentie toe gaat en je vindt iemand uit jouw vakgebied die je niet kent, maar die wel uit jouw vakgebied is en die ongeleer-, ongeveer hetzelfde, uh, kennisniveau heeft als jij, mmm, waarmee je op hoog niveau kan praten over je werk.
- 58:06Dan zijn mensen een stuk meer geneigd om te gaan babbelen. En dit is geprobeer-, dit is wat ze geprobeerd hebben te emuleren in een researchproject. Een inhoudelijk gesprek. Een inhoudelijk gesprek.
- 58:16Op het niveau van, op jouw niveau. Op jouw niveau. Je wordt ontmoet op jouw niveau. Je wordt ontmoet op jouw niveau door een chatbot. Wat een heel ander type gesprek is dan hoe een chatbot normaal tegen je praat.
- 58:26Namelijk: je stelt een vraag en je krijgt een antwoord. Dit ding is er niet op uit om, uh, een soort van resolution te bieden. Dit ding is erop uit om het gesprek gaande te houden. En wat was dit voor je?
- 58:36Ik bedoel, ik heb het nooit gezien. Hoe zag dit er in die week uit dan? Wel een chatinterface. Ja, het ziet er gewoon uit als Claude op het web, maar dan net een beetje anders.
- 58:44En dat ding praat tegen jou in plaats van dat jij dat ding activeert. Die opent het gesprek. Ja, de rollen zijn omgedraaid en dat ding stelt dus een aantal vragen.
- 58:54En ik was hier, uh, ja, ik dacht van tev-, ik dacht van tevoren: oké, het staat een week online, dus ik ga het wel proberen, maar ik verwacht er niet al te veel van.
- 59:03Maar ik viel dus best wel in verbazing over dat ik best wel een leuke avond heb gehad [lacht] met dit ding.
- 59:09Maar, ka-, help me even, want ik, ik heb hier dus niks van gezien, dus ik ga het allemaal even aan jou moeten vragen.
- 59:14Je opent dit en je opent met een vraag en die gaat proberen zo snel mogelijk jou te ontmoeten, want die weet nog niet wie je bent. Toch? Ja, hij zegt gewoon: hoe gebruik jij AI in je werk?
- 59:24Of, de eerste vraag was volgens mij: wat is de laatste keer dat je AI in je werk hebt gebruikt? Dus ik een beetje babbelen.
- 59:32Dan vraagt hij dus, nou, dus hij zei al: nou, dit ga ik gebruik-, ik, soort van, je antwoord ga ik gebruiken om, uh, om te leren. En, uh, hoe meer details je me geeft, hoe beter.
- 59:42Ik, als je computer zo'n spraakfunctie heeft, dan zou ik die zeker nu even gebruiken. Zoiets stond er ook bij. Het was best grappig. Het was zoals een mens inderdaad. Heb je dat gedaan ook? Spraak, of?
- 59:51Nee, ik heb het allemaal getypt, want er waren meer mensen in de kamer. En- [lacht] Je zat met elkaar een kerstfilm te kijken. Het was toch ongemakkelijk. Ik ga hier verder niet op in.
- 59:58In ieder geval, ik zat leuk te kletsen met mijn chatbotvriend en dat ding vroeg dus: wanneer heb je voor het laatst AI gebruikt? Nou, ik daar een beetje antwoord op geven en toen begon hij wat meer details uit te vragen.
- 1:00:07Maar het was de manier waarop hij de details uitvroeg dat ik bleef praten.
- 1:00:11En hoe meer ik bleef praten, hoe leuker dat gesprek werd.En ik merkte dus dat ik best wel serieuze antwoorden aan het geven was, omdat ik dacht: ja, dit ding begrijpt mij. Dat gevoel gaf het me.
- 1:00:21Het werd alleen maar beter. Het werd echt alleen maar beter. En toen was het klaar. Hij was ook de hele tijd aan het hinten naar: nou, laatste vraag, uh, vertel, praat vooral verder als je zin in hebt.
- 1:00:31Maar hij was het soort van aan het-- ik vind dat dus op congressen altijd heel chill als mensen die je niet kent bij je komen en zeggen: ik heb één, ik heb één vraag.
- 1:00:38Eigenlijk geven ze je daarmee toestemming om het gesprek ieder moment te onderbreken. Is gewoon best wel prettig. Hoe dan ook, dat ding deed dat bij mij.
- 1:00:45En, uh, toen merkte ik dus dat ik zei: ja, maar ik, uh, ik zei: ik had eerlijk gezegd verwacht dat ik ook nog wel wat zou leren van jou. Dus ik had een gesprek gehad.
- 1:00:55Ik had verteld-- hij vroeg waar ik me het meeste zorgen over maakte met gewoon AI in de brede zin van het woord. Hij heeft heel veel gehaald bij jou. Ja. In dat interview eigenlijk, want het is een interviewtechniek. Ja.
- 1:01:05Maar jij voelde je ook een beetje bestolen. Ja, ik dacht wel, ik, ja, dus dat zei ik letterlijk.
- 1:01:08Ik zei: ik heb jou net verteld wat ik eng vind aan AI in de wereld, namelijk: ik denk dat ik zelf best wel flexibel ben en ook ondernemend ben en het idee heb dat ik snel kan omschakelen en dat ik ook technisch wel veel snap.
- 1:01:23Dus dat ik sneller dan andere mensen me kan aanpassen aan deze revolutie. Maar dat kan niet iedereen. Voor mezelf maak ik me niet zoveel zorgen, maar dat kan niet iedereen.
- 1:01:30Dat was een beetje mijn punt, zo van: waar ben je bang voor? Dus hij zei: nou, dank je wel. Uh, heb je nog vragen? Toen zei ik: nou, eerlijk gezegd, ik hoopte van dit ding ook wel wat van jou te leren, zeg maar.
- 1:01:41Ja, dat vind ik heel goed dat je dat zegt en, uh, dat kan ik ook heel goed begrijpen. Nou, hier zijn drie redenen waarom jouw manier van denken, wat je daar wel tegenover kan zetten.
- 1:01:51En toen, toen verschenen dus die drie blokjes tekst op mijn scherm en ik heb echt even vijf seconden naar het scherm zitten staren, zo van: fuck.
- 1:02:00Hij kwam echt met, uh, ik snap wat je zegt over dat je denkt dat je je snel kan aanpassen, maar als we iets hebben gezien met eerdere technische revoluties, dan is het heel onvoorspelbaar waar, hoe mensen zich aanpassen, waarom mensen zich aanpassen en hoe dat precies gaat.
- 1:02:15Hij zei eigenlijk, er was een soort zinnetje bij waarin die, zonder het zo te zeggen, maar dat zat er wel onder, dat hij eigenlijk zei: het is een beetje, het is een tikkie uit de hoogte hoe jij redeneert over dat jij, hoe slim jij zelf denkt met AI in technologische, uh, verandering te zijn versus andere mensen.
- 1:02:33Want dat is niet hoe dit, dat is niet hoe diffusi werkt, dat je, uh, uh, je flexibel kan opstellen per se.
- 1:02:40Dus hij was de hele tijd een soort van combinatie van speldeprikjes aan het leveren, waardoor ik het nog meer serieus ging nemen en, uh, gewoon vet goede inhoudelijke repliek.
- 1:02:49Dat ik echt even zat: wat, wat gebeurt hier en wat is, waarom voelt dit zo? Waar, ik kan niet anders beschrijven dan vibes. Waarom voelt dit zo anders dan met een gewone chatbot praten?
- 1:02:59Precies, en ik ben dus heel erg gefascineerd. Ik ga toch even die verbinding maken weer met het puntje hiervoor van poetic. Is, heeft, uhm, kijk, ik ben inmiddels van de school: prompten is software schrijven.
- 1:03:13En daarmee bedoel ik niet: je kunt met AI software maken. Nee, de prompt die jij levert is als een stuk software.
- 1:03:20En, uh, net als dat als jij, uh, als er een nieuw Nintendo-spel uitkomt, dan kan jouw Nintendo Switch een heel ander apparaat voelen omdat het softwaremakers gelukt is op precies dezelfde console, niemand heeft iets aan hoeven passen aan jouw Switch, zulke slimme programmeercode dat jij ineens Mario Kart aan het spelen bent.
- 1:03:37Precies dezelfde Switch en het bestond nog niet daarvoor en niks aangepast aan je Switch.
- 1:03:40Als jij de prompt ziet als Mario Kart, namelijk alsof je een spelletje in de AI stopt en die hele AI verandert ineens in wat anders. Ja.
- 1:03:48Dus dan hebben we het niet meer over: ja, prompt is wel chill, want dan kan je een klein beetje sturen. Uh, uh. Je kunt nieuwe AI maken met prompts. Heeft dan hier Anthropic, uh, is, was dit, uh, Claude 4.6?
- 1:04:01Heb jij eigenlijk al met een beter model zitten praten? Kan, hè? Was dit Claude 4.5 Opus met een fantastisch zieke scaffold, dus stiekem een, een combinatie van agents.
- 1:04:11Jij praatte met zeven AI's tegelijk zonder dat je het doorhebt, die aan het gokken waren op de achtergrond wie antwoord mocht geven, of was het enkel en alleen een prompt? Ja. Was het alleen maar een system prompt? Ja.
- 1:04:22En dan nog, hè, als ik terugkom op prompten is software schrijven. Zou het kunnen dat je zonder een ander model, zonder een superman pack, Ja, ja, ja. gewoon door een megagoede prompt, uh, dat had kunnen doen.
- 1:04:32Nou, en, en potentieel dus, zelfs al is het het eerste namelijk gewoon, of het laatste bedoel ik, gewoon een simpel prompt, dan, zeg maar, dit, de, de, dit was zo'n belangrijke ervaring voor mij.
- 1:04:42Want niet alleen praatte ik voor het eerst eigenlijk met een taalmodel, best wel een moment. Ik praatte voor het eerst met een taalmodel waarbij ik aan het chatten was, doorhad: ik ben dit aan het doen.
- 1:04:50Ik ben zo iemand nu die met een AI aan het chatten is, zoals al die gekkies die verliefd worden op hun AI. Uhm, dit ben ik nu aan het doen. Ik ben me er bewust van en het is toch alsnog heel erg leuk.
- 1:05:01En twee dacht ik: jeetje, maar dit is natuurlijk hoe onderzoek gaat werken.
- 1:05:05Dit is de telefonische enquête on steroids en dit is de, weet je, ieder, iedere werkgever wil de hele tijd feedback van zijn kol-, van zijn personeel, uh, over of iemand, uh, nog tevreden is in, in, in, in het werk.
- 1:05:19Of iedere krant wil weten of ze nog betrouwbaar gevonden worden door de lezers.
- 1:05:24En dit g-, stiekem gebeurt dit natuurlijk de hele tijd en ik dacht: ja, dit is hoe het gaat zijn, dit is, dit motiveert mij om jou de waarheid te vertellen over hoe ik echt denk in plaats van hoe tot nu toe dingen gaan.
- 1:05:36Namelijk eigenlijk praten met, eigenlijk, hoe marktonderzoek nu wordt gedaan is natuurlijk dat je praat met een soort robotachtig mens, namelijk iemand die een la-, vragenlijst afwerkt. Helemaal niet leuk.
- 1:05:49Terwijl hier praten we met een mensachtige robot en het is veel leuker. Ik ben veel eerlijker. Nou ja, dat. En ik denk dat misschien nog een, uh, een laatste om het, uh, uh. Trek jij hier eens een strik omheen. Nou,
- 1:06:03ik had ook nog wel een grappig moment. Ik ga het proberen kort te houden, maar ik was met Walter Living aan het praten. Walter Living was voorheen: je bent op zoek naar een huis. Het is een website voor de huurmarkt.
- 1:06:12Ja, een website. Typ je adres in of de, uh, de link van de Funda-advertentie van je woning. Ja. En je krijgt een gaaf, mooi uitziend pdf-rapport met daarin wat een goei-goed bedrag is om te bieden.
- 1:06:24Dingen waar je op moet letten. Best wel tof. Dat doen ze al een pa-een paar jaar.Het is een soort dienst die jou helpt om een huis. Een aankoopmakelaar. Een aankoopmakelaar die jou helpt met informatie verzamelen.
- 1:06:35Ja, en dan draai je altijd gewoon lekker rapportjes uit van allerlei woningen die je interessant vindt en dan doen ze wat informatie bij. Ja, ja, of, of de prijs eigenlijk goed is, wat je onderhandelruimte is.
- 1:06:43Ja, en dan kijken ze natuurlijk ook in het kadaster wat er allemaal verkocht is in de laatste maanden om een beetje.
- 1:06:47Ja, je ziet hem voor je, maar die hebben nu een beetje geforceerd, vind ik, hè, mochten jullie luisteren, een beetje geforceerd een chatbot toegevoegd en ik dacht: meh, laat me gewoon die PDF's maken man.
- 1:06:58Ik ben, ik ben 39, ik wil gewoon PDF's. Ik wil niet met een chatbot praten. Ja, ja.
- 1:07:02Maar op een gegeven moment werd hij zo in mijn neus geduwd dat ik dacht, want ik denk: dat ding is matig, dat kan niet goed zijn, zeg maar. Dat ik dacht: oké, weet je wat?
- 1:07:10Want het, het knopje met, uh, download je PDF werd op een gegeven moment [gniffelt] weggehaald, dus ik moest dan aan die chat vragen: geef me die PDF.
- 1:07:16En toen raakte ik in gesprek en toen merkte ik: oeh, oh, dit is echt niet alleen maar even een system prompt. Hier zitten allerlei MCP's achter die met Funda en het kadaster kunnen praten. Oeh, dit hebben ze nice gedaan.
- 1:07:26Dus ik zei op een gegeven moment: oké, deze woning daar en daar, help me out. Dat zei ik gewoon. Ja. En dat ding, oké, ik ben nu dat aan het uitlezen op de achtergrond.
- 1:07:35Je ziet ook allemaal mooi visueel wat hij allemaal aan het doen is. Het is gewoon een, een, een, een grounded agent die op de achtergrond al die data kan ophalen. Relevante data kan ophalen.
- 1:07:43Ja, je bent in gesprek met ChatGPT, die wel alle koppelingen heeft die Argil dat hij nodig heeft om dit eigenlijk goed te kunnen. Zoals het kadaster, wat nu gewoon niet kan met ChatGPT. Precies.
- 1:07:51En, of, je moet, nee, dat kan niet en anders zou je heel veel moeten betalen en dat gaat, zit daar natuurlijk allemaal mooi in. En toen begon hij zo'n beetje te praten. Zei hij van: oké, ik heb het huis gezien.
- 1:07:59Ja, ik vind wel die prijs die nu op Funda staat is echt een lokkertjesprijs, dus ik zou een beetje opletten. En toen dacht ik: fuck it. Dus ik zo: lokkertjesprijs. Ja, dit, dit en dat.
- 1:08:06En, uh, dus ik zei: oké, maar kan, weet je dan ook huizen waar je van zegt dat die prijs wat eerlijker is? Ja, hoor, ik zal even in de omgeving zoeken. En ik, ik was dus, ik werd een beetje gegrepen. Ja.
- 1:08:14En ik, ik, daarom, ik kom hierop omdat ik uit jouw verhaal ook haal dat je eigenlijk weet wat de goochelaar doet, hè.
- 1:08:21We zitten hier zo te, te lang al en te diep in, jij en ik, dat je het eigenlijk al bijna niet meer kan zien, hè. Je ziet de technologie te veel, maar te weinig nog wat er aan de achterkant of aan de voorkant gebeurt.
- 1:08:31En jij bent eigenlijk in jouw gesprek met Cloud Research in een soort interview terechtgekomen wat jou een beetje gegrepen heeft.
- 1:08:37En er kwam zelfs best wel feedback uit naar jouzelf toe dat je dacht: jeetje, wat is dit nou? En ik zat dus een beetje met die, uh, uh, Walter Living bot te praten en ik merkte van. Dit is nieuw.
- 1:08:48Ja, en dit is ook best wel, best wel nice, zeg maar, van als, uh, die combinatie van data, gewoon goede data, waar zij natuurlijk dealtjes voor gemaakt hebben.
- 1:08:58Plus een, een prompt die daarbij bedacht is, waar zij heel goed van begrijpen hoe, hoe dit systeem eigenlijk gebruikt wordt.
- 1:09:04Uh, werd, was, voelde voor mij wel als, we hebben een beetje de, we zitten nu nog in, heel erg in: ik wil AI binnen mijn website, hè. Ik ben, ik ben een klant.
- 1:09:12Ik wil, hè, zet maar een bolletje in de hoek, dan kan je praten met de website. Vind ik een beetje makkelijk. Daar, dat is nog de meeste AI die ik nu zie.
- 1:09:20Naar de volgende stap is op maat gemaakte, echt tailored zeg maar, mooi op maat gemaakte interacties die voor mij als eindgebruiker voelen: oh, dit heb ik nu eigenlijk liever nog dan die PDF. Ja.
- 1:09:33Eigenlijk was die PDF altijd een soort matig gemiddeld middenpunt.
- 1:09:37Nou, en de, de, de, d-, wat we, wat we nu waarschijnlijk gaan zien is dat je dus allemaal AI-ervaringen hebt die ingebouwd zijn in tooling die je al gebruikt, zoals in dit geval deze huizenzoeksite,
- 1:09:51die qua databronnen gewoon helemaal geoptimaliseerd zijn voor het concrete probleem wat jij hebt. En ik moet, i-ik, ik denk dit ook vaak over wat ik zou willen van uitgevers, dus van een krantenabonnement.
- 1:10:04Nu is het zo dat als je een abonnement hebt op de Volkskrant, krijg je daar ook Het Parool en weet ik veel, Trouw en al die kranten bij. Dat hoort dan bij je abonnement, maar het zijn allemaal losse silo's
- 1:10:16die eigenlijk ge-, een interface hebben die geoptimaliseerd is voor het nieuws van vandaag. Dus dat is wat de krant is.
- 1:10:21Het is nieuws van vandaag en er zit wel een zoekbalk bij, maar dan kun je bij één krant zoeken en je kan, ja, het is een soort van random ranking en er moeten losse artikelen in om data op te halen.
- 1:10:32Terwijl ik zou eigenlijk, wat ik nu vraag aan chat, namelijk: leg mij eens uit hoe het nou eigenlijk zit met die stikstofcrisis. Dan krijg ik eigenlijk een antwoord gebaseerd op gratis journalistiek.
- 1:10:44Terwijl wat ik wil is dat dat ding de archieven van de Volkskrant en van de Trouw en dan zelf bedenkt: nou, hier pak ik die primeur van de Trouw. Of die hebben hier iemand gesproken, een wetenschapper die,
- 1:10:56uh, precies iets zegt wat tegengesteld is aan wat dit, in dit artikel in de Volkskrant gezegd wordt.
- 1:11:01Dat, dat die eigenlijk de, de, uh, de tekst die onder water beschikbaar is voor in dit geval DPG, maar dat kunnen ook andere uitgevers zijn,
- 1:11:11dat dat de bron wordt van de kennis die ik vraag en daar wil ik ook best voor betalen eerlijk gezegd, zoals ik voor Walter Living ook betaal. Of zoals je voor Walter Living ook betaalt als je een huis gaat zoeken.
- 1:11:20Precies. Wil ik dit eigenlijk ook voor mijn, kijk, research is een veel te zwaar woord. Ik heb gewoon soms vragen over het leven waarvan ik denk: de. Noem het de desk research.
- 1:11:29Ik bedoel, je zit een beetje op je bureau door wat dingen. Nee, maar het zit, het is ook gewoon, het is ook: help me met kiezen of help me met. Jij wilt gewoon dat hij ook even door.
- 1:11:37Kwalitatieve informatie als bron kunnen gebruiken. Ook de Consumentenbond er gewoon bij kan pakken. Precies, ik heb er zo'n zin in.
- 1:11:44Ja, en dan, en dan is het misschien uiteindelijk, hè, als het dan lukt binnen dat consortium van MCP, wat dan nu blijkbaar een protocol is geworden onder, uh, stewardship. Je gaat nu die strekking om me heen gooien.
- 1:11:53Ik hoor, ik geloof het. Daar zit ook iets van authenticatie in. Wil je niet gewoon uiteindelijk kunnen zeggen: ik heb een abonnement op de Consumentenbond. Ik betaal voor de Volkskrant.
- 1:12:01Ik wil ook nog wel betalen voor het Volkskrant archiefabonnement. Ja. Laat mij nou, laat nou mijn AI MCP-calls doen naar die da-- en ik, ik, ik heb daar gewoon een abonnement op. En weet je wat?
- 1:12:11Desnoods zijn het zeven microtransactions. Tel ze maar op. Ik klik op Mollie en ik betaal €17. Zou je als bedrijf moeten maken om per artikel te betalen. Top.
- 1:12:20Wij danken Sam Hingeveld voor de edit, Pankrath voor de vormgeving. Als je een lezing wil van Nier Hagen of van mij, dan kan dat mailen ons op lezing@aireport.email.
- 1:12:27Wil je tips en trucs krijgen om AI te gebruiken, het nieuws krijgen week per week en recensies van de beste AI-tools? Dan abonneer je op onze nieuwsbrief via aireport.email.
- 1:12:37En wil je vandaag beginnen met AI binnen jouw bedrijf, dan ga je naar deptagency.com/aireport. Dan helpen zij je verder. Dank voor het luisteren en tot volgende week. Tot volgende week.
- 1:12:49[muziek]