Latest / AI Report / Grok-3 daagt OpenAI uit + NYT omarmt AI + exclusief interview met Rick Lamers (Groq) | AI Report
Transcript
- 0:00Welkom bij AI Report, de Nederlandse podcast over kunstmatige intelligentie waar we uitzoeken welke invloed AI heeft op ons werk, ons leven en de samenleving.
- 0:09Tegenover mij Wiet Hage en we gaan het hebben Wietse over de New York Times. Die gaat ondanks een rechtszaak tegen OpenAI zelf AI tools inzetten op de redactie. Toch wel opvallend nieuws gaan we bespreken.
- 0:21En natuurlijk het grootste nieuws van deze week. Grok drie van Elon Musk zijn AI bedrijf xAI. Dat stormt, nou ja, de chatbot lijsten binnen en het overtreft GPT vier. Het overtreft Claude, dus dat staat nu op nummer één.
- 0:35Dat is toch wel een mooi record wat Musk daar bereikt. Maar tegelijkertijd rijst natuurlijk ook de vraag kunnen we dat wel los zien van zijn groeiende invloed op de wereld? Met AI, maar ook op andere manieren.
- 0:47Dat hoef ik vast allemaal niet helemaal uit te leggen. Kunnen we dat er wel los van zien? En moeten we daar nou echt erg zorgen over maken? Volgens Wietse wel, als ik het zo inschat. Hij begint een beetje te lachen. Ja.
- 0:59En plus Wietse gaat Rick Lamers van Grok met een Q interviewen. Ja, dus dat is die andere Grok. Niet Grok met een K, maar Grok met een Q. En dat gaat wel weer ook onder andere over Grok met een K. [lacht] yes.
- 1:14We dachten we houden het simpel. Ik ben Milou Brand en deze aflevering even terug op het oude nest met de nieuwe naam AI Report. Veel plezier!
- 1:32[muziek] Piet. Alexander die zit, weet ik uit betrouwbare bron, want ik zag het op zijn Insta. In een ramenrestaurant op een piste. Op een Japans toilet met een verwarmde bril. Maar ik zit hier tegenover jou.
- 1:47Dus ja, ik weet niet wie er meer geluk heeft, maar ik denk dat ik het ben. Nou, ik vind het vooral leuk dat je er weer zit. Ja, ik ben ook blij dat ik even, even mag invallen.
- 1:54Het is natuurlijk de kindervakantie en Alexander schijnt kinderen te hebben, dus dan. Zitten wij hier kinderloos dit op te nemen. Ik ga voortaan alle kindervakanties blokken, dan kan ik hier met jou zijn.
- 2:05Ik verheug me erop. Heel cute dat jij het kindervakanties noemt. [lacht] het is waar. Ja, dat zijn het ook. Maar ik zat me wel af te vragen welke piste heeft nou een Japans ramenrestaurant? Of zit hij in Japan?
- 2:19Weet jij dat? Nee, ik heb geen idee. Ik ben hem niet aan het beschermen. Ik weet echt niet waar hij zit. Nee god, wat zit hij onder de radar. Nou, jullie horen het vast allemaal later nog van hem.
- 2:28Laten we het nieuws gaan bespreken van deze week. En ja, aangezien ik hier toch slechts op bezoek ben, even weer tussendoor, voel ik als invaller de vrijheid Wietse om jou te laten openen.
- 2:39En jij hebt iets leuks op YouTube gezien. Ja, ik zag een video van Veritasium. Zo hebben we het afgesproken toch? Ja. Veritasium. Jij doet nu, we zeiden: gaan we het Amerikaans doen of Nederlands?
- 2:51En jij doet nu een soort merge daarvan. Dat mag van mij ook, maar het is Veritasium denk ik. Of Veritasium. Doe die laatste, want dan weten mensen meteen hoe ze het moeten schrijven. Ja.
- 3:01Het is een YouTube-kanaal wat ik al jaren volg en het voelt een beetje clickbaity. Als in: ik heb de video een tijdje overgeslagen in mijn YouTube-feed, want ik heb, ik heb een feed met vooral abonnementen, niet
- 3:14adviezen, anders word ik gek. Dus ik krijg alleen maar een lijst met iedereen waarop ik geabonneerd ben en daar is Veritasium er één van.
- 3:22En die heeft een video gemaakt eigenlijk waarin die een stukje geschiedenis, een soort mini documentaire doet over AI. En dat gaat over DeepMind. Demis Hassabis, die nu bij DeepMind en Google zit.
- 3:34En het gaat in zijn voorbeeld eigenlijk over protein folding, dus over het kunnen vouwen en voorspellen van de vorm van proteïne. Ja. En eigenlijk vind ik, deze video wil ik even tippen aan de luisteraar, omdat
- 3:47het is als je even door de clickbaitiness heen kijkt, want je scrolt er zo voorbij.
- 3:51Heeft hij eigenlijk niet handig gedaan, maar als je hem gaat kijken het is echt een gedegen mini documentaire over eigenlijk de historie en opkomst van AI. Dus eigenlijk voorspel machines.
- 4:02Waar ChatGPT een woorden voorspeller is, gaat het hier om proteïne voorspelling. Ja, we hebben het wel eens over gehad. AlphaFold. Ja, daarom. En eigenlijk AlphaFold komt er dus ook in langs.
- 4:11Maar wat ik heel prettig vind aan de video is één: oké, hoe kan dit dan toegepast worden buiten ChatGPT-achtige toepassingen? Dat wordt ineens heel helder.
- 4:20Het is best wel wholesome, want het is om eigenlijk mensen beter te maken. Het is om medicijnen te ontwikkelen. Het is om nieuwe behandelmethodieken te ontwikkelen.
- 4:29Ja, het is best wel moeilijk om een soort tegen die implementatie te zijn. En dat is denk ik tussen alle doom en gloom die ook langskomt in AI report wekelijks van wat er allemaal mis kan gaan. Ik werd er wel een beetje.
- 4:42Ik dacht wel aan het einde van die video ja, inderdaad, jeetje, wat gaat het allemaal hard. Want er zit ook allemaal grafieken in van dingen die dus jarenlang niet lukken.
- 4:49En dan ineens zie je even een staafdiagram voor je van 1987 tot en met 2016 waarin eigenlijk geen resultaten geboekt worden.
- 4:58En dan ineens zo [maakt fluitsgeluid] ontploft dat ineens en is het ineens opgelost, zeg maar opgelost als in is er een doorbraak? Ja.
- 5:04En dat past heel erg bij al die andere groei grafieken die er nu zijn in die AI wereld waar wij vooral over taalmodellen praten, zijn dit dus protein folding modellen. En ik, dat filmpje.
- 5:15Ik heb het naar heel veel mensen doorgestuurd en het liet me achter met een soort van: ja, jeetje, wat is het hard gegaan.
- 5:21Maar laten we ook even opletten van dat er echt wel doorbraken zijn en gaan komen die, die echt wel moeilijker als negatief te bestempelen zijn. Ja.
- 5:33Dus als we die taalmodellen als ChatGPT en zo niet hadden gehad, die ons naar die tekst voorspellen, hadden we ook geen AlphaFold gehad of andere modellen die eiwitten kunnen voorspellen.
- 5:43Ik zou zeggen de, de onderliggende uitvindingen die ChatGPT mogelijk hebben gemaakt zijn dezelfde uitvindingen als die zijn gedaan in de wereld van AlphaFold zeg maar.
- 5:53En waarom DeepMind, wat nu onderdeel is van Google en de Gemini models maakt,
- 5:58echt al een hele tijd meedraait en dat deze technologie gewoon veel breder inzetbaar is dan enkel op Sinterklaasgedichtjes schrijven, Copilot of ander soort toepassingen. Hierin zie je ook wel dat
- 6:10er zijn in deze tijd, mensen maken zich zorgen over van alles. Waarschijnlijk ook met recht, maar ook over de vooruitgang. En hebben we dat nou allemaal wel nodig, die, die technologische ontwikkelingen?
- 6:21En wat was er mis met gewoon zelf een mail schrijven? Ja. Maar uiteindelijk, ja, de vooruitgang laat zichGelukkig niet stoppen. Maar je ziet ook op dit soort manieren dat het ook wel echt natuurlijk heel belangrijk is.
- 6:35Want ja, we worden hier gewoon. We kunnen hier weer langer mee leven. Kun je ook weer zorgen over maken uiteindelijk of we de planeet langer moeten bevolken. Maar nee, dat is een nieuw project. Je gaat lekker, Milou.
- 6:45Yes! Het begon zo goed, het ging zo goed. Nee, ik zat te denken waarom raakt dat videootje nou zo? Of wat? Wat? Wat gebeurt er nou?
- 6:53En dat heeft er dan mee te maken dat die eh, dat het beeld wat daarin naar voren komt heel erg gaat over het gaat allemaal heel erg hard. Het is super breed inzetbaar, deze fundamentele technologie.
- 7:04En we kunnen hier medicijnen mee maken. We kunnen hier mensen mee genezen. We kunnen hier meer begrijpen over celbiologie, proteïnen en noem het allemaal maar op.
- 7:13Dat dat binnen een wereld waarin AI ook op hele spannende manieren ingezet kan worden, prettig is om een beetje een soort contragewicht te doen. Dus het is eigenlijk een mooie toepassing van AI op dit moment.
- 7:26De video heet ook The Most useful thing I has ever done. Ga het kijken van Veritas dus. Op YouTube staat het. Het is een lichtpuntje in de in de duistere wereld van AI.
- 7:38Nee, hij lijkt soms een beetje duister, maar er gebeuren natuurlijk ook goede dingen en het is goed dat daar even aandacht voor is. Andere toepassing van AI.
- 7:46Wie het nu breed in ieder geval gaat toepassen, dat is de New York Times. Zij gaan AI inzetten op de redactie. Dus een hulpmiddel worden. En dat kun je opvallend vinden.
- 7:55Want we weten ook de New York Times is verwikkeld in rechtszaken met OpenAI over het gebruik van artikelen van de New York Times op hun modellen. Getraind op copyrighted tekst van de New York Times.
- 8:07Ja, maar ondertussen moet de NYT natuurlijk ook mee in de in de vaart der volkeren. Dus ja, ook gebruik gaan maken van AI.
- 8:15Of in ieder geval ze zien daar nu opeens wel dan de meerwaarde van dat ze dat wel toch kunnen gebruiken om de redactie te ondersteunen. Waar moet je dan aan denken? Wat gaat er veranderen?
- 8:26De redactie krijgt eigenlijk een heel arsenaal aan AI tools tot hun beschikking. Dus denk aan het gaat helpen bij het schrijven van pakkende koppen. Het gaat helpen met het bedenken van interviewvragen.
- 8:38Volgens mij ook met het research doen. Dus je hebt soms wel paginalange onderzoeken. Nou ja, ik weet uit eigen ervaring dat Notebook LM heel goed kan helpen bij het
- 8:51ja, het doorploegen van die grote dingen om het beter te begrijpen en belangrijke details eruit halen. Of in ieder geval ook de details waar ik naar zoek.
- 8:59Daar gaat het bij helpen En ze rollen een eigen AI tool uit met de naam Echo. Dus ja, ze hebben ook nog iets. Is dat een interne tool? Ja, een eigen AI tool. Ja.
- 9:09Ja, ik ben wel benieuwd, want ik zat te denken is het niet gek dat ze aan de ene kant die rechtszaak voeren en aan de andere kant die tools introduceren?
- 9:15Maar ik denk niet dat het per se een rechtszaak is tegen AI of tekst voorspellende modellen als in dat moet weg, maar meer wij moeten gecompenseerd worden voor het feit dat het gebouwd is op ons intellectueel eigendom.
- 9:26Precies. En dat is een ander principe. En als die deal er eenmaal is, dan zien ze op zich geen probleem met het inzetten van die tool. Hebben ze uiteindelijk een soort manifesto geschreven dan of zo?
- 9:34Of is het nu helder binnen de organisatie waarvoor je het wel moet gebruiken en waar niet? Want dat is de belangrijke vraag altijd. Dat is voor zover het op mij overkomt, is dat nu dus helder gemaakt.
- 9:45Want dat dat nieuwe systeem wat ze zelf hebben ontwikkeld, Echo, dat gaat helpen bij het samenvatten van artikelen en van nieuwsbrieven. Dat kan journalisten ook weer helpen.
- 9:54Maar er zijn ook duidelijke grenzen aan wat er waarvoor de AI gebruikt mag worden. Dus het mag niet gebruikt worden voor het helemaal schrijven of ingrijpend herzien van artikelen.
- 10:05En ze gaan geen afbeeldingen of video's natuurlijk genereren, want dat dat past natuurlijk een, een journalistieke krant niet. En ja, vertrouwelijke bronnen, die mogen ook niet ingevoerd worden in de AI systemen.
- 10:17Om natuurlijk ook weer die bronnen te beschermen. Je weet anders ook maar nooit wat er op straat kan belanden. En is het ook een soort belofte die ze dan aan ons doen als lezers?
- 10:25Kan Kan ik ook inzien wat hun AI belofte is? Of is dit vooral een interne memo? Dit is hoe we het gaan gebruiken. Daar moeten we denk ik even het oog op houden. Want ik ben wel nieuwsgierig.
- 10:37Ja, want uiteindelijk ja je het. Je wil wel dat journalisten nog altijd de verantwoordelijkheid dragen voor wat, wat er de wereld in wordt geslingerd.
- 10:47New York Times zegt ook wel van altijd zal onze journalistiek worden geschreven en geredigeerd door onze experts. Dus de journalisten zelf, die blijven ook aansprakelijk. Dat staat in de in de richtlijnen.
- 10:58Dus ja, die moet ook. Aansprakelijk is niet het goede woord, maar die moet wel de de verantwoording af gaan leggen. Ja, want jij, jij schrijft zelf voor het Financieel Dagblad. Ja, ik ben columnist, dus ik schrijf daar.
- 11:09Ja, journalistiek kun je dat niet echt noemen. Dat is wel mijn achtergrond. Maar heb jij daar een soort regels opgelegd gekregen? Is daar al een echo waar je op? Ik zit mij gewoon even nieuwsgierig. Nee.
- 11:19Nou, ik heb er nog niks over gehoord, maar ik zit daar dus ook niet elke dag op de redactie. Dat is anders. Natuurlijk. Ik werk vanuit huis en ik heb ook geen regels in hoeverre ik wel of niet Cloud mag gebruiken.
- 11:30Maar ik kan daar heel transparant over zijn. Ik gebruik Cloud bijna altijd om gewoon te brainstormen en ook om te kijken als ik iets geschreven heb van hoe loopt het stel technisch goed?
- 11:40Is het logisch, volgt de ene alinea op de ander en daar geeft hij dan soms tips voor. En dan, ja, dan feedback. En die verwerk ik dan. En Notebook LM gebruik je ook? Ja zeker! Dat doe ik vooral recreatief.
- 11:54Als ik ga kijken bijvoorbeeld naar. Nou, laatst was er een, een onderzoek. Dat was eind oktober, toen heb ik het gebruikt. Er was een onderzoek, althans het acht.
- 12:02Het Acht uur journaal van de NOS die opende met een onderzoek. Jaarlijks overlijden duizenddriehonderd Nederlanders eerder door koken op gas, blijkt uit een groot onderzoek van een Spaanse universiteit.
- 12:14Nou, groot onderzoek stond erbij gelinkt, dus toen dacht ik nou laat ik dat eens bekijken, want daar kan je dan uiteindelijk echt. Kijk, het is goed dat ze daar naar linken, zodat je inderdaad zelf kan gaan kijken.
- 12:23Maar als je vervolgens ziet dat onderzoek is honderd pagina's lang, ja, wie gaat dat doorwerken? En ik vond het nogal een stellige kop gewoon zeggen.
- 12:30Jaarlijks overlijden duizenddriehonderd Nederlanders eerder.Door koken op gas. Hoe kun je dat zo direct aan elkaar linken? Dat lijkt me toch heel veel.
- 12:37Jij denkt dan dus tegenwoordig denk je dan oké, dan gooi ik dat even in NotebookLM. Ik ga eens even kijken. Ja, ga ik even kijken van kun je dit zeggen op basis van, uh, van wa-- van dit specifieke artikel?
- 12:48Want ja, zo wordt het wel genoemd, dus het kan ook een handige, handige tool worden voor mensen zelf. Nee, ik kook niet op gas meer. Nee, ik heb tegenwoordig elektriciteit. Ik dacht nou maak je je superzorgen.
- 12:57Nou, ik vind gewoon. Ik dacht: hé, ik kan dit heel makkelijk checken, want het lijkt mij iets waar heel veel dingen meespelen. Wil je ook weten wat het antwoord was? Want ik heb hem nog even teruggezocht.
- 13:05NotebookLM zegt: het is belangrijk om de stelligheid van de uitspraak over duizenddriehonderd sterfgevallen te nuanceren en de lezer te informeren over de onzekerheden en beperkingen die aan de schatting verbonden zijn.
- 13:17En nog dan een lijstje met de tekortkomingen van het artikel. Op zich, je kan dan zeggen van: oh wat erg, ze hebben het niet helemaal goed gedaan.
- 13:26Maar dat zie je natuurlijk altijd als er een wetenschappelijk artikel in de populaire media komt, dan. Ja, dan pakken ze er een paar zinnen uit. Die blazen ze op.
- 13:34Ja, want je moet een titel hebben, een kop en je kan dan niet zeggen van heel misschien. En ondanks, uh, er zijn wat beperkingen en bla bla bla nuance nuance. Dus dat snap ik ook wel weer als journalist.
- 13:44Maar tegelijkertijd, nou ja, als je dus zelf denkt van: hmm, dat vind ik wel heel stellig en laat ik zelf eens kijken of dat een beetje strookt met de inhoud van het onderzoek. Dan is NotebookLM wel een leuke tip.
- 13:54Ja, zeker. En bij, en nu bij The New York Times gaan ze dit, dit dus doen. Wat vind jij daar dan zelf van? Als je dat hoort dat je denkt: oh, ze geven zich over of daar gaat het, het is het einde van de New York Times.
- 14:05Of denk je juist: wat goed, veel beter onderzoek nu. Ik sta er een beetje ambivalent in, want het, op een bepaalde manier hoort het journalistieke handwerk dat je echt zelf iets helemaal moet uitpluizen en doorgronden.
- 14:18Dat helpt wel echt bij het beter begrijpen van een, uh, ja, van een hele situatie. Weet je wel, je kan-- het is heel makkelijk om ook met zo'n NotebookLM te gaan zitten cherrypicken. Van wat haal je er wel uit?
- 14:31Ja, dan, als je de opdracht geeft aan zo'n NotebookLM wat je wilt lezen, dan, dan lees je automatisch dus de andere dingen niet. Dus de kans wordt wel groter dat je ook dingen gaat missen. Misschien.
- 14:42Ik weet niet, het heeft, er zit iets bij van: uiteindelijk moet,
- 14:48uh, moet het er niet toe leiden dat we een soort van luie journalisten worden die, uh, te pas en te onpas denken van: oh, AI, laat ik het wel even doen, want ik, ik weet niet zeker of gewoon of, of je dan de kwaliteit die je levert als journalist kan waarborgen.
- 15:00Dat is wel een beetje mijn zorg, maar dat is op zich, ja, dat ligt misschien wel redelijk voor de hand ook. Wat denk jij? Uhm, nou ja. Als geen journalist, maar expert.
- 15:09We zitten nu [schraapt keel] in een soort tussenfase en ik weet niet hoe lang die tussenfase gaat duren.
- 15:14Van, uhm, als ik dan even het voorbeeld van een zelfrijdende auto neem, dat, nu zou je misschien nog zeggen, nou niet misschien, nu zeg je nog: joh, als ik in een zelfrijdende auto ga zitten vind ik best wel spannend en misschien wil ik wel achter het stuur zitten zelfs, zodat ik toch nog kan ingrijpen.
- 15:27En in een zelfrijdende auto gaan zitten zonder stuur vind ik al helemaal te spannend, hè. M-hm. Maar er komt een dag, ik weet niet hoe snel, dat je zegt: ik wil eigenlijk alleen nog maar in een zelfrijdende auto zitten,
- 15:39want ik vind het eigenlijk veel veiliger, hè, want die hebben statistisch veel minder ongelukken. Ja, ja. En die kunnen niet moe worden of een slechte dag hebben, stiekem drinken, noem maar op.
- 15:49Uh, dus je hebt de tussenfase van ik vertrouw het minder, dan ik vertrouw het ongeveer evenveel en dan ik vertrouw het meer. Ik denk dat die vertrouw ik meer dan vrij snel volgt op die middelste.
- 15:58En dat is dan met journalistiek mogelijk ook dat je denkt ja, ik lees liever een platform of uitgave of medium dat AI augmented is, dat hulp krijgt van AI-tools, want dan gaat ie, gaat het onderzoek tenminste diep genoeg of breed genoeg.
- 16:12Ja. Wat één mens of een kleine groep mensen helemaal niet kan. Dus het is nog een beetje de vraag.
- 16:18Nu is het misschien een smetje op het geheel als je aangeeft: ik werk met AI en dan hou je het een beetje intern in een memootje naar het personeel.
- 16:25Maar misschien wordt het op een gegeven moment wel iets waar je trots op bent.
- 16:28Dat je zegt: wij zijn een krant die, uh, hele geavanceerde AI inzet om te zorgen dat onze journalistieke, uh, waarheid, onze kwaliteit nog hoger is. Ja. Dus dat.
- 16:38Ja, ik moet, ik moet denken aan dat, uh, Little Britain heeft zo'n sketch met, uh, Computer says no. M-hm. Dus straks wordt het AI says no.
- 16:46Of ja, dat het argument wordt van: nee, maar het is waar, want AI heeft het gezegd. Ja, nee, precies, want ik merk dat nu, merk je nu al wel bij studenten.
- 16:55Zeker jonge studenten die net beginnen aan een opleiding, uh, dat die dan met voorbeelden komen als het om programmeren gaat, maar ook om teksten, reflectieverslagen.
- 17:04En dan tegen docenten zeggen: dit weet ik uit eerste hand van: ja, uh, maar AI zegt het, hè? M-hm. Als in, alsof dat een soort gewicht heeft. Zoals ja, goed, ik weet een beetje hoe die systemen werken.
- 17:15Dat heeft voor mij niet per se zoveel gewicht nu. Maar er komt miss-- voor mij ook wel een dag waar ik op ga zeggen: ja, dat, dat heeft gewicht. Nu is het nog gevaarlijk.
- 17:22Nu voelt het nog een beetje als Wikipedia aanhouden als referentie, zeg maar.
- 17:26Maar ja, als het op een gegeven moment wel deep research is die dagelijks, uh, het document updatet ook, hè, dus het onderzoek wordt ieder uur geüpdatet met de nieuwste bronnen en het nieuwste wetenschappelijk onderzoek.
- 17:36Ja, daar kan volgens mij een menselijke journalist of onderzoeker moeilijk tegenop. Ja, ja. En in die zin kan het natuurlijk, uh, een, een goede aanvulling zijn.
- 17:44Ik denk dat we nu nog op tussen punt één en twee zitten van wat jij noemt van de argwaan. Tussen het kan evenveel, tussen het kan meer. Ja, een terechte argwaan zou ik zeggen, want die systemen zijn nog niet zo gaaf.
- 17:55Het is ook de generationele argwaan verschilt een beetje, want de jongere. Jonge mensen hebben te veel vertrouwen, vertrouwen en de wat oudere mensen te weinig. Maar gemiddeld vinden we allemaal [lacht] hetzelfde.
- 18:04Let op. Dat scheelt dan weer. Uh, nou, het belangrijkste nieuws dan, uh, van, ja, deze week. Grok 3 van Elon Musk, uh, XAI. Dat komt binnen in de hitlijsten van de chat. Welke hitlijsten eigenlijk? De chatbot hitlijsten.
- 18:18Ja. LM Arena is dat waarschijnlijk. I-, uh, ja, ja. Ja, klopt. Uh, Chatbot Arena. Ja. Ja. Uhm, het staat op nummer één. Want ja, de prestaties van het model, die zouden echt indrukwekkend zijn.
- 18:29Het overtreft Gemini 2 Pro, Claude 3.5 Sonnet en GPT-4.4o op, uh, belangrijke benchmarks. Dat is op zich best bijzonder voor een bedrijf wat pas twee jaar oud is.
- 18:40En wij hebben het er van tevoren even over gehad: uh, hoe kunnen we het hier nou op de beste manier over hebben? Mogen de luisteraars gerust weten.
- 18:47Want, uh, ja, vooral jij vindt het een beetje ingewikkeld om het zo hier te doen.
- 18:52Ja, ik merk dat het soort jolig praten over Grok 3, gezien de situatie in de wereld op dit moment waar Elon Musk een enorme vinger in de pap heeft, uh, uh, niet kloppen of zo als we daar overheen springen.
- 19:04Uhm, ik vind het ook niet kloppen om het dan maar niet over Grok 3 te gaan hebben, want Elon Musk, uh, is een onprettig persoon. Ik denk dat we het juist over Grok 3 moeten hebben gezien de wereldsituatie.
- 19:14Wat een aantal dingen die we nu in, die we nu zien is, uh, die scaling hypothesis.
- 19:19Dus het idee dat als je er meer computerkracht tegenaan gooit zonder dat je nieuwe uitvindingen doet, fundamenteel theoretisch over hoe jouw taalmodellen zouden moeten werken.
- 19:28Die scaling hypothesis, hypothesis die houdt tot nu toe, als in: er is geschaald, er is meer computerkracht tegenaan gegooid en dat heeft een model opgeleverd dat iets beter presteert dan de topmodellen.
- 19:42Dat dat de vraag was ook. Dat is, op, op zich ligt dat best voor de hand, toch? Nou ja, zou je zeggen. Maar het kan, het kan echt wel zo zijn, uhm.
- 19:52Kijk, al dat soort paradigma's van hoe je, uh, kunstmatige intelligentie bouwt, die liep op een gegeven moment tegen een plafond aan ergens.
- 20:00Waarin je er wel, uhm, je hebt het bijvoorbeeld ook in, uh, in softwareontwikkeling. Je kunt zeggen: ja, een project duurt, als ik er één softwareontwikkelaar op zet, duurt het tien maanden.
- 20:11Duurt het dan één maand als ik er tien softwareontwikkelaars op zet? Nou ja, intuïtief zou je, voel je al: nee.
- 20:17Sterker nog, soms duurt het bij twintig softwareontwikkelaars op dat project duurt het nog langer dan die tien maanden, want ze moeten ook allemaal nog met elkaar overleggen. En mailen en, uh.
- 20:25Nou ja, dus dan komt er een stuk overhead bij. En op die manier kan je je ook afvragen of steeds meer GPU's tegen dat probleem aangooien, hè, dus, uh, schalen op hardwareniveau. Op een gegeven moment is data op.
- 20:37Dan moet je synthetische data gaan maken. Op een gegeven moment is energie op. Nou, er zijn allemaal redenen waarom
- 20:42het echt niet zomaar zo is dat die modellen maar door blijven schalen naarmate je ze meer, uh, rekenkracht geeft. Uh, maar wat nu Grok 3, uh, in ieder geval laat zien is dat de rek er nog niet uit is.
- 20:56Ik moet ook zeggen, toen ik die, uh, benchmarks aan het bekijken was.
- 20:59Ze hebben best wel lopen cherrypick hoor bij XAI, want ze hebben wel de benchmarks ertussenuit getrokken waar ze het best, waar ze het meest op winnen, zeg maar. Welke? Wiskunde. Als in logica.
- 21:10Uhm, en kijk, als jij denkt, en er zijn best wel wat mensen die dat denken, dat het universum een soort wiskundig iets is, hè, dus dat het hele universum waar wij in leven een uiting is van fundamentele wiskunde.
- 21:24Dat kan je, uh, noemen dat we in de matrix leven of, uh, dat, dat het universum een computer is. Of dat kan je allemaal dingen- Alles is een functie.
- 21:31Ja, alles heeft een, is een causaal verband tussen nodes in de, in het universum. En uiteindelijk zou je in theorie het hele universum na moeten kunnen bouwen in een simulatie. [lacht] Als je dat dan gelooft. Ja.
- 21:42Uhm, dan is op zich in de AI-wereld en in je, uh, taalmodellen of omnimodellenwereld, want het is meer dan alleen maar taal, vee-zo veel mogelijk trainen op die wiskunde een logische.
- 21:54Want alle andere dingen volgen daar dan vanzelf uit. Mhm. Hè, als, als, als het, als het onderst- als de onderste laag wiskunde is, dan moet je gaan trainen op de onderste laag.
- 22:02Dan volgen de lagen daarboven in die spekkoek, die volgen dan vanzelf. Uhm, nou, dat is, dat is een flinke aanname, want als blijkt dat wiskunde ook maar een laagje op iets anders is, dan lukt dat dus niet.
- 22:14Dan heb je altijd een soort van, uh, uh, ja, hoe zeg je dat, uh, [klikt met tong] matige representatie.
- 22:20Maar goed, al met al bij XAI, hè, want hun missie is ook volgens mij, uh, alle moeilijke vragen van het universum beantwoorden of zo.
- 22:29Hè, Elon Musk heeft er een handje van om zijn bedrijven, uh, uh, best wel grote missies te geven. We gaan SpaceX, we gaan op Mars wonen.
- 22:37Maar goed, maar dit is ook de missie van mensen die sterrenkunde, uh, studeren of, uh, daarop promoveren.
- 22:42Of, uh, het is een heel erg intrinsiek menselijke behoefte om de wereld om zich heen echt tot in den diepste te begrijpen. Het zou de missie van de wetenschap kunnen zijn. Ja.
- 22:50Dat je zegt: we willen de wereld beter begrijpen, waardoor we de wereld beter kunnen vormen, waardoor we de we- waardoor we in de wereld dingen kunnen maken die misschien minder pijn doen voor mensen of mooier zijn en, uh, noem maar op.
- 23:00Maar? Uhm, nou, de maar is, is dat, uhm, je uiteindelijk, uh, vanuit XAI nu een model gecreëerd wordt waar zij zeggen: wij zijn succesvol met ons model, want er komt steeds mooiere, snellere wiskunde uit.
- 23:17Steeds complexere wiskunde. Want waar zijn al die, uh, al die verschillende laboratoria naar op zoek? Hoe ze hun missie ook, uh, op papier hebben gezet. Wij willen voorbij de mens.
- 23:30Wij willen uiteindelijk, uh, dat er nieuwe, uh, wiskundige, uh, uh, modellen en, uh, ja, wetenschappelijke, uh, doorbraken komen.
- 23:40We willen dat de Nobel, de volgende Nobelprijs en, uh, en enzovoort gewonnen wordt door een van onze modellen. Mhm. En, uhm, nou ja, dat, dat is nu, uh, lang verhaal kort, want ik dwaal weer af. Mhm.
- 23:54Wat ik interessant vond nu Grok 3 uitkwam. Ik ga dan meteen naar die benchmarks toe omdat ik wil kijken. Nu hebben zij dus een datacenter vol met hardware. Die gooien ze ertegenaan. Wat gebeurt er dan? Nou, wat blijkt?
- 24:06Het wordt nog steeds slimmer, beter, hoe je het wil noemen. Het scoort beter op benchmarks. Dat is eigenlijk het enige wat we kunnen zeggen. En, uhm, dat vind ik wel nieuws.
- 24:15Als in: oké, dat betekent dus dat, uh, OpenAI, uh, Anthropic, uh, Mistral, uh, DeepSeek, die ook allemaal door aan het gaan zijn en met het doorschalen en met het uitvinden van nieuwe, uh, trucjes.
- 24:29We zijn er, we zijn er nog niet en misschien was dat voor luisteraars sowieso van: ja, maar dit AI-ding ging toch sowieso [gniffelt] alleen maar gaver en sneller worden. Dat, dat weten we niet.
- 24:38Kan zomaar dat je toch tegen een plafond aanloopt ergens, maar dat plafond lijkt nog niet in zicht. Zolang we maar meer rekenkracht inzetten. Blijkbaar. Ik snap het. EnWat betekent dit nou praktisch voor mij?
- 24:48Behalve de geopolitieke praktijk bedoel ik dan gewoon hoe kan ik Grok? Stel dat ik dat zou doen. Ik mag echt niks meer doen. Dat mag echt niet. Ik ga niks doen. Maar kan kunnen mensen het gebruiken?
- 25:00Nou ja, in de EU niet. Ik moet zeggen dat op de website van Grok met een k.com daar staat best wel een oké berichtje, want ik, ik had zoiets.
- 25:10Oh ja, dit gaan ze natuurlijk cynisch framen hè, van: beste inwoner van de EU, door jouw bureaucratische bla bla bla die alleen maar plastic dopjes kan verwijderen van colaflesjes. Dat hadden ze. Ik was me niet.
- 25:23Zou me niet verbaasd hebben als dit er stond. Wietse breng ze niet op ideeën dan. Nee, er stond er staat zoiets van joh,
- 25:30we zijn heel erg ons best aan het doen om te kunnen voldoen aan de voorwaarden wat betreft dataopslag en privacy die voor jullie geldt in de EU. Toen dacht ik dit is een prima bericht, daar ben ik het mee eens.
- 25:42Dan duurt het maar wat langer. Maar ja, er zijn uiteraard andere manieren hoe je alsnog met dit model kan praten. Maar de mensen die dat willen, die weten dat wel.
- 25:51En zo niet, ja, kijk even naar een VPN of die arena waar jij het over had. Maar zit het ook in op in X of zo? Of ja, het zit uiteindelijk in X als X ai zeg maar daarin dan. Daar zit Grok in, maar het wordt ook.
- 26:03Het wordt nu ook een opzichzelfstaand iets. Dus de Grok app en de Grok site zoals je die kent van ChatGPT en Cloud, zodat hij mee kan komen in dat rijtje. Ze hebben hem dus ook losgetrokken uit de de X app.
- 26:16Al zijn de abonnementen wel weer aan elkaar gekoppeld. Maar goed. Ja, ja, ja oké, ik vond even heel iets anders, maar toch een vraag van mij. Hij geeft altijd zijn auto's. Dat moet uiteindelijk.
- 26:27Ze hebben het model S en model E en model X. Dat moet dan seks worden en hij geeft altijd best wel gewoon. Ja, die e kon niet door Fox trouwens, dus dat is een drie geweest. Maar. Ja. Oh ja, precies. Anders andersom.
- 26:41Waar slaat Grok op? Ja, Grok is het soort van fundamenteel begrijpen van iets van I Grok it. Dus jij zeg maar ja, ik, ik, ik op een, op een. Het is een soort zwaardere manier van zeggen. Ik begrijp het. Oh ja, oké. Oké.
- 26:57Nou weet ik dat ook weer. Ik begrijp het. Ja, jij Grok het. Straks Wietse, heb jij een interview met Rick Lamers van een andere Grok, namelijk Grok met een q. Zij zijn dus niet Grok met een k.
- 27:10Wat Grok met een q doet is ja, ze maken eigenlijk specifieke hardware, dus computerchips specifiek voor AI. Als ik het goed heb begrepen. Dus een soort Nvidia, maar dan net even anders. Jij gaat hem interviewen.
- 27:23Waar ga je het over hebben? Wietse? Uiteraard ook over Grok met een k. Om het lekker verwarrend te houden, maar ook over nog veel meer dingen die die specifiek Rick weet en ik niet.
- 27:34Oké, dat straks eerst nog even een bericht van onze trotse hoofdsponsor Dept. En daarvoor hebben wij Marjan en Lucas ingeschakeld die even komen vertellen over wat AI voor non-profits kan betekenen.
- 27:47Dus ja, AI voor het goede doel. Hoi, ik ben Marjan van marketing en tech bureau Dept. Elke week praat ik met mijn collega Lucas over hoe wij merken helpen in de wondere wereld van AI. Deze week AI voor good.
- 28:02Want veel non-profits hebben beperkte middelen. Genoeg mogelijkheden voor AI dus om hun impact te vergroten.
- 28:08Dat zagen we ook deze week bij de lancering van Signs, wat we samen met Nvidia en American Society voor Deaf Children ontwikkelden. Lucas. Waarom is dit zo'n belangrijk project? Ja, wereldwijd.
- 28:19Zijn er meer dan 450 miljoen mensen die doof of slechthorend zijn en voor hen is gebarentaal essentieel om te kunnen communiceren met de wereld om hen heen.
- 28:27Helaas heeft niet iedereen toegang tot onderwijs die nodig is om zichzelf de taal eigen te maken. Hoe werkt het precies? Voor een gebruiker heel eenvoudig.
- 28:35Je gaat naar de website van Signs, start je camera op en kan meteen aan de slag met het model. Het model doet een gebaar voor en vervolgens als gebruiker doe je dat na.
- 28:44Het model laat je dan meteen weten of je het wel of niet goed hebt gedaan. Het is een zelflerend model, dus het model leert ook weer van iedere interactie die die heeft met een gebruiker.
- 28:52Wat ook betekent dat als jij een taal al spreekt, je ook het model kan trainen die taal te gaan spreken. Want het is goed om te weten dat gebarentaal niet universeel is.
- 28:59Er zijn verschillen tussen verschillende markten en culturen. Het model werkt echt als een leraar, dus past zich aan aan het niveau van de gebruiker. Dus op die manier leer je samen die taal steeds beter spreken.
- 29:10Wow, dat is best wel impressive. Ja, ik denk dat we met AI echt een groot verschil kunnen maken. Veel voorbeelden die we nu zien zijn heel erg marketing of aan de digital experience kant.
- 29:18Maar Science laat zien dat je echt hele grote fundamentele veranderingen kan maken als je AI goed weet in te zetten. Oké, nou dank Lucas. Niet afwachten maar doen dus, want wie vandaag begint loopt straks voorop.
- 29:31Ga naar Dept agency dot com slash AI report als je meer wil weten. Tot volgende week! En dan nog even dit. Op donderdag 13 maart begrijp ik. Wietse, ga jij en Alexander wat leuks doen tijdens lunchtijd.
- 29:48Van twaalf tot één is het eerste webinar van AI Report. Jullie gaan vragen van luisteraars beantwoorden, begrijp ik. Van leden van de nieuwsbrief die daarvoor betalen voor de nieuwsbrief.
- 29:59Wel even belangrijk om te te zeggen. En waar mogen die vragen eigenlijk over gaan? Wat mij betreft alles wat relateert aan deze show en aan de nieuwsbrief zelf. Van praktisch tot geopolitiek alles. Ja. Ja.
- 30:12Ja, geopolitiek heb ik, heb ik eigenlijk te weinig verstand van. Ik denk dat de de luisteraars en de lezers van de nieuwsbrief redelijk kunnen inschatten waar Alexander en waar ik antwoord op zouden kunnen geven.
- 30:23Ja, als je ons complexe vragen gaat stellen over kernfusie of de situatie van China dan, dan hebben wij het waarschijnlijk wel even moeilijk. Ja, ik.
- 30:33Denk dat luisteraars en betalers van de nieuwsbrief wel snappen waar jouw kracht zit. En dat zit hem toch ook heel erg in het technische vlak. Maar ook in het filosofische vind ik toch wel iets.
- 30:42Maar goed, in ieder geval kun je al je prangende vragen aan Wietse en Alexander stellen over AI en die kun je van tevoren ook al insturen. Daarover vind je meer op AI report punt e-mail slashWebinar.
- 30:54En, uh, ik begrijp ook wel dat er al flink wat vragen zijn ingestuurd, uh. Dat klopt. Ja, heb je al een paar gelezen? Ja, vanochtend nog. Zitten er goede vragen bij? Zitten leuke vragen bij. Oké. Ja. Oké.
- 31:03Allemaal geopolitiek. Want ik las: iemand is benieuwd naar een serie prompts waarbij de ene prompt de output van een andere- Ja, daar heb ik het ooit over gehad.
- 31:10Dus nu willen me-mensen weten hoe Oppakt en dat weer beter maakt en hoe dat zelf in elkaar gezet kan worden. Ja. Dus dat is best wel een praktische vraag.
- 31:19En er is ook iemand benieuwd naar hoe deep research nou echt in elkaar steekt, hoe het te werk gaat in onderzoek. Ja, handig om te weten lijkt me wel. Ja. Voordat je er € 200 per maand aan uitgeeft. Zeker.
- 31:30Dus het is ook nog goed voor je eigen portemonnee om naar het webinar even, even aan te sluiten. Goed. Donderdag 13 maart tussen 12:00 tot 13:00. Dat en veel meer.
- 31:42[muziek] Milou zei het al: ik ben met Rick Lamers gaan zitten van Groq met een Q, om met hem te praten over Grok met een K en daarnaast over nog 20 andere onderwerpen gerelateerd aan AI.
- 31:51Het is best wel een lang interview geworden. Het gaat best wel wat kanten op, maar er zit echt heel veel interessants in. Uhm, ik denk dat je het misschien een beetje heftig vindt soms.
- 32:00Zet je hem even op pauze en misschien vind je het een beetje lang. Zet je hem gewoon uit. Maar al met al een heel interessant gesprek met Rick Lamers van Groq. Heel veel plezier!
- 32:11[muziek] Rick, voordat we beginnen heel even Groq-3. Uh, wat is jouw take op dit nieuwe model? Ja, Groq-3 is, uh, de laatste iteratie van xAI. Het is ook, ja, zou ik kunnen zeggen nu wel echt een bonafide frontier lab.
- 32:27Is gewoon een, een, uhm, een, een serieuze poging om de beste, uh, uh, het beste AI-model te, ter wereld te maken, zeg maar. Zo spreken ze ook die ambitie uit. En Groq-3 is net uitgekomen.
- 32:39Ik heb begrepen dat het, uh, pretrainen van het model dat ze gedemonstreerd hebben in hun, uh, in hun soort van release, uh, aankondiging dat die klaar was met trainen op 31 januari dit jaar.
- 32:50Dus die is echt vers van de pers, uh, zou je kunnen zeggen. En, uhm, wat ze daarmee laten zien is eigenlijk dat ze, uh, hetzelfde niveau hebben bereikt als, uh, de beste modellen van OpenAI.
- 33:05Uh, niet helemaal omdat A-, uh, OpenAI heeft, uhm. Zeg ik nou net OpenAI? Dat is wel- Ja, dus ik dacht: hè, Rick, wat leuk [lacht]. Ja, ja. No worries. In het Nederlands. Ik vraag, dus, uh,
- 33:18ze laten daarmee zien dat ze concurrerend zijn met OpenAI's, uh, beste modellen die ze publiekelijk, uh, hebben laten zien. Dus OpenAI heeft het ook over het o3, uh, model dat ze hebben.
- 33:30Dat gebruiken ze alleen intern, uh, voor, voor hun benchmarks. Uh, fun fact: o3 wordt blijkbaar gebruikt voor een feature in ChatGPT. Dat heet deep research.
- 33:40Daarmee kan je een, uh, kan je ChatGPT heel lang laten onderzoeken, uh, voor een bepaalde onderzoeksvraag en die komt dan uiteindelijk terug met een soort geschreven rapport. Blijkbaar is dat de volledige o3,
- 33:50uhm, maar die kun je dus niet direct nog gebruiken. En, uh, Groq-3 is dus een model dat lijkt even goed te zijn als de allerbeste modellen die dus beschikbaar zijn.
- 34:03En dan vergelijken ze het bijvoorbeeld met o1, het volledige o1-model van OpenAI en met o3-mini. Uh, uh, en, en dat, ja, dat is op zich wel interessant omdat het in hele korte tijd is gedaan.
- 34:16En, uh, kort, dan heb je het dus over iets van 1,5 jaar dat dat team, zeg maar, echt begonnen is met actief proberen het beste model te bouwen en dan nu bij is met de leider in de markt, OpenAI.
- 34:28En, uhm, in zekere zin zijn ze best wel standaard hetzelfde, want ze hebben ook gewoon twee versies. Eigenlijk vier. Ze hebben een, uh, reasoning en een non-reasoning variant, en dan een grote en een kleine.
- 34:40En het grote reasoning model, dat is dus het beste model en het kleine niet-reasoning model is het, het slechtste model in termen van kwaliteit van antwoorden op allerlei verschillende benchmarks. En
- 34:52ik denk dat vooral die snelheid was soort van nieuwswaardig.
- 34:55Mensen wisten niet van: gaan ze het nou echt voor elkaar krijgen om, uh, een model, uh, zo snel, uh, af te hebben dat, uh, repliceert als het ware wat de beste speler in de markt doet.
- 35:04En dat hebben ze gedemonstreerd en daar is ook best wel unanieme consensus over, dat het is nu gewoon xAI en OpenAI zijn gewoon soort van at parity, zijn gewoon even goed.
- 35:15En dat is natuurlijk ook wel interessant gegeven de context, want, uh, Elon Musk was betrokken bij OpenAI eerder, is uiteindelijk, uh, weggegaan en OpenAI is meer separaat gegaan en daar zijn dan ook later rechtszaken, ze-, uh, et cetera over gekomen.
- 35:27Maar je ziet dus nu dat er dus twee losse bedrijven zijn.
- 35:30xAI heeft heel veel, uh, mensen aangenomen, is heel erg snel gegroeid, heeft allemaal goed research en AI-talent, uh, aangetrokken en is dus nu een volwaardige concurrent van OpenAI op het gebied van, uh, ja, dit soort, uh, taalmodellen.
- 35:44En, uh- Ik denk ook als ze met zo'n snelheid kunnen bijkomen dat ze deze snelheid een soort van gaan houden nu.
- 35:50Hè, dus dat was het- Dat is natuurlijk interessant, want je zou het kunnen hebben over die sloop, hè, dat is interessant. Ze hebben een veel, veel steilere sloop dan OpenAI. Ja.
- 35:58En aan de ene kant zou je kunnen zeggen, uh, dat is, uh, indicatief voor dat zij ook, uh, sneller, uh, zullen blijven en dat ze die sloop gaan gebruiken om OpenAI te overtreffen.
- 36:11Aan de andere kant is het natuurlijk ook wel, uh, makkelijk om te repliceren wat men al heeft uitgevonden, want ze kunnen wel gewoon afkijken, uh, want ze hebben gerepliceerd.
- 36:20Ze hebben niet per se heel iets anders gedaan.
- 36:21Ze hebben eigenlijk gewoon gekopieerd wat OpenAI al deed en daarvoor hebben ze natuurlijk een eigen pre-training data moeten samenstellen en hebben ze bepaalde trainingstechnieken moeten oplossen.
- 36:31Wat, wat interessant was, was dat ze het in die, uh, aankondiging hebben gehad over dat ze, uh, heel veel moeite hebben gehad om een training run stabiel te krijgen op de schaal van 100.000 GPU's.
- 36:43Dus, uh, ze hadden eerst, uh, net voor elkaar gekregen om 8.000 GPU's tegelijk te gebruiken voor een training run.
- 36:50En heel veel van de werkzaamheden en vertraging, uh, om bij te, te komen had te maken met: hoe maak je nou een training run stabiel en, en werkend op 100.000 GPU's?
- 37:01Uh, omdat er als je op zulke grote getallen zitUh, krijg je allemaal uitvalproblemen. Allemaal hardware defecten die heel zelden voorkomen, maar op die schaal wel, wel vaak genoeg dat ze lastig worden.
- 37:12En dat moesten ze oplossen. Daar hadden ze het zoveel over, vond ik interessant in die, in die livestream, omdat dat dus blijkbaar echt een van de grootste uitdagingen is.
- 37:20En dan zie je dus ook van wat is nou eigenlijk de, de, de, de, de muscle die die organisaties moeten ontwikkelen? Dat gaat dus niet zozeer om, uh, de architectuur, want weet iedereen, dat is transformer.
- 37:31Het gaat ook niet over, uh, post training. Dat is reasoning. Dan zet je een, uh, reasoning, uh, functie op en dan doe je reinforcement learning.
- 37:38Uh, en, en, uh, het gaat dus eigenlijk meer om hoe zorg je er eigenlijk voor dat je de, de system engineering van die schaal, een datacenter op die schaal die gekoeld moet worden.
- 37:47Ze hadden het over de energy spikes die, uhm, uh, geproduceerd worden als, als een soort concert in één keer al de GPU's tegelijk hard gaan en dan weer niet en dan weer aan.
- 37:56Hoe vang je die stroomklappen op in een net vers aangelegd, uh, datacenter in een oude fabriek? En, en dus gaat het eigenlijk veel meer over die, die, die, die, die problemen.
- 38:05En juist als je dat perspectief benadrukt, is het interessant om te, v-, uh, de vraag te stellen: wat is nou eigenlijk de bottleneck naar, uh, het kunnen inhalen van OpenAI?
- 38:14Hoe kan bijvoorbeeld xAI betere modellen nog bouwen dan, uh, OpenAI? En dan denk ik dat je, dat je kunt zeggen: nou, Elon heeft wel trackrecord als het gaat om dat soort echte, soort van physics problemen.
- 38:25Uh, stroominstallatie, koeling, dat mobiliseren. Als je autofabrieken kan bouwen, kan je ook datacenters bouwen.
- 38:31Ja, als jij een Gigafactory kan neerzetten op die schaal en snelheid in, in China, in, in Amerika en daar, daar met, met zeg maar zegt van: oh, we gaan twee keer zo groot en het dan ook echt doen een jaar later, dan zie je dat, uh, als dat de skill is die nodig is en belangrijk is voor het opschalen van AI en nog betere modellen maken, dan, ja, heb je wel een geduchte concurrent te pakken.
- 38:51Dus, uh, dat is wel iets waarvan ik denk dat, d-, daar zou je op moeten focussen als je wil begrijpen van wie gaat er nou winnen in die race. Ja, en dan, we zijn nu heel snel er even ingesprongen.
- 39:02Uhm, ik kondigde het net al aan Groq met een Q, Grok met een K. Kan je ons nog heel even helpen wat het verschil is tussen die twee? Ja, dus, uh, die twee namen lijken heel erg op elkaar.
- 39:12Het, het refereert allebei naar het concept van Groqing, to Groq. En, uh, het bedrijf Groq met een Q, dat is een bedrijf, uh, waar ik dan voor werk. En dat, dat maakt eigen processoren om, uh, AI-modellen te draaien.
- 39:27En er is ook Grok met een K en dus, ja, ja, da-dat is verwarrend. [lacht] Wij hadden de naam eerst, uh, zij kwamen daarna. En Elon, uh, die, uh, die, die wil zelf, uh, kiezen hoe die dingen noemt.
- 39:39Dus, uh, maar voor de luisteraars dus. Ik werk bij Groq met een Q. Groq met een Q maakt processoren. Grok met een K is een AI-model. En zijn jullie dan directe concurrent van Nvidia?
- 39:51In een zekere zin ja en op een andere manier niet. Nvidia doet veel meer, dus wij zijn eigenlijk heel specifiek bezig met één, uh, soort AI, uh, workload zoals ze dat noemen in, uh, computerwereld.
- 40:06En dat is inference, dus dat is als je een model gaat gebruiken in een praktijk. Je bent niet meer het model aan het bouwen. Je bent het model niet meer aan het trainen, maar je bent een model aan het gebruiken.
- 40:16Dat noemen ze dan inference, want dan draai je, uh, allemaal verschillende verzoekjes van mensen die een, een, een, een vraag willen stellen aan een AI-model. Dat, dat doen wij specifiek. En, en Nvidia doet veel meer.
- 40:29Los van dat ze in AI dus zeg maar, uh, zowel het trainen als het, uh, inference gedeelte, dus het draaien van modellen regelen, heeft Nvidia natuurlijk nog een veel bredere markt. Dus ze bedienen ook gamers.
- 40:40Ze hebben ook andere edge devices, uhm, voor embedded AI, voor embedded, uh, acceleration. Dus, uh, Nvidia doet veel meer. Maar als je het hebt over AI, dan is Nvidia zeg maar beter in trainen, uh, dan in inference.
- 40:55En wij specialiseren zich, ons op inference en dus, uhm, ja, concurreren op dat gebied wel met Nvidia. Ja, dus modellen getraind op Nvidia hardware, die kunnen ook draaien op hardware van Groq.
- 41:08Klopt, want die modellen als ze eenmaal klaar zijn, zijn het eigenlijk niet veel meer dan hele grote rekensommen. En die rekensom, die wordt uitgedrukt in, uh, in operaties.
- 41:20Dus, uh, je pakt een getal, je doet het keer zoveel en je doet er een getal bij en je deelt het door iets.
- 41:26Dat zijn eigenlijk gewoon allemaal, uh, rekenstappen die je in zijn geheel één groot, als één grote rekensom kan zien.
- 41:32En ik denk dat het misschien ook voor de luisteraars wel logisch is dat een rekensom, als dat een computerprobleem is, dan, zeg maar een, een rekensom op een computer draaien, dat is niet per se gebonden aan, uh, specifieke hardware.
- 41:45Uh, elke, elke processor kan een rekensom, uh, uitrekenen.
- 41:49Ja, in dit geval is het zo dat deze meer parallelle berekeningen die gedaan kunnen worden eigenlijk beter op een GPU, een grafische processor, kunnen gebeuren, zoals Nvidia die maakt voor games, maar ook met hun CUDA-layer, hè, dat er AI-applicaties op hun grafische processoren kunnen draaien.
- 42:05Heeft Groq een processor ontwikkeld die heel goed toegespitst zijn op het maken van de berekeningen nodig voor de transformerachtige modellen, zoals een Llama bijvoorbeeld van Meta waarmee je tekst kan voorspellen.
- 42:18Nou, je moet hem eigenlijk nog iets breder trekken. Dus Groq, uh, heeft processoren ontwikkeld, niet specifiek voor de transformerarchitectuur.
- 42:27Als je een beetje het AI-nieuws volgt over ChatGPT en wat die modellen, waar dat vandaan komen, dat, dat is allemaal gebaseerd op de transformer architecture.
- 42:37Uhm, maar, uh, Groq heeft, uh, sinds 2016 al, uh, chips ontwikkeld. 2016, even voor de luisteraars, dat is, uhm, het jaar voordat Attention Is All You Need, dus voordat de transformerpaper uitkwam.
- 42:53Dus op dat moment was er nog geen sprake van een transformer. Die was nog niet uitgevonden. Uh, hadden zij dus al de chip ontworpen en ideeën over hoe je zo'n chip moet ontwerpen.
- 43:02En dat gaat dus niet specifiek over die transformerarchitectuur, maar meer overWat is het karakter van die rekensom als het ware? Dus wat, wat maakt het nou zo moeilijk of duur om dat uit te rekenen?
- 43:13En, uh, waar, uh, je in machine learning in de breedste zin, dus, uh, attention, uh, modellen, transformer modellen, dat is echt een subset van alle machine learning modellen die bestaan.
- 43:25Wat wel een gemene deler is over alle machine learning is dat ze heel erg data heavy zijn, dus dat in die berekening heel veel als het ware constanten zitten.
- 43:35Uh, dat, daar komt ook dat miljarden parameters verhaal vandaan. Als je het hebt over grote modellen, wat is dan groot? Wat zijn die miljarden parameters?
- 43:43Dat gaat dus over dat er heel veel data, zeg maar, die kennis bevat die in dat model is getraind. En dat deel maakt dat die berekening op, uh, in, in zijn geheel dataflow heavy is.
- 43:56Dus er moet heel veel data bewogen worden, uh, van, uh, zeg maar de opslagplek, harde schijf naar het echt in de chip zelf zetten zodat er een berekening mee gedaan kan worden.
- 44:07En dus de chips van Groq zijn niet voor transformers geoptimaliseerd, maar voor machine learning in de brede zin, uh, waarbij je dus heel veel data, uh, gebruikt bij de berekening.
- 44:19De berekening als het ware leunt op, op miljarden cijfertjes en die moeten allemaal aanwezig zijn om de berekening te kunnen doen.
- 44:27En dat, uh, specifieke kern, uh, eigenschap, uhm, uh, maakt dat je zowel veel memory, veel geheugen nodig hebt om al die cijfers in op te slaan als je de berekening aan het doen bent.
- 44:40Uh, maar ook dat paralleliseren, dus dat is weer, uh, uh, dat zeg je goed. Dat is een belangrijk onderdeel.
- 44:46Want als je al die berekeningen allemaal stap voor stap gaat doen, als dat over heel veel datapunten moet, dan kan je je voorstellen dat het heel lang duurt. Maar we willen allemaal snelle AI modellen.
- 44:56En, uh, de kern is dus dat je, uh, zowel om moet kunnen gaan met heel veel grote data, dus, uh, grote hoeveelheden data in die berekening en dat je dat allemaal parallel zoveel als kan moet uitvoeren, zodat het ook nog een beetje snel gaat.
- 45:13Je kunt je voorstellen als je in je hoofd bedenkt: ik heb 10 miljoen cijfers en ik moet nu, uh, al die cijfers keer twee doen. Nou, dat zijn allemaal 10 miljoen verschillende cijfers.
- 45:24Als ik dat een voor een ga doen en dan beginnen we met het eerste getal, tweede getal, derde getal duurt heel lang. Maar als je zegt: nou, weet je wat, ik kan er 5.000 tegelijk, dan gaan we gewoon per 5.000.
- 45:345.000, bam, klaar. 5.000, 5.000, 5.000. En dat, dat parallelisme, zeg maar, dat zit, uh, samen met dus die hele hoeveelheid, hele grote hoeveelheid data die je in, in het geheugen moet laden.
- 45:45Die twee dingen, dat, dat is eigenlijk het karakter van machine learning workloads en dan specifiek, uh, machine learning, uh, workloads in de hoek van deep learning.
- 45:55Dus buiten, zeg maar, als je een beetje zo'n Venn diagram voor je ziet. Machine learning is de grote ronde cirkel.
- 46:00Daarbinnen heb je deep learning en dat is eigenlijk altijd zoals ik het beschrijf met dat karakter dat je parallel nodig hebt en grote hoeveelheden data. Dan maak ik hem even concreter nog. Zit hem helemaal erin. Ja.
- 46:13Uh, die gaat dus in deep learning weer nog een kleiner eilandje bestrijken, want er is ook deep learning wat weer geen transformer is.
- 46:21En als ik dan zo'n transformer thuis wil draaien, hè, dan zeg ik bijvoorbeeld ik maak, probeer hem even concreter te maken, hè. Heb ik een Mac mini, 16 gigabyte RAM zit erin.
- 46:30Dat is dan in het geval bij Apple ook nog VRAM, hè, dus die, die grafische processor heeft wat meer toegang nog tot dat RAM, dus dan heb je die snelheid die je nodig hebt. Unified memory.
- 46:38Maar toch, als ik dan zo'n Mac mini'tje koop voor € 600, dan wil ik daar eigenlijk DeepSeek R1 op draaien. Maar dat kan dan niet, want ik heb niet genoeg geheugen. En dat, maar dat hebben jullie dus wel [lacht] bij Groq.
- 46:50Wat moet ik me daarbij voorstellen? Het begint bij form factor. Dus wat je al zegt een Mac mini, die kan je in je hand houden. De servers van Groq, die beslaan hele datacentra.
- 46:59Dus het begint al met dat we letterlijk gewoon meer fysieke ruimte hebben om al die chips aan elkaar te ketenen. En dan samen hebben ze genoeg geheugen om die modellen te draaien.
- 47:08Dus, uh, dat is ook gewoon een kwestie van wij hebben gewoon meer ruimte en we schakelen meer van die apparaten aan elkaar om tot het geheugen te komen dat nodig is om die modellen te draaien.
- 47:20Maar het is dan niet zo als, uh, want als we nog, nog een stapje terug doen, uhm, wanneer jij, uh, thuis, uh, dit soort modellen zou willen draaien en je gaat wel kaarten kopen bij Nvidia.
- 47:30Je hebt een hele diepe portemonnee, dan ga je daar, of een hele dikke portemonnee eigenlijk, diepe zakken.
- 47:35Dan ga je daar kaarten kopen met zoveel mogelijk geheugen, want er moet met heel veel geheugen, heel veel data moet er verwerkt worden, zeg maar.
- 47:42Uhm, het liefst real time, zodat je tenminste antwoorden krijgt die je kan meelezen als een mens, hè. Een aantal tokens per seconde die passen bij hoe snel een mens kan lezen, zodat het een beetje bruikbaar blijft. Ja.
- 47:51Uh, maar als ik jouw verhaal zo hoor, dan is het bij Groq zo dat dat geheugen verdeeld is over al die verschillende processoren. Is dat een heel ander, uh, een heel ander ecosysteem?
- 48:01Of lijkt het wel op hoe andere partijen ook, uh, ja, dit soort berekeningen doen in een datacenter?
- 48:06Dat opsplitsen en dat opknippen van een model, uh, over verschillende, uh, chips als het ware, die dan op een manier met elkaar, uh, in verbinding staan. Dat gebeurt ook op die kleinste schaal.
- 48:16Dus er is bijvoorbeeld een, uh, project. Ik geloof dat dat Exo nog iets Exo Labs ook heet.
- 48:23Die, uh, werken ook aan software die het mogelijk maakt om weer meerdere Mac mini's in serie te zetten, zodat die, uh, grotere modellen dan op één Mac mini past kan draaien.
- 48:33En, uh, dat gebeurt dus op die kleinste schaal al van, zeg maar, Mac mini's thuis voor wie s-die modellen lokaal willen draaien, uh, tot in de grootste datacentres, uh, centers.
- 48:43Want ook met GPU's, uh, die modellen passen ook niet op één GPU, dus die moeten ook geschakeld worden aan elkaar. En is dit dan waar ze, ik ga even een sprongetje maken, hoor.
- 48:51Uh, is dit dan waar ze bij DeepSeek het voor elkaar kregen dat ze, terwijl ze geen interlinking hadden tussen die verschillende kaarten van in dit geval Nvidia, ze toch interlinking mogelijk hebben gemaakt op een andere manier.
- 49:02Dus dat ze eigenlijk een beetje gehandicapt gemaakt waren tussen al die links, tussen al dieOnderdelen. Dat gaat over trainen. Dus waar we het nu ook over hebben, gaat met name over dat stuk inference.
- 49:11Dus waar, als je model klaar hebt en je wilt model gebruiken, dan ga je model, uh, inzetten om allemaal queries te beantwoorden. Uh, dus, dus dat, daar schakel je.
- 49:21Waar je nog meer afhankelijk bent van schakelen is bij trainen.
- 49:25En het verhaal van DeepSeek dat ze slim om de beperkingen van die gelimiteerde chips, die, uh, H8100, uh, die ze wel tot hun beschikking hadden, hoe ze om die limieten heen hebben gewerkt.
- 49:37Dat was een verhaal van, uh, hoe kan je om de, de, de verbinding tussen die kaarten, de interconnect zoals ze dat noemen, hoe kan je daar, uh, slimmer en efficiënter mee omgaan?
- 49:49Daarvoor heeft Team DeepSeek heel slim, uh, door nog lower level te gaan als het ware, een manier gevonden om dat te, te verbeteren, zodat ze uiteindelijk betere train, uh, prestaties kregen.
- 50:01Ja, laten we die inderdaad dan nog even parkeren, omdat het dus meer over trainen gaat dan inference. Want ik begrijp uit jouw verhaal dat Grok zich minder richt of helemaal niet richt op trainen. Nee, helemaal niet.
- 50:12Nee, klopt. Dat zijn hele bewuste keuzes. Er zijn geen klanten die nu trainen op jullie, uh, hardware. Correct. Correct.
- 50:18Dat is gewoon, uh, dat is niet iets fundamenteels aan de, aan de, de computers, want in die zin lijkt trainen en inference wel op elkaar. En zit van het zijn allebei zeg maar meth malls en matrix multiplications.
- 50:32Uh, maar het is, het is wel een ander, uhm, een andere workload die weer eigenlijk vereist dat je op een andere manier, uh, die computerarchitectuur maakt.
- 50:42En Grok heeft gewoon gezegd: kijk, uiteindelijk zit de grootste markt in het draaien van die modellen.
- 50:49Want als je eenmaal een extreem goed model hebt, uh, ook omdat je die modellen dus heel veel actuele en relevante informatie kunt voeden via de context window in het geval van transformers, kan het zomaar zijn dat we tot een punt komen dat we modellen hebben die gewoon goed genoeg zijn, die n-niet nieuwe kennis nodig hebben, maar die gewoon altijd voor jouw vraag gevoed worden met de meest relevante informatie.
- 51:11Is het iets waar je denkt dat het naartoe gaat qua in, qua-- dit is een beetje, ik hoor een beetje alsof je dit eigenlijk al gelooft.
- 51:17Ja, nou ja, wat wel leuk was, is deze, in, uh, Silicon Valley, uh, zijn er vaak coole meet-ups en hackathons en één daarvan, uh, is, uh, die heette voorheen CUDA Mode en heet nu GPU Mode.
- 51:31En daar was ik, uh, als participant. Kreeg daar een beetje hacken, beetje, uh, uh, ideetjes testen. Dan lees je een research paper en dan implementeer je een, uh, een idee uit zo'n paper.
- 51:41Dat is een beetje de opzet van dat event. En daar waren ook mensen zoals André Karpathie gewoon aanwezig.
- 51:46Die liepen daar gewoon rond, waren een beetje aan het, uh, hacken en aan het presenteren en aan het praten met de rest. En ook mensen van bijvoorbeeld die bij Meta werken, die Meta heeft dan Llama ontwikkeld.
- 51:55En, uh, wie daar ook langskwam was de, [kucht] de godfather van het boek, uhm, Parallel Computing.
- 52:03Ik moet even de titel opzoeken, maar het, het is in ieder geval, het is zeg maar het referentiewerk voor als je kernels wilt programmeren.
- 52:08Kernels zijn kleine programmaatjes die je schrijft als je een GPU, uh, wilt programmeren.
- 52:15En, uh, wat hij zei, dat was een soort van zijn inzicht wat hij wilde delen, is dat hij dus denkt dat we veel meer toegaan naar modellen die niet zozeer, uh, ook een, ook een bibliotheek zijn, dus die ook al die feitenkennis, al die gedetailleerde, bijvoorbeeld in die, in die laatste modellen daar zitten vaak, uh, dat is heel, heel, heel raar eigenlijk.
- 52:34Dan zit er bijvoorbeeld, uh, de, de hash.
- 52:37Dus als je een, als je een bestandje hebt, bijvoorbeeld een pdf-bestand en je, en je berekent als het ware, uh, een soort, een soort code die samenvat wat in de informatie van die pdf zit, dan krijg je een soort onleesbare lange string van letters en- Controleren of je hetzelfde bestand hebt binnengehad.
- 52:54Exact.
- 52:54En, en heel veel, uh, van dat soort hash strings die gewoon, zeg maar, uh, eigenlijk niet, niet direct informatie bevatten, maar, maar alleen gebruikt kunnen worden om bijvoorbeeld te checken of dingen gelijk zijn.
- 53:06Zit allemaal in het geheugen van die modellen.
- 53:08Dus er zit als het ware heel veel, uh, waste in, in wat er in die, uh, modellen zoals een, uhm, Llama 3, uh, 3.1, een Llama 3.370B, wat er in die modellen, zeg maar, in die weights zit.
- 53:21En dus het punt wat, wat die man maakte op die, op dat event was dus ik denk dat we toe gaan naar dat we het voor elkaar krijgen om modellen te trainen die dus niet zo extreem veel informatie, uh, moeten bevatten, maar dat veel meer opvragen als het ware veel meer, uh, last- Ik, ik vergelijk dat zelfs, hè, vaak met dat je een, je kan een pianist hebben die allerlei muziekstukken uit zijn of haar hoofd kent en dat dan kan spelen ter plekke zonder bladmuziek.
- 53:46Of je kunt een pianist hebben die gewoon ontzettend goed die bladmuziek kan lezen, hè, maar niets, niets uit zijn hoofd weet. En die geef je dan een stuk van Beethoven en die gaat ie spelen. Exact.
- 53:55Noem het intuïtie versus feitenkennis. En ik verbaas me eigenlijk over hoe-- want het is ook voor de eindgebruiker nu verwarrend, hè.
- 54:02Ik praat, ik geef veel lezingen, ik praat veel met mensen over taalmodellen, over ChatGPT en die zeggen dan: ja, ik heb het vanochtend nog getest, kwam weer allemaal gebla uit.
- 54:09Terwijl ik zeg: ja, maar het is geen kennisbank, het is geen database, het is iets veel gavers eigenlijk. Wacht maar tot je dat toegang geeft tot een daadwerkelijke kennisbank.
- 54:17Maar hoe verklaar jij dat het in eerste instantie wel hele grote modellen zijn geworden die toch gewoon complete hashes erin hebben zitten als een soort bijenrommel, zoals in onze eigen genetische code, hè.
- 54:27Een soort van garbage die er eigenlijk gewoon uit kan. Ja, nou kijk, het, het komt neer op het punt dat we niet weten hoe we, uh, eigenlijk een, een puurder model moeten maken.
- 54:38Een model dat als het ware wel al die redeneer, uh, vaardigheden heeft, dus, dus bladmuziek kan lezen als het ware om even de, de analogie door te zetten. Uhm, en
- 54:51omdat we dat niet weten, zijn we nu aangekomen bij een soort van onze beste poging om, om intelligentie, uh, te creëren, uh, in een computersysteem. Kunstmatige intelligentie.
- 55:02Uh, z-zitten we, zeg maar, met deze realiteit opgescheept als het wareEn waar ik denk dat ze wel naartoe willen is om te kijken: hoe kan je daar een soort van, en dit is ook weer ook iets wat André Karpathy later heeft herhaald, ook op Twitter, uhm, waar die dus zegt van: we moeten eigenlijk naar een soort common core reasoning model wat zeg maar al die basiskennis heeft.
- 55:24Uhm, en het is bijna ook een filosofische vraag, want kun je, kun je, uh, intelligentie echt loskoppelen van kennis over de wereld? En ik denk dus dat- Iets wat zegt: ik ben heel wijs, maar ik weet niks.
- 55:37Ja, ik, uh, ja, ik denk dat er allemaal gedachtes al wel over bestaan en die allemaal veel genuanceerder zijn [gniffelt] dan ik zou kunnen uitleggen of zo.
- 55:44Maar het is, uhm, het is wel, uh, interessant die vraag van: kun je, hoe, hoe ver kun je hem uitkleden als het ware?
- 55:52Want je zou kunnen zeggen: als je helemaal geen kennis hebt van, uh, zeg maar feitenkennis hebt van geopolitiek, uh, en niets weet over de historie van hoe landen, zeg maar, ooit georganiseerd waren en, en nu georganiseerd zijn.
- 56:06Hoe kan je dan, uh, iets zinnigs zeggen als iemand iets vraagt over: wat is waarschijnlijk wat er gaat gebeuren met de Oekraïne situatie? Daar zou je toch ook heel veel feitenkennis bij moeten gebruiken.
- 56:17Ja, ik heb een, uh, goede vriend van mij, die zit in het onderwijs. Die zegt altijd, uh, tegen mij vooral [lacht] zegt ie van: je mist een stukje Bildung.
- 56:25Hè, dat is eigenlijk het opbouwen van een soort intellectuele kapstok om dit allemaal aan op te hangen. Wat dus ook een stuk wereldgeschiedenis is. Waar liggen de landen, hè?
- 56:33Ik bedoel- Ja...ik weet wel wat hoor, maar er zitten best wel wat gaten bij mij, omdat ik, ik voel me in dat opzicht best wel, uh, ik heb best wel veel empathie voor, uh, dunne taalmodellen.
- 56:42[lacht] Omdat ik, ik ben veel meer van patronen herkennen, intuïtie en, en ja, dingen zien in het nu dan per se dat ik jaartallen kan opdreunen of MD5-hashes. Ja, precies.
- 56:55En dus jij bent misschien dan, uh, uhm, een, uh, de, al de common core wat meer. En, uh- Dank je wel man...reasoning models. Ja, jouw woorden. Uhm, maar ik, ik, ik denk dus dat, uhm,
- 57:06uh, kijk, uh, uh, de, de, de obvis-, uh, oplossing zou dus zijn dat hij dat allemaal dynamisch kan ophalen.
- 57:13Dus als hij bezig is met nadenken dat hij zegt van: nou, ik weet eigenlijk niet hoe het historisch zit, maar ik denk dat het wel relevant is, want hij heeft misschien wel het concept van historische context als, uh, als primitief en, en, en dan gaat hij dus kijken naar: nou, dan ga ik eerst even heel, uh, specifiek gewoon de volledige geschiedenis door, uh, van, uh, hoe die landen, uh, en verhoudingen zijn ontwikkeld.
- 57:35En dan heeft hij in één keer, misschien wel in 90 milliseconden, uh, een context opgebouwd van, uh, alle 700 jaar geschiedenis en kennis die gedocumenteerd is daarover.
- 57:45En dus- Ik vind het wel boeiend, hoor, want het is eigenlijk een onderwijsvraagstuk in een andere verpakking.
- 57:51Hè, want dan, het ging er bij mij altijd over dat ze zeiden: ja, waarom zou je Grieks en Latijn leren, hè, en dooie talen? Maar dat Grieks en Latijn zit onder alle andere talen.
- 57:59Dus misschien is het wel veel efficiënter om Grieks en Latijn te leren en Duits en Frans te laten liggen. Is dat wat ik bedoel.
- 58:04Omdat je daarmee een soort van intuïtievere, s-, veel efficiëntere manier van een mens trainen. Ik wil ons niet te veel gelijkstellen aan, maar ook wij worden op een bepaalde manier in onderwijs getraind.
- 58:13Hè, dat je zegt van: moeten we niet fundamen-fundamentele zaken gaan proberen aan te leren en dan die specifieke zaken er vlug bij zoeken, uh, just in time.
- 58:22Ja, en dat, dat is, dat zijn gewoon echt megagrote open vragen, ook voor alle grote frontier, uh, labs.
- 58:28Dus al die, al die, uh, bedrijven, die zijn natuurlijk in heftige strijd met elkaar, omdat het doen van dit soort werk kost heel veel kapitaal.
- 58:36Je moet al die traininginfrastructuur aanschaffen, je moet de mensen in dienst hebben. Er wordt heel erg geconcurreerd om talent, dus dat drijft ook weer de kosten van talent.
- 58:45En er wordt, uh, daardoor dus heel veel geëxperimenteerd met: welke ideeën werken nou?
- 58:50En, uh, voorheen had je dat heel veel van die mensen dat werk ook deden in de context van academische instellingen en die konden dan ook vrijuit publiceren over wat ze vinden.
- 59:00Maar er is natuurlijk ook een soort braindrain geweest waarbij al die beste frontier labs van OpenAI tot Anthropic tot DeepMind, et cetera, dat die allemaal gaan rondsnoepen bij al die conferenties.
- 59:09Die hebben grote, grote cheques geschreven. NeurIPS. En dat een deel van die mensen zegt: hé, ik wil wel, uh, bij een, uh, bij een lab gaan werken, want dat vind ik vet. Ik vind het gaaf wat ze aan het doen zijn.
- 59:19Maar de consequentie is dan dat ze niet meer mogen publiceren. Maar dit is dus actief waar heel veel onderzoek naar wordt gedaan. Hoe kunnen we intelligentie het best modelleren?
- 59:27Wanneer krijg je dan de meest kostenefficiënte intelligentie? Dus een klein model zou ook goedkoper kunnen zijn om te draaien. Dat is goed voor energieverbruik, maar- Lokaal kunnen draaien op een telefoon.
- 59:37Ja, bijvoorbeeld. Maar voldoet het dan aan de eisen? Als iedereen het gewoon allemaal op hun eigen hardware kan draaien.
- 59:42Uh, net zoals dat gamers veelal nog steeds thuis gewoon op hun eigen pc-hardware gamen in plaats van dat iedereen cloud gaming gebruikt. Externaliseer de energierekening natuurlijk astronomisch.
- 59:52En, en ook misschien dat je, ja, de vereisten die je stelt als gamer aan jouw, uh, hardware qua, qua betrouwbaarheid misschien anders dan wat je in een datacentrum moet garanderen.
- 1:00:01Zie de, als er mensen een abonnement op hebben. Dus al die, al die, uh, dingen, ja, die, die spelen allemaal een rol.
- 1:00:06Maar het komt erop neer dat we niet goed begrijpen hoe intelligentie, uhm, kunnen, kunnen emuleren met een computer, kunnen, kunnen, kunnen bouwen met een computer.
- 1:00:15En dat dus al die ideeën geprobeerd worden, maar dat er, dat er dus op het gebied van, als je dan weer terug bent naar dat computerarchitectuur hackathon verhaal van wat zij die, uh, die, die, die, uh, die, die, die, uh, die heel, uh, heel erg ervaren professor die dat boek had geschreven over hoe je dat soort computerarchitecturen moet programmeren, was dat zijn gevoel was dat we nu nog te veel, dus alle, alle bibliotheekkennis als het ware alle feitenkennis volledig proppen in dat model en dat daardoor, uh, het draaien van die modellen zo extreem kostbaar is.
- 1:00:42Omdat je dus alles in memory moet hebben, heel veel loze ruimte, uh, gebruikt, omdat je misschien voor, uh, de, de miljoen vragen die je daarna beantwoordt heel veel van die kennis helemaal niet aanraakt.
- 1:00:53Dit is ook waar synaptic pruning vandaan komt, toch als een van de onderzoeks-- dat je zegt: ik draai een benchmark, daarna schiet ik erop met een hagelgeweer. Draai ik hem nog een keer en dan ga ik erachter komen.
- 1:01:02Het is even heel ongecenseerd, maar- Ja, dus dat deel wordt niet gebruikt voor als je- Ja...als je het model aan het gebruiken bent en dan kan je, zeg maar, dat dead weight als het ware eruit halen.
- 1:01:10Dus er wordt op heel veel manieren wel gepoogd om dat efficiënter te maken.
- 1:01:13En dat is ook, uh, uh, het, het onderzoeksgebied wat, uh, zou kunnen leiden tot dat we modellen hebben waarbij al die nutte, uh, niet, niet noodzakelijke feitenkennis, feit-feitenkennis die als het ware allemaal just in time, zeg maar, opgehaald kan worden.Uh, dat, ja, hoe, hoe je zo'n model bouwt.
- 1:01:32En misschien, uh, is dat, hè, een stukje dat je gaat introspectie gaat doen. Dus als dat model bezig is, dat je kijkt welk deel raakt hij nou eigenlijk effectief aan?
- 1:01:40Dat kan je allemaal een soort van met een x-ray erop zetten en dan kan je zien wat er gebeurt. Ja, zo'n hoedje wat mij, wat je bij mensen op kan zetten met, uh, sensoren zet je dan op je model.
- 1:01:48Ja, zet je op een model en dat is natuurlijk bij een model een stuk makkelijker dan bij mensen, uhm, omdat het gewoon uiteindelijk rekensommen zijn en dat gewoon delen van, uh, van die, uh, matrixmultiplicaties niks bijdragen aan het eindantwoord.
- 1:02:00Die lichten niet op. Die lichten niet op. Dus dat, dat, dat speelt allemaal. Maar dat zijn ook op zich wel relevante thema's weer voor Groq, uh, want die is verantwoordelijk in hun, uh, bestaansrecht.
- 1:02:12En gaat om, wij willen die AI modellen draaien, zo kostenefficiënt mogelijk, maar ook met zo goed mogelijke prestaties, zodat mensen er vernuftige toepassingen mee kunnen bouwen.
- 1:02:21En als je snelheidsbudget hebt, wij staan bekend omdat we de snelste inference provider zijn, uh, in de markt en dat je dan extra budget hebt om vette dingen te bouwen omdat je die snelheid krijgt.
- 1:02:31Dus dat sneller maken, de economischer maken, dat is, uh, waar wij heel erg geïnteresseerd in zijn en waar ik dus ook actief, uh, onderzoek naar doe. Ja, want dat is mijn vraag aan jou eigenlijk.
- 1:02:40Precies, want is, is Groq, Groq kan natuurlijk wachten, hè, tot er weer efficiëntere modellen komen om die dan op jullie hardware te draaien. Maar je kan natuurlijk ook onderzoeken en bijdragen aan. Dat gebeurt dus ook.
- 1:02:51Ja, zeker, zeker weten. Dus wij hebben echt hele teams die gewoon bezig ga-, zijn met, uh, bijvoorbeeld het onderwerp quantization. Dus als je het even platslaat, als je dat nog nooit, nooit hebt gehoord.
- 1:03:02Quantization is het idee dat je de precisie van de informatie vermindert. Dus waar je misschien normaal kon je één, twee tot en met tien uitdrukken, zeg je: nou, nu mag je alleen maar één, drie, zeven en tien.
- 1:03:11Een soort lagere resolutie JPEG. Ja, lagere resolutie JPEG. Dat is een goede, uh, vergelijking. Of, of soms heb je misschien wel eens van die plaatjes gezien die bestaan uit veel minder kleuren dan je gewend bent.
- 1:03:20Dat je denkt van: nou, die kleuren, die zijn een soort van platgeslagen op de dichtstbijzijnde kleur, maar die lijkt er niet helemaal op.
- 1:03:25En dat, dat, dat soort onderwerpen, ideeën, daar wordt actief onderzoek naar gedaan. Quantization is maar één ding en zo. We hebben heel veel ideeën waar we aan werken om die modellen efficiënter te draaien.
- 1:03:36En dat zijn dan alleen maar open weight modellen. Dus modellen die vrijgegeven zijn, uh, in de markt. Niet alleen maar. Dat is wel waar we tot nu toe op gefocust hebben.
- 1:03:45Maar we zijn ook bezig met, uh, bedrijven die zelf een model ontwikkelen dat niet, uh, om wat voor reden dan ook, misschien economisch, uh, vrij willen geven omdat ze een concurrentievoordeel willen behouden.
- 1:03:56En wij kunnen dan een partner zijn die dan die modellen voor die bedrijven kunnen draaien. Als ze dus wel die economische en snelheid voordelen willen die we kunnen bieden door onze chips.
- 1:04:07Ja, dus niet alle endpoints van, van Groq zijn publiek. Ik bedoel, ik, ik kan een account aanmaken bij jullie, dan kan ik een API.
- 1:04:13Die lijkt nog eens op die van OpenAI ook, dus die plak ik er gewoon in en dan kan ik ermee praten. Gaat het in één keer 10 keer zo snel.
- 1:04:19Maar er zijn, het is niet dat jullie hele infrastructuur alleen maar bezet gehouden wordt door publieke endpoints. Correct. Zeker. We hebben ook gewoon deployments die voor klanten specifiek zijn.
- 1:04:29Ja, want de chips worden ook verkocht aan andere datacentra begrijp ik dan. Of dat niet? Uuuh, dat was vroeger wel zo.
- 1:04:35Dus Groq heeft natuurlijk als scale-up en, en daarvoor startup wel ook, uh, een, een soort, uh, ontdekkingsproces van wat gaan we nou doen precies met het businessmodel?
- 1:04:43Gaan we de chips direct verkopen of gaan we, gaan we meer zelf die chips ontwikkelen en beheren en dan uiteindelijk alleen maar een API, uh, verkopen zoals, uh, jij, uh, die net beschrijft?
- 1:04:53Want je kan natuurlijk dan, uh, OpenAI, uh, inruilen voor het Groq endpoint en dan krijg je dus de, de modellen van Groq die open source zijn, maar je hoeft er eigenlijk niets aan te passen.
- 1:05:04En dat, dat, die go to market als het ware, dus zo verkopen in de markt, dat is wel een recente ontwikkeling voor Groq.
- 1:05:10Dus daarvoor verkochten we meer zoals Nvidia dat deed, hardware aan partijen die dan zelf moesten uitvogelen: hoe kan ik hier nou efficiënt AI modellen op draaien? Want nogmaals, we waren niet gefocust op transformers.
- 1:05:21Dat waren ook computer vision modellen en graph neural networks. Er waren allemaal andere dingen.
- 1:05:25Uhm, en, uh, ja, als, waar het dan nu, zeg maar, op neerkomt is dat ze in hun go to market echt gekozen hebben voor: wij beheren die, uh, chips zelf.
- 1:05:36We verkopen niet direct die chips, maar wat we wel doen is deployments van chips in datacenters die dan i-in principe eigendom zijn van een ander.
- 1:05:45Maar wij beheren dat nog wel allemaal, zodat als onze compiler beter wordt en we modellen beter kunnen draaien, dat dat automatisch allemaal overgaat naar die datacentra die dan in eigendom zijn van andere klanten.
- 1:05:57En, en hoeveel procent van, van de workload is nu transformer inference? Bijna alles. Bijna alles.
- 1:06:04Dat is natuurlijk het vlammende pan moment geweest voor Groq is dat, uhm, op een gegeven moment zijn die taalmodellen, uh, uitgekomen en het begon eigenlijk met, met Llama, uh, als eerste echt supergoede model uit, uh, Meta.
- 1:06:19En, uhm, toen dat ge-b, gebeurde was in één keer duidelijk dat er een heel waardevol open source model is wat je zou kunnen draaien.
- 1:06:28En toen hebben, heeft Groq al heel vroeg, dat was ook voordat ik erbij ben, uh, gekomen, is Groq, uh, vroeg echt begonnen met, uh, met, met gewoon kijken van: oké, hoe kunnen we die, dat soort modellen het beste draaien?
- 1:06:40Is ook grappig, want in de codebase zie je ook, zeg maar, al die andere modellen die er gedraaid zijn en gecompileerd zijn voor Groq. Maar dan op een gegeven moment kwam daar in dat lijstje gewoon Llama bij.
- 1:06:49En, en dat is nu bijna alles. The rest is history. Ja, en, en toen, uuuh, ja, de vraag naar is gewoon enorm, want je kunt er heel veel nuttige dingen mee bouwen.
- 1:06:57Zoals heel veel, uh, mensen die experimenteren met wat je kunt bouwen met dit soort taalmodellen wel kunnen bevestigen. Je kunt er gewoon heel veel mee. En de modellen worden ook steeds beter.
- 1:07:07En dat hebben we deels te danken aan bedrijven als Meta. Die hebben dat echt in werking gezet. En daar heb je daarna andere bedrijven gehad, zoals uit Europa Mistral, die ook heel veel, uh, uh, goede modellen.
- 1:07:18Want hoe is jouw kijk nu op, op die, uh, open weight modellen dus modellen die gedraaid mogen worden op andermans infrastructuur zonder dat je licentiekosten hoeft af te dragen? Ja, ik vind het persoonlijk geweldig.
- 1:07:29Nee, dat begrijp ik. Maar ik bedoel is het, is het zo dat, zie jij-- m-mijn vraag is denk ik eigenlijk, uhmEr is nog een, er is nog een vraagteken.
- 1:07:37Oké, je hebt de gesloten modellen, hè, en dan de Frontier Labs, uh, als OpenAI, uh, Grok met een K die hun één, in hun laatste model alleen open source. Meta die hun Frontier-model open source voor z'n werk weet.
- 1:07:50Iedereen heeft daar zijn eigen strategieën in.
- 1:07:53Maar, uh, denk jij dat het, i-, een van de ideeën is die, die een beetje rondgaat in de community is van open source zal uiteindelijk winnen, want het is een soort van, uh, uhm, dat, dat gaat nou eenmaal gebeuren, want open source wint altijd of zo.
- 1:08:06Wat op heel veel gebieden trouwens niet gebeurd is, dus dat zeg ik altijd al. Maar het, uh, hoe, hoe zit jij in die, in die g-, wa-wat als jij zou moeten wedden?
- 1:08:13Ik bedoel, ik snap dat je bij Grok met een Q werkt, dus dat jij je bepaalde belangen hebt, maar.
- 1:08:16Nou ja, nogmaals, Grok, uh, is ook gewoon beschikbaar voor modellen die niet open source zijn, dus het is niet dat Grok alleen ku-kan winnen als open source modellen uiteindelijk dominant zijn.
- 1:08:25Ik denk dat heel makkelijk om, uh, kijk, dus sowieso is het antwoord, uh, allebei gaan blijven bestaan. Net als in de database wereld of als in de operating system wereld.
- 1:08:33Je hebt Linux is heel populair, maar je hebt ook Windows is heel populair en Mac OS en die, die twee zijn niet open source.
- 1:08:39Uh, je hebt ook bij database heb je Postgres, is een hele goede database, maar je hebt ook Oracle DB.
- 1:08:44En Oracle DB is supervolwassen, wordt door heel veel bedrijven gebruikt en, uh, zit een heel, uh, uh, bedrijf achter en, en dat is betaald. Dus
- 1:08:54ik denk dat als je kijkt naar de geschiedenis, dan zul je zien dat daarin beide heel erg een grote rol, uh, spelen. En ik denk dat dat ook zo blijft in generatieve AI.
- 1:09:04Uhm, wat wel interessant is natuurlijk, is om iets te kunnen zeggen of een idee te hebben bij in welke mate, uh, verschillen die, dus, dus hoeveel verder vooruit gaat die, uh, die, die proprietary, uh, uh, hoek, gaat ie, gaat ie echt heel veel beter zijn dan open source?
- 1:09:22Daar is altijd heel veel discussie over geweest en dan zie je eigenlijk altijd soort bijna maand tot maand een soort van verschuiving van oké, de gap is nu heel groot en de gap is nu heel klein. En, uhm,
- 1:09:32op, om een of andere reden denk ik ook dat, uh, het probleem heel erg fascineert.
- 1:09:37Je hebt natuurlijk, in de markt wordt veel gesproken over ATI, Artificial General Intelligence en je hebt ook over ASI, ASI, Artificial, uh, Super Human Intelligence.
- 1:09:47En heel veel mensen, dus als je kijkt naar DeepSeek bijvoorbeeld, dat Chinese bedrijf, dat is, uh, het project van een hedgefund dat heet High Flyer. En je kunt je afvragen waarom, waarom doen zij dat nou?
- 1:10:01Zeg maar, waarom investeren in deze-- want zij zeggen dat ze dat DeepSeek-model hebben getraind voor $5,5 miljoen, uh, equivalent huurkosten van dat soort GPU's om het te trainen.
- 1:10:11Maar iedereen he-weet ook wel en heeft het ook over dat de echte kosten om tot zo'n model te komen vele malen hoger zijn. Want je moet ook rekenen met alle experimenten die je moet doen.
- 1:10:20Ze hebben een soort arbitraire lijn getrokken in dat kostenplaatje.
- 1:10:23Ja, ze hebben gewoon gezegd: dit is de-- ik denk dat het wel een fair getal is, want het is gewoon het getal, uh, wat het zeg maar, het zijn echt de, de cost of goods zeg maar.
- 1:10:32Zeg maar, als je een bedrijf bent en je, en je produceert 100 fietsen, uh, dan ga je, dan kan je wat zeggen over hoeveel het gekost heeft om die fietsen te produceren.
- 1:10:40En dat is het bedrag om in plaats van 100, zeg maar nog de volgende 100 te produceren. Dus het is meer de marginale kosten waar ze het over hebben.
- 1:10:46Ja, maar niet wat je, wat je moest doen om te komen tot het kunnen produceren van die 100 fietsen.
- 1:10:50Want misschien heb je als bedrijf wel eerst gewoon, uh, jarenlang miljoenenverlies geleid, uh, geleden om, om dat, uh, fietsontwerp, uh, goed, uh, ingediald te krijgen.
- 1:10:57Dus zo ook met die art, met die, met de modellen, hè. Uh, is natuurlijk bij DeepSeek, uh, en High Flyer ook gaande.
- 1:11:04Maar, uh, dat, nog steeds is het interessant om te zien dat de, de marginale kosten dus maar, uh, 5,5 miljoen zijn. Want wat, wat is nou de, de situatie?
- 1:11:14En daar, waarom is dat bedrag ook wel echt relevant, is dat zij hebben wel ook het recept gepubliceerd. Ze hebben ook gezegd: en dit is hoe we het precies gedaan hebben.
- 1:11:22En wat je niet krijgt van ze is de pre-training data waarop ze trainen. Dat zijn volgens mij 14, uh, biljoen tokens, 14 trillion. Want het ultieme open source is dat ook nog, toch?
- 1:11:32Dat is nog het enige stukje dat mist om het helemaal te kunnen revolutioneren. Wanneer is iets open source of open weight? Ja, ja.
- 1:11:38Uh, als je een model krijgt, uh, dat getraind is, dat, dat, ik vind de beste vergelijking is dat je een, een downloadable binary op je computer, een softwareprogramma.
- 1:11:47Als jij een programmaatje downloadt en je installeert het en je kan het gebruiken, dan heb je nog niet de broncode achter dat programma.
- 1:11:53En in twe-- in, in zekere zin zijn die open weights modellen steeds, zijn, zijn, zijn meer vergelijkbaar met een binary, uh, dan met de, de broncode. Uhm, dus, uh, DeepSeek heeft niet die traindata gepubliceerd.
- 1:12:07Waarschijnlijk ook omdat, net als bij alle andere Frontier Labs, daar waarschijnlijk allemaal data tussen zit waarvan het l-juridisch niet duidelijk is of je er überhaupt op mag trainen.
- 1:12:16Onverstandig om te laten zien, uh, waar je op traint. Laat je zien, uh, er zitten allemaal boeken in en dan heb je al, al die bu-boek-, boek-, uh, publiceren, uh, bij je aan de deur.
- 1:12:24Dus dat is waarom ze dat niet doen aan de ene kant.
- 1:12:26Aan de andere kant natuurlijk ook gewoon nog steeds een stukje voordeel wat ze willen behouden, want ze, ze zijn wel ook in concurrentie en ze willen ook wel graag winnen, uhm, want ze zijn niet alleen aan het concurreren met het Westen, ze concurreren ook binnen China met andere Chinese bedrijven, zoals met het team van Alibaba of nog andere teams.
- 1:12:40Het team van ByteDance, et cetera. Dus, uh, terug naar dat gat van open source. Dus hoe groot is dat gat geweest? Nou, je zag dus dat dat fluctueerde. Le-, op een gegeven moment lag open source, uh, echt achter.
- 1:12:53Vooral in het begin. Toen begon het wat dichterbij te komen en toen kwam er in één keer weer een wave nieuwe modellen, ook met reasoning modellen.
- 1:12:59Toen was het weer echt van: wow, open source heeft echt geen antwoord hierop. Er is helemaal geen reasoning model. En toen kwam, uh, DeepSeek weer.
- 1:13:05En wat je, wat je toch terugziet is dat als je ook kijkt naar, uh, als zo'n DeepSeek dus vertelt van hoe ze het gedaan hebben, dat de hoeveelheid innovatie die er gedaan is, dus hoe, hoe anders is nou eigenlijk dat DeepSeek R1-model ten opzichte van Llama 3, wat we al heel lang kennen en weten?
- 1:13:22Mhmm. En dan zie je dat het toch wel grosso modo aanvoelt als incrementele innovatie. Dus ze hebben kleine tweake hier, tweake daar.
- 1:13:31Trainingsproces net even anders hier, net even ander soort data, net even een iets ander algoritme, maar niet radicaal anders.En daardoor, zolang dat verschil tussen als het ware de, uh, de, de versie één en versie twee marginaal lijkt, incrementeel lijkt, dan is het, dan is het gat wat dan een open source tussen open source en proprietary bestaat ook niet zo groot.
- 1:13:55Er is ook een hele hypermobiele talentmarkt in, in deze, uh, markt. Dus als je kijkt naar die grote labs. Je hebt xAI, je hebt Anthropic, je hebt OpenAI, je hebt DeepMind en je hebt nog Mistral en nog een paar anderen.
- 1:14:08En daar beweegt wel ook veel talent tussen.
- 1:14:11En je kunt gewoon moeilijk, uh, ideeën die opgedaan worden, zeg maar echt, uh, patenteren op een manier dat als een wer-werknemer weggaat en, uh, bij een ander bedrijf in dienst gaat, dat, dat die, die techniek niet toegepast kan worden.
- 1:14:24Want ook veel van die ideeën zijn best wel klein, weet je wel. Het is gewoon van: ja, kan je nou echt patenteren dat je beter in die volgorde kan, kan trainen?
- 1:14:32Dat heen en weer inhuren is, is, is niet alleen maar om de mensen, maar ook wat er in hun hoofden zit. Oh, absoluut.
- 1:14:39Zodat je dus een soort sync [lacht], een, een kennissynchronisatie krijgt via human vehicles tussen al die labs.
- 1:14:46Ja, ja, voor-- een voorbeeld van een bekende onderzoeker die naar OpenAI is gegaan die o1, uh, heeft, uh, gedaan. Dat is Noam Brown. Die zat bij Meta en die had ook voor Meta een heel goed reasoning model kunnen bouwen.
- 1:14:58Maar die is naar OpenAI gegaan en ik ken hem niet en ik ken zijn beweegredenen niet, maar OpenAI zal vast een goed verhaal hebben gehouden tegen hem om te zeggen: kom maar bij ons aan reasoning modellen werken.
- 1:15:08En ja, dat is wel gewoon hoe die markt momenteel werkt. En die dynamiek, die talentdynamiek, die heeft heel veel invloed op het verschil tussen proprietary en open source capaciteit en, en kwaliteit.
- 1:15:21Uhm, en dus is het, is, kom je echt met een radicale nieuwe verbetering, een hele nieuwe architectuur. Je hebt, uh, naast de transformer modellen hebben mensen het veel lang over Mamba. Dat zijn state space modellen.
- 1:15:32Dat zijn ander soort modellen dan transformers. Zouden die ook goed kunnen draaien op, op jullie hardware? Ja, we hebben ze al draaien op onze hardware. Prettig voor jullie.
- 1:15:41Ja, nee, zoals ik al zei, we hebben geoptimaliseerd voor machine learning breed data flow workloads en niet, niet zozeer transformers. Ja, ik, ik, ik ben nog even nieuwsgierig, hè, want je--
- 1:15:52ik zat te denken: is het dan niet zo, want jij gebruikt net het, uh, het closed source, open source, uh, Oracle versus Postgres, uhm, Microsoft Windows Kernel versus Linux.
- 1:16:01Dat is jouw vergelijking en die, daar kan ik goed in mee. Maar in dit geval is het, is het wel zo dat, stel je bent een frontier lab.
- 1:16:09Je nadert welke definitie dan ook van AGI, uh, en op dat moment zou je bijvoorbeeld jouw modellen kunnen gebruiken om jouw modellen, nou, je modellen gebruiken om je modellen te trainen.
- 1:16:21Dat gebeurt al, hè, door het creëren van synthetische data en, en distilling.
- 1:16:26Maar je kunt ook zeggen: wij gaan die modellen laten meedenken over hoe je modellen maakt en we gaan die modellen laten meeprogrammeren aan onze modellen. En dan kan je op een gegeven moment een cirkel krijgen.
- 1:16:36Een soort take off scenario zoals dat al rondgaat in de AI-community, waarin degene die daar als eerst komt, de groep die daar als eerst komt en zijn eigen modellen, zijn eigen modellen kan laten verbeteren, eigenlijk wegvliegt van de rest.
- 1:16:48Als een soort de eerste raket die van de grond komt, zeg maar, terwijl al die andere raketten nog op de grond staan.
- 1:16:53Dat maakt het wel wat mij betreft de, uh, belangen die er spelen in die open source versus closed source of open source versus proprietary wel groter dan tussen twee operating system kernels of database engines. Kijk.
- 1:17:07Ja, [schraapt keel] uiteindelijk, en da-dat vind ik wel een interessante opmerking an sich, is dat, uh, je kunt, je kunt denk ik technologieën een beetje categor-categoriseren of clusteren naar hoe bounded zijn ze.
- 1:17:19In de zin van, uh, een heel goed operating systeem, een hele goede auto kan gewoon zeg maar heel nauwkeurig en veilig van A naar B.
- 1:17:29Uh, maar je kan niet nog sneller en nog sneller, want dat is gewoon ongemakkelijk voor die personen in de auto. Dus je kan niet-- op snelheid zit een soort van limiet.
- 1:17:37Dus als je gewoon met de nog comfortabele snelheid, met extreme veiligheid en met heel veel precisie van A naar B gaat, dan heb je een soort van de perfecte auto gemaakt die dan ook nog eens nul energie verbruikt of wat dan ook.
- 1:17:48Negatief zelfs, whatever. Maar het is niet, je kan niet een auto op een gegeven moment heel veel beter maken. En hetzelfde geldt denk ik voor operating systems, uhm, en database zoals je zegt.
- 1:17:58Maar de categorie, uh, kunstmatige intelligentie heeft, heeft weinig last van dat probleem. Een, een, een nog betere, nog intelligenter systeem is gewoon weer, weer waardevoller.
- 1:18:10En, en het is vrij makkelijk om als je dat systeem pakt om te zeggen: maar hoe ziet een nog veel slimmer systeem eruit? En wat kan dat dan nog weer betekenen?
- 1:18:18Waarbij eigenlijk de fantasie en de, e-, de ideeën, zeg maar, eindeloos zijn.
- 1:18:22Weet je wel, als, als een systeem, zeg maar, uh, definitie die over AGI, uh, AGI of AGI, uh, wordt, wordt gegeven, uh, die ik wel grappig vind, is, uh, uh, als het een 100 miljard, uh, uh, dollar in waarde zou kunnen produceren.
- 1:18:35Soort economische definitie van hoe nuttig of hoe goed is een model. Uhm, en dan, uh, kun je makkelijk zeggen van: nou, oké, als, als een, uh, AI-model intelligent genoeg is om dat te bereiken.
- 1:18:46Ja, dat vind ik niet indrukwekkend. Ik wil eigenlijk dat, uh, alle dominante ziekten die nog, uh, actief zijn, dat die opgelost worden. Weet je wel, cure cancer, cure dit en zo.
- 1:18:55En, en als een model 100 miljard waardevol, uh, of 100 miljard waarde kan creëren, dat is, dat is een soort lagere lat dan dat, weet je wel. Dus ik denk dat dat moeilijker is. Meer dan 100 miljard kost.
- 1:19:05En, en dus, uh, daar, daar heb je wel natuurlijk een soort van dat, wa-waar stopt dit? Weet je wel. Want, want je kan altijd nog intelligenter willen bouwen en, en het is niet duidelijk dat we geen ideeën meer hebben.
- 1:19:16En dan kan je weer naar dat take off verhaal van: is er nou sprake of kan het mogelijk een soort take off, uh, zijn, dus een soort, uh, loop die oneindig, uh, blijft verbeteren. Ik denk van niet.
- 1:19:28Ik denk o-om een vrij simpele reden en dat is dat er gewoon altijd bottlenecks ontstaan dieTijd, uh, nodig hebben om opgelost te worden.
- 1:19:37En heel veel ook bottlenecks die gebaseerd zijn in de natuurkunde of in de, in de natuurwetten. Dus als jij een, uh, systeem hebt dat heel goed, uh, zelfstandig onderzoek kan doen, daar heeft, uh, OpenAI het ook over.
- 1:19:48We hebben onderzoekers, uh, die volledig gebaseerd zijn op AI. Dat zijn een soort AI-agents die onderzoeker zijn en dus misschien zouden kunnen bijdragen aan betere ideeën voor betere, uh, systemen. Dan,
- 1:20:02uh, moet je op bijvoorbeeld-- stel nou dat hij iets vindt, echt iets briljants, waardoor het maar een derde van de tijd en energie kost om het nog, een nog beter model te trainen dan ze zojuist gedaan hebben.
- 1:20:11Dat model kostte wel gewoon drie maanden om te trainen. Nu heb je een maand nodig.
- 1:20:15Dus ook om dat voorstel te testen, uh, van zo'n, uh, uh, AI-onderzoeker, ook al als het allemaal helemaal klopt en helemaal waterdicht is, heb je nog wel weer een maand nodig om te wachten.
- 1:20:26En als er dan andere modellen ook getraind worden van andere mensen, ja, die nemen dan misschien voorrang omdat die toch, ja, menselijke tests gaan voor op die, die AI-test.
- 1:20:35En, en zo denk ik dat er allemaal, uh, bottlenecks, uh, zijn. Dus misschien dat hij iets briljants, uh, heeft bedacht, maar dan moet je eerst een nieuwe interconnect, uh, implementeren. Heeft ie ook weer uitgezocht.
- 1:20:46En wat ik dus- Dus al die bottlenecks die gaan uiteindelijk zorgen dat een take-off niet een soort viral take-off is die gewoon- Nee, precies, want dat is voor mij de discussie is de, is voor mij hoeveel graden die lijn is [gniffelt]
- 1:20:57. Uh, is dat een rechte lijn omhoog in een soort hele, uh- Ja, dat denk ik dus niet. Nee, dus jij bent anti-hockey stick, zeg maar. Prima. Ik, voor mij is dat ook.
- 1:21:06Nou, bedoel anti-hockey stick- Er zijn veel lijnen die allemaal hockeystick zijn, hè [lacht] fair enough. Over wat voor stick hebben we het? Welk merk? Ja.
- 1:21:12Maar, uh, niet een soort van ongelimiteerde, ongeremde superlijn omhoog, hè. Die gaat iedere keer gaan daar, uh, dempende factoren op duwen, hè. Natuurkunde, naar energie, uh, bureaucratie, hè.
- 1:21:25Dus ik, ik, ik kan jouw lijn helemaal volgen, maar ik denk dat mijn vraag vooral is: uh, kijk, ik zie dan een beetje 10 raketten naast elkaar staan, hè.
- 1:21:33Vijf closed source raketten en vijf of vijf closed weights, closed weight raketten en vijf team open weight, uh, uh, raketten. Nog even los of het open source is.
- 1:21:42En, uh, op een gegeven moment begint er één een beetje zo te, te hoveren, hè, zoals je dat van SpaceX gewend bent.
- 1:21:47Nou, ik, voor mij zijn ze al een [gniffelt] beetje aan het hoveren voor mijn gevoel soms die raketten, hè, dat je denkt: en dan gaan ze weer naar beneden en dat je: oeh, dat zag er wel spannend uit.
- 1:21:55En dan gaat iedereen die bij die labs werkt vlug naar buiten rennen en op Twitter roepen: jongens, het gaat wel heel hard, weet je wel. Mensen worden ook een beetje zenuwachtig als ze dat zien. Ja, ja.
- 1:22:02Uhm, maar op een gegeven moment gaat er natuurlijk één langer hoveren, hoger en hoger en hoger.
- 1:22:07En ik denk dat mijn aanname daarin is, merk ik nu, nu ik het er met jou over heb, dat, uh, de andere teams dan blijkbaar geen kans meer maken of zo. Er kan maar één winnaar zijn.
- 1:22:17Ik weet eigenlijk niet zo goed hoe ik dat kan verdedigen, maar dat gevoel heb ik dan, hè, van: het lijkt wel of diegene er dan met de prijs vandoor gaat of zo in een soort zero sum game. Dat denk ik sowieso niet, wel?
- 1:22:26Niet zero sum is. Ook omdat die modellen voordat dat model er was, die zijn al steeds nuttiger en nuttiger en capabeler.
- 1:22:33Dus als je nu kijkt naar een van de allerbeste modellen die je gewoon kunt krijgen die beschikbaar is op de markt, dat is bijvoorbeeld o3-mini.
- 1:22:39Uhm, o3-mini is al echt insanely good, zeg maar, in het schrijven van software. Dus als jij een programmeur bent, uh, dan weet ik vrij zeker dat er, uh, subgebieden zijn waar een o3-mini jou helemaal omver blaast.
- 1:22:53Dus als jij bijvoorbeeld hele goede webdeveloper bent, dan gaat dat ding rust- en C++-code schrijven waar je, waar je met je hoofd niet bij kan.
- 1:23:00Als jij een hele goede C++ developer bent, dan kan dat ding reactcomponenten schrijven op een manier die, die jij niet kunt.
- 1:23:06Dus de, de, die, dat o3-mini model, dat is al extreem goed en we zien dus dat, zeg maar, o3-mini lijkt weer op R1 DeepSeek en dat is open source. Die twee zitten nu dicht bij elkaar.
- 1:23:16En zelfs als, als iemand dus weer echt weer nog een flinke stap maakt. Bijvoorbeeld we wachten allemaal op wat Anthropic gaat doen, want die heeft al een tijdje niks uitgebracht. Paar weken nog, begrijp ik.
- 1:23:25Ja, dus nou, dat duurt even en dan komen ze waarschijnlijk weer met iets, met iets heel bijzonders.
- 1:23:29En, uh, op het moment dat dat er is, dan gaan er ook wel weer, uh, wordt er ook weer vol op gedoken van: hoe werkt het dan en, en, en hoe, welke vormfactor heeft het.
- 1:23:37Dus dan wordt er extern geleerd wat er geleerd kan worden. Ik bedoel bij een reasoning model, weet je wel vrij snel: oh, hij neemt heel veel tijd om te reasonen.
- 1:23:44Misschien moeten we een beetje in die hoek zoeken, weet je.
- 1:23:46Dus zelfs zonder dat ze iets open sourcen lekt er wel weer informatie naar al die researchers die ook open source werk doen om dat weer te repliceren en te kopiëren.
- 1:23:55En dan ben je weer een soort ketchup, uh, beweging in, uh, in, in werking aan het zetten. Dus
- 1:24:00ik denk dat, uhm, e-en nogmaals, soms zijn die hele goede modellen ook weer duurder om te draaien omdat ze gigantisch groot zijn. En dan is weer de vraag van: waar gaan we dit voor inzetten? Bijvoorbeeld, uh, o1 Promote.
- 1:24:12Dat is een hele dure versie van inference. Sam Altman heeft publiek gezegd:
- 1:24:16uhm, we hebben het prijs op twee, twee, prijspunt op $200 gezet, maar zelfs dat was niet genoeg om de kosten te dekken van hoe duur het is om dat, om dat, om die feature te draaien.
- 1:24:27Uhm, e-en, en dat zegt ook weer dat [schraapt keel]
- 1:24:31je moet ook een soort van, uh, een probleem matchen met de hoeveelheid intelligentie die je er tegenaan gooit en vooral de kunstmatige intelligentie, omdat kunstmatige intelligentie is uiteindelijk gewoon stroom.
- 1:24:43Uhm, en dat moet je wel een beetje matchen, want anders ga je, uh, te dure, uh, soort van- Ja, want ik heb ook begrepen dat- Bezoek gaan gebruiken om, uh- GPT-5 zou een soort router moeten worden, toch?
- 1:24:54Hè, de, de, de, als in wat een van de innovaties van GPT-5, wat ik nu heb begrepen dan, is dat ie aan de hand van jouw vraag gaat kijken wat hij als een soort mac, mixture of experts, maar dan nog breder.
- 1:25:06Uh, ga ik reasoning doen? Ga ik off the cuff meteen reageren zonder reasoning? Of heb ik dat begri-, verkeerd begrepen?
- 1:25:12Nou kijk, als je kijkt naar o1, dat is het model van OpenAI dat, uh, al dynamischheid, ik noem het een soort van, uh, dynamic range.
- 1:25:19Dus, uh, het kan zeg maar heel snel een antwoord geven als het denkt: nou, dit is een vrij rechttoe rechtaan vraag, hoef ik niet echt te lang over na te denken, hier is het antwoord.
- 1:25:26How tall is the Empire State Building? Dan moet hij niet een minuut gaan nadenken. En dat, dat had o1 preview, het model voor o1, uh, had daar last van, dat zeg maar hele simpele vragen: how are you?
- 1:25:36[gniffelt] Twee minuten later: I'm great, thanks. Ja, soort filosoof.Die denken ook dat het veel te lang duurt En dan ga je ook kijken. Kijk, wij kunnen de reasoning traces niet zien van, uh, OpenAI natuurlijk.
- 1:25:45Dat is, uh, iets wat zij verbergen, uh, om con-concurrentie redenen. Maar dan als je dat ziet bij DeepSeek R1, dan zie je als een soort, uh, hele introverte soort persoon die zenuwachtig is op die reactie gaat reageren.
- 1:25:56Dat is wat je niet wil, want dat is niet logisch dat je daar heel veel tijd en, en, en dus ook, uh, energie voor gaat gebruiken als het een hele makkelijke vraag is.
- 1:26:03Dus O1 is al heel dynamisch in de zin de laatste versie van een, een sim-simpele vraag krijgt snel een antwoord, kost minder compute en een lange moeilijke vraag, die gaat meer tijd kosten.
- 1:26:12En dat is denk ik waar ze op hinten met GPT 4.5. Is dat ze het hebben over een systeem dus dat dat heel goed doet, dat dynamisch schakelen. Uhm, maar dan noemen ze het meer unified.
- 1:26:23Dus met een router kan je al meer denken aan een systeem dat echt losse systemen zijn waarbij, uh, iemand gaat beoordelen: is het een moeilijke vraag, is het een moeilijke vraag, dan gaat hij naar het grote model, uh, of naar het reasoning model, uh, met misschien een tijd budget van, uh, negen minuten, want het is een negen minuten probleem.
- 1:26:39Uh, en dat, dat is niet zeg maar wat ze gaan doen waarschijnlijk. Niet dat discrete soort van echt, uh, meerdere verschillende modellen die echt losstaan van elkaar.
- 1:26:47Ze gaan het wel- Ze gaan ze er wel in integreren In één geheel. Dan krijg je misschien een nieuw soort architectuur wat wel heel erg lijkt op een transformer.
- 1:26:55Want ook bijvoorbeeld DeepSeek R1 is gewoon een transformer model, maar maakt dus gebruik van die variant.
- 1:27:00Dat heet Mixture of Experts en dat betekent dat het model eigenlijk getraind is als allemaal losse kleine modellen die wel allemaal geschakeld zijn in één.
- 1:27:09En het model heeft uitgevogeld tijdens het trainen, uh, voor elke vraag: hoe moet ik het verdelen over mijn submodel, zeg maar.
- 1:27:16Die architectuur is één heel groot deel, maar er zit allemaal een soort discrete blokken in en hij pakt dan de, de blokken die relevant zijn voor de vraag en dan heb je alleen die nodig.
- 1:27:25Maar als ik dan met GPT-5 ga praten, dan kan ik dus sporadisch heel snel antwoord krijgen, zoals vroeger pre-reasoning, uh, en sporadisch hele lange antwoorden krijgen of trage antwoorden krijgen, want er moet eerst nagedacht worden.
- 1:27:38En dat is niet een soort ruisje ervoor, maar het zit er gewoon in.
- 1:27:41Ja, maar het is, het, het intuïtief ook natuurlijk hoe, hoe je, uh, nadenkt over de, over hoe, hoe de moder-, hoe de, hoe de echte wereld of de natuurlijke wereld is misschien een beter woord, gestructureerd is.
- 1:27:51Dus in computer science onderzoeken we dat heel specifiek. Dus bijvoorbeeld in Delft, daar heb ik gestudeerd, uh, daar hebben ze het altijd bijvoorbeeld over complexity classes.
- 1:28:00Dus dan kan je zeggen: oké, dit probleem is, uh, zo moeilijk. En bijvoorbeeld het sorteren van een lijst cijfers is, uhm, makkelijker dan het, uh, sorteren van een lijst, uhm, van floating point cijfers.
- 1:28:13Dus niet natuurlijke getallen. En daar kan je iets over zeggen, analytisch.
- 1:28:16En als jij, uh, iemand een simpele vraag stelt, dan begrijp je dat er minder moeite is dan als je zegt van: ik wil 19 winkels in Nederland plaatsen, maar ze moeten zo ge-geplaatst worden dat, uh, uh, er minimaal binnen zoveel dekking van alle grote- Travelling salesman problem Ja, precies.
- 1:28:34Dus als jij een heel moeilijk probleem beschrijft, dan is het redelijk om te verwachten dat er meer moeite gedaan moet worden om dat probleem op te lossen. Of dat nou door mensen of door een computersysteem gedaan wordt.
- 1:28:45En ik denk dat die, ja, dat, dat dynamische is eigenlijk heel gek dat het in het begin niet zo was. Dus dat elke vraag- Nee, dat heb ik heel de tijd nu bij dat ding.
- 1:28:53Dat ik denk nu ik begin te zien hoe die gaat werken van context moet er eigenlijk niet in zitten, maar op tijd toegevoegd worden. Hij moet eigenlijk nadenken over hoe hij nadenkt, maar hij moet niet te lang.
- 1:29:01Dus waar we mee begonnen waren eigenlijk een heel raar ding. Het was zeg maar gewoon, uh, hij bevatte alle feitenkennis en hij, hij deed over ieder probleem even lang.
- 1:29:09Van hallo doet hij evenveel, letterlijk op de, op de flop doet hij evenveel [lacht] berekeningen als dat je zegt van, uh, ja, uh, uh: maak een vereenvoudigende theorie van, uh, uh, kwantummechanica en, uh, re-relativiteitstheorie, whatever.
- 1:29:24Ik ben geen natuurkundige, dus I botched this waarschijnlijk. Maar de, uh, zeg maar dat, dat idee dat je daar evenveel moeite en tijd aan besteedt, dat is natuurlijk niet heel intuïtief.
- 1:29:33En daar proberen- probeert men ook nu een beetje uit in te leunen als, als onderzoekswetenschappers van: uh, wat, wat kun je dan
- 1:29:43doen om die, uh, mismatch op te lossen en krijg je daar dan uiteindelijk, uh, betere modellen door? Want hoe zit jij nu?
- 1:29:52Want we hebben het nu best wel casual over, uh, AGI, ASI, uh, uh, dat het allemaal beter aan het worden is. Raketten die opstijgen of niet. Maar hoe zit jij er zelf als mens in als je dit allemaal ziet?
- 1:30:02Ben je hier hartstikke enthousiast over en vind je het eigenlijk allemaal wel mooi? Of zijn er ook zorgen over banen en je eigen baan? En ben jij straks nog wel nodig? Zijn dit dingen waar je ook bij stilstaat?
- 1:30:16Ja, ik denk, ik, ik, ik denk daar niet extreem veel over na, omdat ik daar misschien een redelijk simpele take over heb.
- 1:30:23Is dat, ik denk dat met, zeg maar, dat, dat, dat narratief heb je waarschijnlijk ook al voorbij horen komen, dat met elke technologie, zeg maar, heb je dat het bepaalde banen automatiseert en dan ook weer nieuwe kansen creëert.
- 1:30:34En die nieuwe kansen, de laatste All-In podcast ging trouwens, uh, over dit onderwerp. Over een soort van, de, de soort van gaat AI dingen automatiseren tot het punt dat er heel veel baanverlies is?
- 1:30:44Of gaat er allemaal opportunity door ontstaan? Allemaal nieuwe kansen waar mensen iets mee kunnen. Uhm, en ik, ik, ik denk dat,
- 1:30:52je ziet het al als je als programmeur bijvoorbeeld niet bij blijft met wat er kan met de laatste modellen, dan word je heel snel buiten spel gezet, zeg maar.
- 1:31:00Dan ben je economisch echt in één keer stuk minder waardevol, een stuk minder aantrekkelijk, uh, om, uh, in te zetten om het, om, om software te maken.
- 1:31:08Dus een, een, een programmeur die echt vaardig is met het gebruik van de laatste modellen van Anthropic en OpenAI voor het ontwikkelen van software.
- 1:31:17Die, die, d-die, die loopt echt rondjes om iemand die dat, die dat niet gebruikt, niet aanraakt. En dat, dat effect wordt steeds groter.
- 1:31:24En het kan zelfs zo zijn dat heel veel van de werkzaamheden waar programmeurs hun, hun brood mee verdienden gewoon letterlijk allemaal niet gedaan hoeven te worden.
- 1:31:33Dus als je bijvoorbeeld kijkt naar een techbedrijf structuur, dan heb je vaak een tech lead. Daaronder werken mensen, dat noemen ze vaak dan IC's, Individual Contributors.
- 1:31:40Dat zijn, zeg maar, heel oneerbiedig gezegd de code monkeys die echt implementeren en bouwen wat er gebouwd moet worden.
- 1:31:46En het lijkt er steeds meer op dat die, dat die tech lead positie die bepaalt wat er gebouwd moet worden, vaak in samenspraak met nog eens stakeholders daarboven, dat die, uh, steeds belangrijker worden omdat het echt daadwerkelijke bouwen van, van de, van de functionaliteit als ze eenmaal een beetjebedacht en geschetst zijn van: het moet dit kunnen doen en het moet ongeveer zo werken.
- 1:32:04Dat dat dus allemaal gedelegeerd kan worden aan AI-systemen. En dat is programmeren. Dus daar zie je al hele grote veranderingen.
- 1:32:11Dat als, als je niet oppast als programmeur kan je in één keer buitenspel staan, waarbij je letterlijk gewoon je baan verliest en niet meer nodig bent als je puur en alleen dat naar de tafel brengt.
- 1:32:21En ik denk dat, uh, met AI op het gebied van zelfrijdende auto's bijvoorbeeld, je ziet Waymo helemaal doorbreken in San Francisco. Nou, dan zie je dat als je daar driver bent, dat je echt een probleem hebt.
- 1:32:30Dat je echt moet nadenken: oké, over één tot twee jaar is waarschijnlijk deze baan helemaal weg. Gewoon compleet. Maar laten we dat, laten we dat die mensen fleet managers noemen, hè.
- 1:32:37Dus ze zitten één niveau hoger in die stapel. We-, die zeggen dan: uhm, ik ga niet die auto rijden, maar ik ga een vloot van auto's beheren.
- 1:32:45Net als dat een mens zegt: ik ga niet, uh, ik ben geen, uh, oneerbiedige code monkey, maar ik ben iemand die specs schrijft en, en dan laat ik het implementeren door, uh, uh, code monkey agents.
- 1:32:55Maar wat als je die sprong niet kan maken?
- 1:32:59Ja, en daar, daar denk ik: uh, uiteindelijk heb je een democratie, uh, hopelijk in de meeste landen en heb je, uh, een progressief belastingsysteem en heb je vormen van minimumbestaan en zorg je er in ieder geval voor dat als die technologische ontwikkelingen, en dit is de Europeaan in mij die, zeg maar, dit, dit, dit gelooft.
- 1:33:21Ik hoor je.
- 1:33:22Uhm, uh, die er dan voor zorgt dat, uh, als dat taart heel erg gegroeid wordt, hè, want het idee is natuurlijk dat prosperity en ubiquity en, uh, een soort van oneindige creatie van, uh, diensten en goederen mogelijk wordt gemaakt door alles automatiseren met computers en robots.
- 1:33:41Dat is een beetje de Silicon Valley utopia, waar ik op zich wel in geloof dat dat tot op zekere hoogte gerealiseerd kan worden. De taart van de welvaart groeit. Exact.
- 1:33:51Uh, dat je die dan wel moet verdelen op een manier waarbij je niemand echt achterlaat. En er wordt vaak dan een discussie gevoerd over: uh, hoeveel ongelijkheid laat je dan toe?
- 1:34:01En daar zie je dan dat er weer cultureel en, en maatschappelijk verschillen bestaan. En je ziet gewoon ongelijkheid is groter in de VS dan het is in Nederland, uh, of in andere Europese landen.
- 1:34:11En daar moet een deel van de discussie over gaan. Maar ik denk niet dat we, zeg maar, putting the horse before the carriage. We zijn er nog niet echt.
- 1:34:18Ik bedoel, het is geweldig wat die AI-systemen kunnen, maar we hebben nog niet echt goede robots. En we hebben ook nog best wel domme AI-systemen die dingen echt nog wel heel erg fout doen.
- 1:34:27Maar jij, jij staat in het, jij staat in de modder, hè. Dat bedoel ik dus positief. Ik bedoel, ik kom nu met mijn helikoptertje van een trapje af. Ga ik even met jou daar.
- 1:34:34Jij staat, uh, of ik, misschien kan ik het mooier beschrijven. Jij zit diep in een datacenter complexe dingen te doen. Klinkt beter dan in de modder. Ja, jij zit er gewoon.
- 1:34:41Diep in een datacenter tussen die hummende machines. Ja, daar zei, daar vind ik jou achter je laptop op de grond die nog even de laatste patch aan het pushen is naar jullie- Absoluut...uh, compiler. Top! Mijn leven.
- 1:34:51Uhm, hoe, hoe snel gaat dit dan? Wanneer moet ik dat, uh, belletje gaan rinkelen ergens dan bij die- Ja, ik denk dat het gewoon, uh-...die bepalen hoe het geld verdeeld wordt.
- 1:35:01Ik denk niet dat het heel snel gaat, om eerlijk te zijn. Ik denk dat er gewoon, uh, heel veel, zeg maar, het verandert ook voor iedereen tegelijk. Weet je wel.
- 1:35:10Het is een soort van als, het is niet zo van: een deel van de bevolking kan niet meer programmeren, zeg maar, alle programmeurs worden evenredig beïnvloed door deze systemen.
- 1:35:19En, en dat zie je ook met, het gaat ook over onderhandeld druk.
- 1:35:21Dus zeg maar: uh, als nou het heel exclusief alleen maar voor bepaalde programmeurs toegankelijk was en niet voor anderen, dan was er echt een soort super unfair shift.
- 1:35:31Maar je ziet gewoon dat, uh, alle programmeurs worden even snel en evenveel, zeg maar, beïnvloed.
- 1:35:38Ik denk dat, ik denk dat er allemaal, uh, redenen zijn waardoor het niet heel snel gaat en ik denk dat we altijd aan de rem kunnen trekken als het wel heel snel gaat.
- 1:35:48Zeg maar, het is niet zo dat als het heel snel gaat, dat dan in één keer er geen democratie meer is of geen mogelijkheid is om wetten te maken. En ik spreek nu wel zeker buiten mijn domein van expertise.
- 1:35:57Ik ben geen, uh- Nee, tuurlijk. Ik kan geen wetten bedenken en ik ben ook niet. Dus mijn, mijn, mijn perceptie is meer van: ik denk dat het niet heel snel gaat om dat, als soort, soort van boots on the ground.
- 1:36:08Wat ik zie is dat er toch nog wel, zeg maar, telkens weer nieuwe hurdles zijn en dat we telkens weer iets verder komen.
- 1:36:13En het is echt gaaf wat er allemaal mogelijk is, maar dat er ook nog wel weer allemaal beperkingen en limieten zijn waardoor uiteindelijk dingen allemaal niet zo, uh, uh, dat de soep niet zo heet gegeten wordt als die opgediend, uh, wordt.
- 1:36:23En dat, dat daardoor er tijd is om te reageren.
- 1:36:27En wat ik wel, waar ik me aan irriteer of aan stoor, is dat in Europa er heel erg de tendens is om wel op de zaken vooruit te lopen en, uh, heel druk en bezig te maken om te discussiëren en te praten over: maar wat nou als er straks een megagrote ongelijkheid ontstaat, omdat dan alle kapitaalhouders alleen nog maar de voordelen plukken van al deze innovatie die er is geweest op het gebied van AI en, en dus allemaal slachtoffers er zijn die allemaal door automatisering hun baan kwijt zijn,
- 1:36:54zonder dat er wezenlijk heel veel interesse en poging is om het überhaupt mogelijk te maken. Want we zijn er gewoon nog lang niet. En dat, dat vind ik, dat stoort mij dan wel.
- 1:37:04Nee, ik bedoel, want, de, in, in dat opzicht heb je de juiste tegenover je. Want ik ben, ik ben een hele anticiperende jongen. IE-IEck, niet [lacht]. Ja, we kunnen niet vroeg genoeg beginnen, Rick.
- 1:37:14Maar, uhm, e-en volgens mij is dat juist een hele leuke spanning, uh, tussen ons en tussen mij en wel meer mensen. Uhm, maar wan, want wat is dan lang?
- 1:37:23Hebben we, ja, ik bedoel, ik weet het, dat is een soort koffiedik kijken, maar ik heb, jij, wel het idee dat jij iets meer intuïtie hebt op dit gebied dan ik, dus dat durf ik wel aan je te vragen.
- 1:37:31Als ik het dan heb over de mensen die nu vooral op het niveau van: ik schrijf iedere dag regels code en eind van de dag sluit ik mijn teksteditor en ga ik naar huis, zeg maar [lacht].
- 1:37:40Hè, dus die implemen, mensen die implementeren van andermans plannen, hè. Ik bedoel, he, zijn, hebben die over vijf jaar allemaal geen baan meer?
- 1:37:48Ik denk dat die over twee jaar echt, uh, al geen werk meer hebben als dat- Dit is toch substantieel, gast. Dit is toch wel een dingetje [lacht]. En daar mag ik nog geen plannen voor maken, zeg jij.
- 1:37:58Ik vind het wel belangrijk. Kijk, [schraapt keel]
- 1:38:00ik zeg niet dat er nu niet over nagedacht moet worden, want ik denk dat het best welUh, een urgente kwestie is voor die beroepsgroep bijvoorbeeld, hè, dus voor, voor taxichauffeurs en voor, uh, zeg maar als je programmeur bent dat, dat daar heel veel, uhm, geautomatiseerd kan gaan worden.
- 1:38:18En ook weer andere beroepsgroepen. Customer support agents is ook een, uh, logische soort groep die, die heel veel, uh, beïnvloed wordt door de ontwikkelingen in AI. Maar doe het gewoon beide.
- 1:38:30Dus én heb die discussie én kijk naar wie wordt er straks slachtoffer van, hoe gaan we daarmee om. En investeer en, en bouw actief mee aan die AI-technologie om daar te komen.
- 1:38:41Want we kunnen wel eens zijn dat, denk ik, in ieder geval wij, maar waarschijnlijk ook wel meer mensen, dat het wel netto, als het goed ingezet wordt, heel waardevol kan zijn, omdat uiteindelijk ook heel veel mega goede voordelen eruit kunnen komen.
- 1:38:54Neem bijvoorbeeld een zelfstandig onderzoeksteam dat, uh, uitgebreid onderzoek kan doen naar niche ziektes. Dus je hebt, zeg maar, ziektes die hele kleine groepen van de populatie betreft.
- 1:39:05Maar, ja, daardoor is het be-- moeilijk mogelijk om daar echt, uh, onderzoeksstappen in te zetten.
- 1:39:11Als je de kosten fundamenteel kan verlagen van het doen van, uh, wetenschappelijk onderzoek en medisch implementatieonderzoek om te kijken van welke medische, uhm, uh, uh, technieken werken zijn effectief.
- 1:39:24Ja, dit is, dit is mijn voorbeeld van: er komt een hele grote groep mensen naar een datacenter met molotov, want die zijn boos op AI. En dan rijdt er iemand achteraan die zegt: stop! Dan zeggen ze: hoezo stop?
- 1:39:34ALS is genezen. ALS, het is genezen. Hoe dan? Ja, protein folding, deep, [gniffelt] deep fold, alpha fold. We did it, weet je. En dat, dat is, begrijp, begrijp me niet verkeerd, mijn, uhm, meta-angst [gniffelt]
- 1:39:49zit hem meer op dat als je dit, uh, iets te cowboyerig doet, dat je juist kans hebt dat die versnelling die we willen, of in ieder geval laten we zo zeggen: het ondersteunen van deze innovatie, dat die tegengewerkt gaat worden door die bijeffecten, hè.
- 1:40:05Dus er gaat op een gegeven moment wel iets mis. Dan worden mensen allemaal panisch en dan mag, mag jij in één keer-- ik bedoel, ik kan hem ook even omdraaien, snap je?
- 1:40:11Dus te weinig met het risico bezig zijn is ook- Welkom op het wereldtoneel. Dan kunnen we dat in Europa allemaal moord en brand doen. Maar dan zegt China: nou, we gaan toch lekker door.
- 1:40:21En Amerika: nou, we gaan toch lekker door. Dus ik denk dat, uhm, dat die realiteit, dat, uh, dat je, zeg maar, mensen hebt die vragen om ga op de rem en dat dat lukt, dat dat weinig kans van slagen heeft mondiaal gezien.
- 1:40:36En dan word je dus slachtoffer. Dat, dat zie je ook in de wapenwedloop om AI tussen de grootmachten.
- 1:40:43Is dat je dan natuurlijk gewoon dat dat cirkeltje krijgt van: oké, als wij nu op de rem gaan omdat dat verstandiger is, omdat daar onze, onze populatie, onze maatschappij vraagt daarom, dus dan gaan we daar op reageren, want het is democratie.
- 1:40:55Dat je daarmee jezelf buitenspel zet en dat je in één keer onderdanig bent aan grootmachten. Wat mij, wat mij betreft is het niet, uh, remmen, maar, uh, de tijd steken in, uh, anticiperend voorbereiden op.
- 1:41:09En wat jouw, uh, klacht net was eigenlijk dat je zei: ik vind het wel moeilijk dat er nu al zoveel nagedacht wordt over dingen, terwijl we nog niet eens iets hebben gemaakt.
- 1:41:17Het gaat allemaal over gradaties en verhouding. Dus ik denk dat, ik denk dat er heel veel aandacht en heel veel interesse en heel veel tijd en energie is in Europa grosso modo in het deel
- 1:41:30beperken, begrijpen, voorkomen, uh, opvangen van de, de, de mensen die er slachtoffer door zijn en heel weinig echte bijdrage op de schaal die nodig is.
- 1:41:43Dus de miljarden kostende datacenters, uh, de onderzoekers die hieraan willen werken in de gelegenheid stellen om dat te doen door daar heel actief in te investeren.
- 1:41:53En dat is ook de private sectors, dus, dus dat betekent ook dat er kapitaal moet gaan naar bedrijven zoals Mistral. Uhm, en, en dat is allemaal heel weinig ten opzichte van wat er op het spel staat.
- 1:42:03Je zegt eigenlijk: als we nou eens de tijd en het geld en de energie die we stoppen in het uitzoeken hoe het ons kan gaan vermoorden op zijn minst ook zouden stoppen in het ontwikkelen ervan.
- 1:42:15Hoe ironisch dat ook klinkt, want ik, dat bedoel ik niet, dit is gewoon zo, dat jij zegt: volgens mij is een van die risico's vermijden is erin investeren.
- 1:42:25Wat misschien een beetje paradoxaal voelt, maar ik begrijp jou wel. Omdat je dan ook een stoel, uh, hebt, uh, op het wereldtoneel van de partijen die die technologie beheren.
- 1:42:34Dus we weten niet of de, de innovatieve ideeën die uit die labs komen die het niet open sourcen uiteindelijk tot een groot gat leiden.
- 1:42:42Maar daar hadden we net een soort speculatieve discussie over, van: gaat dat heel erg open source, heel erg propriety worden? Dat weten we niet.
- 1:42:49Maar als je dus wil garanderen dat je die technologie kunt controleren, kunt beheren, dan moet je in ieder geval zelf die technologie ook ontwikkelen. Dan moet je laboratorium in de buurt zijn.
- 1:42:58Ja, en, en in ieder geval als je kijkt naar chips, zeg maar, je hebt het, de, dit is natuurlijk eigenlijk een, een, een, een soort tweede golf van de chip revolutie of de chip industrie.
- 1:43:07Dus je hebt natuurlijk, Nederland heeft daar een wezenlijk, uh, wezenlijke pion in met ASML. Die wordt ook gebruikt in die hele geopolitieke discussies over mag ASML wel of niet leveren aan China.
- 1:43:18En ik denk dat dit hetzelfde, zeg maar, je had het op de telecommunicatie, dus 5G, 4G, al die mobiele communicatietechnologieën, uh, chipproductietechnologieën van onder andere lithografiemachines van ASML en, en, en de stappen die daarna in het proces komen, dus chip design.
- 1:43:34Als je nu met kunstmatige intelligentie daar dat niet doet actief, dan kom je gewoon in een situatie dat je afhankelijk bent. Net als dat nu die discussie is, vind ik een hele goede.
- 1:43:42Bert Hubert, uh, die, uh, uh, die, die, die zegt dat vaak dat de Nederlandse overheid zichzelf afhankelijk heeft gemaakt van Amerikaanse technologie zoals Office 365 en dat daardoor je, je soevereiniteit, uh, aantast.
- 1:43:55SIDN in Amerika. Ja, bijvoorbeeld. En, en dat is, zeg, denk ik als je, als je, als je belangrijk vindt deze thema's.
- 1:44:03Dus het is eigenlijk helemaal niet zo paradoxaal dat als je dus al die, al die bezwaren hebt en al die implicaties wil onderzoeken en dan zo, zo, zo goed mogelijk wil laten landen, dat je ook heel agressief erin moet investeren.
- 1:44:14Dat, voor mij is dat heel logisch om dat te combineren.Maar ja, dat, dat, ja, dat is wel een, een, een, uhm, een heftig spel om dat te combineren.
- 1:44:22Want het is heel duur en het is, het vereist heel veel inspanning en je moet, je moet dan echt veel risico nemen en dat, dat echte extreme lef hebben en risico nemen en kapitaal in-investeren zonder dat je echt zeker weet of het allemaal gaat lukken.
- 1:44:37Dat vinden ze in Europa over gemiddeld genomen toch lastiger dan- Ja, omdat we risicomijdend zijn daarin.
- 1:44:43Maar goed, tegelijkertijd, deze krijg ik ook heel vaak naar mij toe gegooid, hè, als ik dan even de embodiment of risk averse person ben, die probeert dit allemaal in juiste dingen te leiden. Dat ik, dat ze zeggen: ja,
- 1:44:54volgens mij probeer jij met jouw voorzichtigheid en onderzoek en laten we even goed kijken, uh, wat er allemaal gebeurt en hoe we het kunnen, uh, uh, kaderen op een manier dat er zo min mogelijk slachtoffers vallen door deze technologie.
- 1:45:06Dat er ook mensen zijn die zeggen: ja, die, dat remmende effect daarvan, hè, ook al wil ik dus niet op een rem drukken, heeft al dat soort van voorzichtig doen een remmende, uh, remmend effect.
- 1:45:17Dat zeggen, daardoor worden technologieën die mogelijk lijden kunnen voorkomen ook minder snel uitgevonden.
- 1:45:22Dus als jouw doel was om lijden te voorkomen, ben je eigenlijk lijden aan het creëren doordat je het wil voorkomen. Dat is natuurlijk een hele- Je moet het holistisch zien.
- 1:45:28En als je dus als, als natie of als, als, als continent, uh, achter gaat lopen bij andere partijen, dat, dat heeft natuurlijk een prijskaartje.
- 1:45:37Dus als je dan bijvoorbeeld ook een militair achterstand krijgt, want deze technologie, omdat het zo algemeen is, raakt niet alleen maar transport of taxi's of werkgelegenheid in de zakelijke dienstverlening en de white collar banen, zeg maar, maar ook defensie, dan heeft dat een prijskaartje.
- 1:45:54Maar ook bijvoorbeeld het niet uitvinden van een veel, uh, bijvoorbeeld, zelfs klimaatverandering.
- 1:46:01Er wordt bijvoorbeeld onderzoek gedaan naar, uh, een soort van terra-terraforming, hè, dus dat je iets doet om dat klimaatprobleem op te lossen doordat je ingrijpt als het ware op, op bijna, ja, dus op planeetniveau om te zorgen dat die klimaatverandering, uh, beperkt wordt.
- 1:46:16Of in ieder geval de effecten ervan.
- 1:46:18En, uh, als de uitvindingen die daarvoor gedaan worden kunnen komen van de wisselwerking tussen briljante geesten en heel capabele AI-systemen, dan ben je als het ware door niet agressief die AI-systemen na te jagen, ben je eigenlijk, zoals je al zei, zelf bij, aan het bijdragen aan het leed en de consequenties omdat je niet hard genoeg zoekt naar de oplossing.
- 1:46:38En ik vind Rutger Bregman wel een leuk bruggetje hier eigenlijk. Zijn boek van Morele ambitie heb ik gelezen.
- 1:46:43Ik vind het een goed boek en, uh, hij zegt dus ook van: ja, je kunt dus wel principieel zijn, op je strepen staan, maar in morele ambitie is het punt eigenlijk dat je zegt: je moet, uhm, ambitieus een, uh, een probleem wat je aangaat najaagen om een oplossing ervoor te vinden.
- 1:47:00Want uiteindelijk moet je niet, denk ik, zegt hij dus, ik parafraseer dan, uh, je heel erg bekommeren om of jij op individueel niveau ietsje meer of ietsje minder bijdraagt.
- 1:47:09Je moet kijken naar de totaalsom van het probleem waar je om geeft en, uh, het, dat probleem oplossen, zeg maar, op een kwantificeerbare manier.
- 1:47:20Dus bijvoorbeeld dat ziektes geëradiceerd worden of dat je klimaatverandering, uh, kan, kan reduceren. Dat is toch uiteindelijk je doel? Weet je wel. Je wilt toch niet je gelijk halen?
- 1:47:29Je wilt zorgen dat de wereld er, er, er beter uit gaat zien volgens de morele waarden die je zelf hebt. En dan denk ik: ga dan AI bouwen, want dan kan je daar dichterbij komen bij al die, bij al die dingen.
- 1:47:42Dus meer gelijkheid, uh, uh, veiligere woningen, meer woningen, meer, uh, minder klimaatproblematiek, zeg maar, uiteindelijk. Ik bedoel, ja, nu, nu heb je echt de technocraat, de utopist. Ik ben wel believer.
- 1:47:52Ik laat je even lekker praten, hoor. Ik vind het wel mooi [lacht].
- 1:47:55Nee, maar ik bedoel, ik wil alleen maar, ik, ik bedoel de, de, het kom, wat het, wat het een wicked problem maakt, dit hele ding, is natuurlijk dat op het moment dat je AI bouwt, dat dan ook de CO₂-uitstoot weer omhoog gaat, waardoor je eerder nog met je AI moet komen die het weer gaat oplossen, waardoor je AI nog meer.
- 1:48:09Op een gegeven moment ga je een soort van op zichzelf voedende systemen krijgen, ook qua geopolitiek. Wa-, je noemt het, je noemde het wapenwedloop al, hè.
- 1:48:15Ik bedoel, als jij zegt: ja, je buurman bouwt een hogere schutting, dan moet jij ook een hogere schutting bouwen en op een gegeven moment heb je schuttingen van 80 meter hoog in de straat en zit je ergens diep- Alleen het ding is wel dat die nucleaire bommen, als dat de oorspronkelijke Koude Oorlog, uh, Koude Oorlog wapenwedloop.
- 1:48:29Daar was natuurlijk, uh, uh, het voordeel van meer bommen hebben niet aanwezig, maar het voordeel van meer, uh, intelligentie en, en systemen die meer kunnen, dat, dat, daar zit niet zo'n beperking op.
- 1:48:40Dus ik denk dat die wapenwedloop, uh, goed is. Ik denk wel, om-omdat ik dus denk dat daar AI-systemen mee ontwikkeld worden die voor heel veel positieve dingen ingezet kunnen worden.
- 1:48:50Net als dat computertechnologie, uh, heel veel delen van de wereld mogelijk maakt. Ziekenhuizen zonder computers. Bedenk eens wat voor chaos en inefficiëntie dat zou zijn. Veel minder mensen geholpen.
- 1:49:00Ja, elektriciteit, dus, dus technologie, dat dat, zeg maar, dingen beter maakt, is denk ik geen discussiepunt.
- 1:49:05Maar je bent, je bent ook wel met je eens met dat een wicked probleem is, omdat je wel moet kijken naar de risico's van wat je doet. Wat ik al zei: je moet risico durven nemen, maar er zitten dus ook risico's aan.
- 1:49:16Kapitaalvernietiging is ook weer dat je kapitaal alloceert aan iets anders. Dus je, je neemt dan misschien de kapitaal wat je alloceert aan AI van iets anders weg.
- 1:49:27Dus je moet wel gewoon bij de les blijven en blijven kijken van: is dit nog zinnig? Is dit nog logisch?
- 1:49:31Is, is het zinnig om als we nu een datacenter hebben van, uh, 100.000 GPU's waar XAI mee begonnen en nu heeft opgeschaald naar 200.000 GPU's, moeten we dan de stap zetten naar 400.000 GPU's en op deze manier blijven doorschalen?
- 1:49:45Of moeten we even, uh, een pas op de plaats en nadenken van: kunnen we de technologie niet anders doen, zodat we met deze 200.000 GPU's gewoon iets nuttigs kunnen doen in plaats van maar gewoon blijven verdubbelen?
- 1:49:55Gast, volgens mij zitten we al best wel lang te praten nu en dat is niet erg, maar, uh, we zitten zwaar over de tijd van een gemiddelde aflevering, dus ik hoor Alexander een beetje [lacht] in mijn nek van: gast, hou het nou even binnen een uur.
- 1:50:06Dat gaat allang niet meer lukken, maar, uh, drie uur is ook zo gek. Uhm, ik, ja, wat, wat mij betreft praten we op een ander moment verder.
- 1:50:14Niet binnen een paar weken, maar over een tijdje als je dat leuk vindt, uh, want er is nog genoeg te bespreken.
- 1:50:19Ik ben welNieuwsgierig van als er mensen zijn die zeggen van: oké, dit klonk echt vet, waar kan ik Rick verder volgen? Wat kunnen ze dan doen? Uh ja, ik, ik ben dus vooral gewoon, uh, druk aan het werk.
- 1:50:31Ik ben, uh, niet altijd, uh, publieke dingen aan het schrijven, maar ik heb wel een nieuwsbrief.
- 1:50:36Die heet Coding with Intelligence.com en, uh, dat is, uh, daar schrijf ik gewoon eigenlijk over, een beetje op technisch niveau van wat wordt er allemaal uitgebracht.
- 1:50:47Dus papers, GitHub codeprojecten, grote nieuws aankondigingen, uh, een beetje die, die categorie. Dus als mensen dat boeiend vinden kunnen ze dat checken.
- 1:50:55En ik zit op, uh, X formerly known as Twitter [lacht] of Twitter om het maar eens te noemen. Maar daar, uh, is mijn voor-achternaam Rick Lamers met C, C K. Uh, dus daar zit ik ook op. Vet man!
- 1:51:08Dank je wel voor al je tijd en al, ja, ik moet het ook nog even processen allemaal. Uhm, ja, we, we gaan elkaar nog spreken dat, dat denk ik wel. Leuk! Thanks man.
- 1:51:19[muziek] En dan zit deze aflevering van, uh, AI Report erop. Ik ben er bijna een beetje verdrietig van. Ik sluit hem wel even netjes af natuurlijk nog. Dank aan Sam Hengeveld voor de edit.
- 1:51:30Dank aan Pankra voor de vormgeving. Dank aan Depth ook voor het mogelijk maken van deze podcast. Als je vandaag nog wil beginnen met AI binnen jouw bedrijf, ga dan zeker even naar depthagency.com/aireport.
- 1:51:43En als je nou een lezing wil over AI van Wietse of Alexander, dat kan nog steeds. Mail ze op lezing@aireport.email. En nou ja, nog één ding, hè, dat hoort er ook nog bij.
- 1:51:55Want als je nou op de hoogte wil blijven van het laatste AI-nieuws en twee keer per week tips en tools wil ontvangen o-o-om hoe je het meest uit AI kan halen, ja, abonneer je dan op de nieuwsbrief via aireport.email.
- 1:52:08Dan kun je dus ook meedoen aan een webinar. De of het webinar? Ik zou zeggen het. Jij weet het niet, hè? Nee, ik zie jou schudden.
- 1:52:16De linkjes in ieder geval naar alles wat ik net heb opgenoemd zijn ook te vinden in de shownotes. Jullie komen er wel uit. Dank voor het luisteren. Doei.
- 1:52:27[outro jingle]