Latest / AI Report / Langverwachte Claude 4 valt mee + medisch AI model van Nederlandse bodem | AI Report
Transcript
- 0:00Welkom bij AI Report, de Nederlandse podcast over kunstmatige intelligentie waar we uitzoeken welke invloed AI heeft op ons werk, ons leven en de samenleving.
- 0:08Met deze week: lang verwacht en eindelijk hier, de nieuwste versie van de AI van Anthropic: Claude. En je zou zeggen: die stootte in één keer door naar de toppen van alle ranglijsten, maar niets is minder waar.
- 0:21Het lukt Anthropic maar matig om Google van de troon te stoten. Wietse brengt zo de nodige nuance.
- 0:27En misschien is het om de aandacht af te leiden, maar de CEO van Anthropic kwam deze week met opvallende uitspraken bij een Amerikaanse zakenwebsite.
- 0:35Daar claimt hij dat AI de helft van alle kantoorbanen gaat laten verdwijnen. En hij zegt, quote: "Wij als producent van deze technologie hebben de plicht en de verplichting om eerlijk te zijn over wat er komt."
- 0:47En: huisartsen zwoegen onder grote administratieve druk. En dat wil natuurlijk niemand, want dat betekent dat ze minder tijd bezig kunnen zijn met hun patiënten. En dan ligt AI-gebruik natuurlijk op de loer.
- 0:57Maar in de context van dit soort privacygevoelige gegevens ligt dat terecht allemaal lastig. Thomas Kluijters heeft misschien de oplossing.
- 1:04Hij maakt technisch legitte, privacyvriendelijke AI, die inmiddels 50.000 doktergesprekken per maand transcribeert. Wietse spreekt hem. Een beetje Nederlands trots in deze podcast. Welkom bij AI Report.
- 1:20[muziek] Wietse, over anderhalve week, op donderdag 12 juni om precies te zijn, hebben wij weer een webinar tijdens de lunch. Een- Yes...AI-lunch.
- 1:38Ik vind wel, mensen nemen te weinig broodjes mee, want wij zien mensen natuurlijk en, uh, ik vind het jammer dat, uh, dat er zo wei-weinig mensen gewoon bammetjes zitten te eten. Ja, of een broodje.
- 1:47Misschien moeten wij ook het goede voorbeeld geven, Wietse. Afgesproken. Dat moeten we niet vergeten dan, hè. Ja. Uh, dat doen we tijdens de lunch, dus, uh, van, uh, twaalf tot één.
- 1:56En als je daar meer over wil weten, dan kun je naar AI Report punt email slash webinar gaan.
- 1:59Dan kun je alle vragen die jij over, uh, AI hebt in jouw werk of in jouw leven stellen aan Wietse en mij, en wij beantwoorden de meest geüpvote vragen van dat moment van de luisteraars op dat moment.
- 2:11Dus als je meer wil weten en daarbij wil zijn, dan ga je naar AI Report punt email slash webinar. Het nieuws. Claude Opus 4 is het nieuwe zwaarste taalmodel van Anthropic dat zij lanceerden deze week.
- 2:24Wij keken daar reikhalzend naar uit. Ook al maanden, want dit zat een beetje-- we wisten dat dit in de pijplijn zat en ik zag het niet helemaal aankomen dat het nu ging komen.
- 2:33Het was toch een beetje een verrassing en, en, uh, het duurde ook allemaal een beetje lang. Vrij kleine launch. Wat zeg je? Kleine launch, als in: weinig bombarie, vond ik. Ja, wat zegt dat?
- 2:45Nou, ik heb het idee dat, uh, wat, wa-, [schraapt keel] die modellen kosten best wel tijd om te trainen. Maanden. Uhm, en op een gegeven moment moet je hem dan uit de oven trekken.
- 2:54Hebben we het eerder over gehad en hier is besloten: dit is wat het is. En ik denk dat ze, uh, er wordt ook online wel gespeculeerd. Is het niet gewoon Claude 3.7 of 3.8 eigenlijk?
- 3:04Is het wel waard om daar echt een grote major release, uh, nummer aan toe te voegen, omdat het lijkt dat er niet superspannende, uh, architect-- hoe zeg je dat?
- 3:14De architect is gewoon niet zo, uh, architectuur is niet heel erg anders. Mhm. De strategie die genomen is.
- 3:19Dus je zou kunnen zeggen dat dit het soort einde van een paradigma is waarin eigenlijk ook de drie, de 3-serie werd getraind, uh, en dat het daarom ook minder spectaculair is. Uh, wat bedoel ik daarmee?
- 3:32Ik denk dat wij een jaar geleden hadden gedacht: als Claude 4 uitkomt, dan is dat, dan is dat nieuws of zo. Dan kan dat iets, uh, waar wij van onder de indruk zijn.
- 3:40En het voelt, uh, toch ook een beetje als een GPT 4.5-moment. Mhm. Hè, toen hadden we ook zoiets van: nou, er komt een GPT 5. Uh, was ook niet, uh, super denderend. Het, het lijkt er een beetje op dat, uhm,
- 3:54wat er nu gaat gebeuren de komende maanden, uh, en jaren, dat er veel meer, uh, scaffolding, dus tools omheen, trucjes, betere software overheen komt en dat we die focus op die basismodellen, zeg maar, die rauwe modellen die dan iedere zes maanden gedropt worden door de verschillende partijen, dat die wat minder wordt.
- 4:14Wa-wat bedoel ik daarmee te zeggen? Het gaat hier, het gaat hier over programmeren, want dat is waar iedereen het gelijk, uhm, over heeft bij de lancering van dit model.
- 4:23En eigenlijk sinds, uhm, Google's, uh, grootste Gemini-model heeft iedereen het vooral over de, de, weet je, dat het, li-, dus bijna de krachtmeting is: hoe goed kan het pro-, uh, het model programmeren?
- 4:35En daarin was het een opvallend moment dat mensen van 3.7 oversch-, uh, 3.7 Sonnet, het Anthropic-model, naar, uh, Google massaal.
- 4:44Massaal waren er allemaal programmeurs die, uh, Anthropic eruit meterden en in plaats daarvan- Ja...Gemini gingen gebruiken.
- 4:50En het was een beetje de verwachting dat deze nieuwe grote release van Anthropic, waar iedereen al maanden op zit te wachten, uhm, ja, dit moment zou, de revanche zou nemen op, op Google. En dat is dus niet gebeurd. Wat,
- 5:05ja, wat zegt dit? Is het, is, uh, uh, lopen ze vast bij Anthropic? Is dat het? Nou, wel binnen, uh, de ideeën die zitten achter het opbouwen van dit model, hè. Want blijkbaar, we hebben ook Opus weer terug nu, hè.
- 5:17Dat lijkt klein, maar, uh, we waren, we draaien alweer lang genoeg mee om te weten dat er ooit altijd Opus-modellen waren, hè. Dus de allergrootste modellen van Anthropic. Dus de meeste parameters.
- 5:27En bij, uh, 3,5 hebben we nooit een Opus-model meer gekregen. Nee. Op een gegeven moment bleef bij Sonnet, want die was zo krachtig dat we eigenlijk al onder de indruk waren van het middenmodelletje, zeg maar. Ja.
- 5:37Dus ik had gedacht: als er dan een 4 komt en er komt ook nog eens een Opus, hè, dubbel, dubbel whammy, dan moet dat wel heel spectaculair zijn. En dat valt gewoon, uh, mee. Ik wou zeggen tegen, maar dat is niet waar.
- 5:47Het valt gewoon mee. En dat komt omdat we een beetje verwend zijn.
- 5:50Dus nu in de benchmarks die ik volg, hè, uh, dat het liefst zo breed mogelijk, uh, het liefst op programmeren, omdat dat een beetje is waar ik het meeste modellen voor gebruik.
- 5:59Dan landt, uh-Clad vier opens naast of net onder of soms heel soms een klein beetje boven Gemini twee punt vijf pro.
- 6:06Dus je zou kunnen zeggen knap van Antropik dat ze meekomen met Google, maar dat is een zin die ik een half jaar geleden had ik dat andersom gezegd.
- 6:13Toen zaten wij nog met z'n tweeën een beetje zorgen te maken of in ieder geval te kijken van gaat er nog wat gebeuren daar binnen, binnen Google?
- 6:19En nu zijn al die labs ineens, rennen allemaal een beetje half achter of naast Google. Is dat best wel een, uh, ding. En ik, ik denk voor ons ook om een beetje
- 6:29te kunnen blijven praten over de nieuwe versies van uit de labs. Dat het een beetje een breder verhaal moet gaan worden.
- 6:36We hebben het bijvoorbeeld vorige week gehad over OpenAI Codex, een heel raamwerk scaffolding rond hun coding model Codex één.
- 6:45En dan kan je wel zeggen ja, die in die benchmark doet ie x of y, maar inmiddels gaat het om een hele suite. Dus bijvoorbeeld Antropik maakt Cloud code.
- 6:53Dus je moet eigenlijk kijken naar hoe werkt Cloud code samen met het onderliggende fundamentele model in een nieuw ensemble? En wat is de, uh, performance daarvan?
- 7:04Ik zeg het niet vaak Wytse, maar is er een metafoor die dit makkelijker begrijp-begrijpbaar maakt voor de mensen?
- 7:11Ja, ik zat er stiekem natuurlijk al een beetje parallel over na te denken, maar, uh, in de-- ik ben de laatste maanden, als ik, als ik het hier met mensen over heb, wat meer gaan draaien omdat ik, ik was een beetje cynisch over wrappers.
- 7:25Dus het idee dat je een bedrijfje begint waarbij je eigenlijk simpelweg een model pakt. Simpelweg, zeg ik even tussen aanhalingstekens van OpenAI bijvoorbeeld, GPT-4o.
- 7:35En dan doe jij daar een promptje op en wat bestandjes bij en dan noem jij dat een nieuw stuk software. Ik zeg het een beetje cynisch. Dat vond ik eigenlijk als softwareontwikkelaar niet zo spannend.
- 7:45Maar ik begin me meer en meer te beseffen dat alles wat je er omheen bouwt, als je dat op een intelligente manier doet en je hebt daar wat magie bij, uh, die je hebt, uh, uitgevonden.
- 7:56Dat je inmiddels gewoon kan zeggen dat je een stuk software hebt gebouwd dat veel krachtiger is dan het onderliggende model. Nou, daar hoef ik geen metafoor voor te gebruiken.
- 8:03Ik denk Notebook LM is daar gewoon een heel mooi voorbeeld van. Dat is Gemini. Daaronder zit Gemini en Advanced Voice Mode. Allemaal Google API's die supersaai en rauw zijn.
- 8:13Totdat je daar een interface omheen doet met een drag en drop. En iedereen kan zijn documentjes koppelen en je kan een podcastje maken via Advanced Voice Mode.
- 8:21Als nerd zie ik hoe ze het doen, maar als ik dan nu, nu ze helemaal nu ze een app hebben, dat laat zien aan mensen, dan beseffen ze zich: hey, dit is gaaf! Dus misschien kan ik Notebook LM als een parallel gebruiken.
- 8:34Dat, we zitten nog op benchmarks te kijken alsof we de processor van een computer, het nieuwe megahertz.
- 8:39We zitten in een soort megahertz wereld waarin we megapixels en megahertz en gigabytes vergelijken met die modellen, terwijl het gaat toch gewoon om de software die daar op draait.
- 8:49En is er wel een onderliggend, uh, als we dan toch even die, m-m-megahertz met elkaar vergelijken, is er dan iets positiefs of iets opvallend, positief opvallends aan dit nieuwe model van Antropic?
- 9:02Nou, dat is wel interessant, want je hebt natuurlijk de rauwe benchmarks. Precies wat jij zegt: de getallen en je hebt de vibecheck. Dus gewoon hoe mensen ermee werken en, uh, uh, beschrijven hoe prettig het is.
- 9:14Nou ja, ik kan mijn eigen vibecheck even vertellen, want ik ben geswitcht. Weer terug naar Cloud. Nou, dat zegt ook iets. Ja, toch wel.
- 9:21Uh, dat heeft er een beetje mee te maken dat, die modellen hebben allemaal een beetje een, uh, een mening, zeg maar. Die zijn opinionated, zoals ze dat noemen.
- 9:29En ik heb altijd de mening van Antropic en Cloud prettiger gevonden dan van Gemini. Maar toen Gemini beter werd, dacht ik nou ja, dan maar niet op de manier hoe ik wil, maar wel beter, sneller, intelligenter.
- 9:40En ik, ik merk wel dat wat zowel heel goed lukt bij Antropic nog steeds is om echt een, uh, persoonlijkheid te geven, ook als programmeur. Uh, met bepaalde voorkeuren van hoe je programmeert en hoe je dingen uitlegt.
- 9:54Uhm, [schraapt keel] die mij wel bevalt en die dus ook in stand gebleven is, want dat was een beetje de zorg dat je gaat updaten van model en dat je iets gaat verliezen. Wij zijn een beetje, nou ja, ik zeg even wij.
- 10:05Maar wat aan die persoonlijkheid beviel je zo, want je probeerde dit uit en dacht je: hmm. Maar wat was dat? Daar is Cloud weer. Ja, [lacht] ik dacht: oh ja, dit is, dit is hoe het- Oude vriend.
- 10:14Ja, het is gewoon een, een, een stukje vriendelijker. Iets wat langer van stof. [lacht] Dat vind ik leuk. Oh ja, dat, dat matcht wel. Ja, is gewoon mijn maatje. Nee, dus [lacht] inderdaad.
- 10:23Nee, het was, het was wel grappig, want nu je dat zo zegt, het is een beetje alsof je een collega zes maanden naar het buitenland gegaan is en terugkomt en jij logt weer in op die chat en je denkt: hey, daar is ie weer.
- 10:34Fascinerend. Ik denk ook dat we, we kunnen wel eens een keer een blinde test doen, net als met wie is, wat is Pepsi, wat is cola? Ja. Van wa-wa, hè, waar praat ik nu mee qua, qua sfeer?
- 10:44Maar het is grappig, want kijk, ik heb, ik, ik, ik gebruik taalmodellen niet om te programmeren. Ik gebruik het om te schrijven. Ja. En, uh, veel ook. En ik heb heel lang, uh, Cloud Sonnet drie en half gebruikt.
- 10:56En die, uhm, die, dat was een tijdje het beste en toen kwam er drie punt zeven uit. Toen verdween het in een soort van dropdownmenu.
- 11:04Maar ik merkte toch wel dat ik redelijk vaak terugging naar drie en half omdat ik hem wat poëtischer vond.
- 11:09En Wytse, die, die vriend van mij, die schrijversvriend waar ik zo trouw steeds verder in dropdowns ging graven om die toch maar weer terug te halen, die is gewoon verdwenen. Oh wauw. Hij is weg.
- 11:22Maar i-in vier vind je hem ook niet meer. Nee. En ik kan er ook niet meer bij. En, en, en vier praat anders. En er is toch een deel van mij wat is, is, uh. Ja, ik ben wel, uh, uh, licht teleurgesteld hierover.
- 11:35Ja, ik denk dat jouw schrijvervriend softwareontwikkeling is gaan studeren. Ja, precies. Nee, serieus.
- 11:40Want ik bedoel Antropic heeft ook natuurlijk, die, die zijn heel publiekelijk, uh, geven zij toe dat zij lekker op die, uh, niche [gniffelt] van softwareontwikkeling zijn gaan zitten.
- 11:49Jouw maatje, die is geen Dostojevski meer jongen. Het is over.Ja, hij is doorgetraind naar, naar een veel lucratievere business.
- 11:56Wat dat betreft- Wat een nerd geworden...prima metafoor voor wat wij met z'n allen in de gehele arbeidsmarkt gaan meemaken. Want dat is een, uh, een, uh, een, uh, een gerelateerd dingetje.
- 12:06De baas van Anthropic, Dario Amadei, die is on the record gegaan bij Axios. Dat is een groot Brits of Amerikaans zaken, uh, website en daarin is hij harder dan hiervoor.
- 12:17Hij heeft altijd al, hij is altijd al hard geweest over de impact van AI op, uh, um, de economie en, en voornamelijk werkgelegenheid. Maar dit keer is hij erg hard.
- 12:27Hij zegt nu: en dit is een, een, een specificering van eerdere uitspraken, maar die klinkt toch best hard.
- 12:32Hij zegt nu: de helft van alle instapbanen in de, uh, onder, in, onder white collar jobs, dus ik denk dat dat het best laat vertalen als, uh, kantoorbanen, gaat verdwijnen door AI.
- 12:44Werkloosheid zou kunnen stijgen naar 10, 20% in de komende vijf jaar.
- 12:47Specifiek getroffen sectoren zijn de techsector, de financiële sector, de juridische sector, de con-consultancy sector en andere, uh, kantoor professionals.
- 12:56En het zijn vooral de instapfuncties die kwetsbaar zijn voor automatisering. Hij waarschuwt dus vooral mensen onder de dertig die, uhm, de baan of de banenmarkt net opkomen.
- 13:05De meeste mensen, zegt hij, quote, zijn er zich niet van bewust dat dit, uh, op dit punt staat te gebeuren. En Axios zegt daarover, en dat vind ik, uhm, interessant.
- 13:17Uh, zij zeggen, hij, Axios dus de, de schrijvers van dit stuk zeggen: hiermee gaat deze CEO van dit AI-bedrijf on the record door dit te zeggen.
- 13:27Uhm, maar dit zijn sentimenten die alle bazen van grote AI-bedrijven in private tegen ons zeggen. En hij zegt het nu hardop.
- 13:36Uhm, uhm, maar eigenlijk zeggen ze dit allemaal, is een beetje de, ja, de strekking van wat de schrijvers van dit artikel, uh, schrijven en de v-, de, uh, verwachting van dit mogelijke banenbloedbad, want dat is de spin die ze eraan geven, gaat nog komen tijdens de tweede termijn van Donald Trump.
- 13:55Het staat nog niet op de radar van mensen. En Steve Bannon, uh, ja, oud-campagneleider van Donald Trump en nog steeds wel een beetje in die MAGA-cirkels, voorspelt dat deze AI,
- 14:06ja, baanvernietiging, uh, uh, een van de hoofdthema's wordt van de volgende presidentsverkiezingen in Amerika, dus van 2028. Nou, gezellig.
- 14:16Ik denk als ik, nou, ik denk als ik mensen een beetje kan helpen of zo die dit nu aanhoren en mij net horen vertellen dat Claude 4 een soort 4, 4, G-GPT 4,5 is, hè. Dus het valt allemaal wel mee.
- 14:25En dan wij daarv-, daarna van dezelfde CEO van hetzelfde bedrijf zeggen dat het allemaal niet meevalt qua wat er allemaal aankomt. En ik denk dat je die twee toch wel naast elkaar kunt laten bestaan.
- 14:37Die twee feiten, zeg maar. Als je nu, uh, we hebben Veo 3, uh, hebben we nu, het videomodell van Google. Uh, daar zijn meer filmpjes van rondgegaan deze week.
- 14:45Die zal jij ook allemaal gezien hebben, Alexander, van, hè, de carshow hadden we al, een soort, uh, autoshow, autoweekshow met mensen die geïnterviewd worden op een beursvloer. Is allemaal nep.
- 14:54En inmiddels is Las Lokaal een beetje de grote maker op het gebied van Veo 3. Allerlei filmpjes aan het maken, zo dicht mogelijk bij uncanny en voorbij, denk ik, hè.
- 15:03Dus echt mensen die in de rij staan voor een iPhone in New York die geïnterviewd worden. Uh, uh, een monnik in een rij in een iPhone, nou, nou, of, of, of, nou goed, in een rij met een iPhone in New York.
- 15:14Het is allemaal echt, uh, intens vind ik om te zien. Hoe echt het is, bedoel je? Ja, hoe echt het is. En als je dan kijkt,
- 15:23neem, ne-- stel je nou even voor, daar hoef je dus niks nieuws voor uit te vinden, maar je moet even wat dingen aan elkaar koppelen.
- 15:28Volgens mij is AI Report, de podcast die wij maken, heel vaak, Wietse doet met wat touwtjes iets aan mekaar. Daardoor krijgt Alexander een stukje van de toekomst te zien.
- 15:36En zes maanden later is er een app die iemand gelanceerd heeft, hè. Ik heb ooit geprobeerd boekjes te maken en presentaties te maken met slides. Nou, het zit inmiddels in, uh, NotebookLM, hè, dus zo gaat dat. Uhm,
- 15:47wat ik, wat je je even voor kunt stellen is dat dat Veo 3, hè, dus mensen die levensecht in beeld met jou praten, dat je de tekst die zij uitspreken komt uit deep research, hè.
- 16:00Dus je laat een deep research doen over quantum fysica. Dan zeg je: doe even een Wietze-achtige metafoor.
- 16:07Dat geef je aan Veo 3, waardoor in het vloeiend Nederlands een persoon bij een krijtbord of op een skippybal of ergens op het strand of hoe jij het ook wil hebben. Whatever floats your boat.
- 16:17Jou in een e-learning gaat uitleggen, stap voor stap met de metaforen die jij wil op basis van de deep research die OpenAI voor je gedaan heeft, hoe een onderwerp werkt.
- 16:27En wat ik je nu beschrijf is geen toekomstmuziek, maar echt enkel het juiste prompten van Veo 3 met de inhoud van Google Deep Research.
- 16:34En ik denk dat, uh, we nu langzaam gaan zien dat er meer partijen gaan komen die van die wrappertjes gaan maken, hè, waar ik dus iets minder negatief over ben dan dat ik voorheen was en gaan zeggen: op deze website, typ maar een onderwerp in.
- 16:47We hebben of al een hele rits klaarstaan met cursussen die we al hebben gepregenerate, zeg maar.
- 16:52Of we maken hem on demand en over vijf minuten krijg jij een mail met 10 minuten lang uitleg over onderwerp x of y in beeld door iemand in een pino-pak. Het maakt allemaal niet uit. Wat is dit?
- 17:02Hoe is dit een reactie op de uitspraak van Dario Amadei dat over vijf jaar de helft van de kantoorbanen is verdwenen? Dat die, als we die, uh, Veo 3-achtige videogeneratie real time hebben.
- 17:14Dus je hoeft niet meer te wachten, je kunt er gewoon mee interacteren. Dan kan dat iemand of een agent zijn in een Teams-call- Ja, ja...die in een blokje komt te zitten.
- 17:23Uh, dan kan dat iemand zijn die zich op allerlei andere manieren uit. En ik denk dat het nu, omdat ook jij en ik nog best wel gefocust zijn op de taalmodellen, hè.
- 17:33Het gaat over wat kan Claude 4 en, uh, voelt hij beter als schrijver of als programmeur. Terwijl in die AI-wereld op allerlei andere manieren ook media gemaakt worden.
- 17:45En, uh, ik denk dat het beter is om een beetje uit te zoomen op het totaalplaatje om je te beseffenOké, ik word misschien niet vervangen door een chatbot, zeker als ze niet zo snel beter worden als dat we hadden verwacht.
- 17:57Maar aan tegelijkertijd wordt er op allerlei andere vormen van uitingen, plaatjes, beeld, audio zulke grote stappen gemaakt in de laatste jaar dat, dat als we dat allemaal aan elkaar binden, je toch wel, uh, een serieuze nieuwe collega/
- 18:13uh Ja, eigenlijk wat jij zegt is: het is nu voor mensen heel moeilijk om voor te stellen dat je met een AI collega gaat babbelen, uh, in een videochat.
- 18:20Want we zijn gewoon, AI video zijn de meeste mensen niet van gewend dat het bijster goed is. We maken vooral grapjes over dat ze, dat mensen zes vingers hebben of dat taalmodellen hallucineren.
- 18:30We zijn gefocust op de inconsistentie en de dingen die niet goed werken.
- 18:35En dan ver-, dan vergeet je dat als je met een beetje fantasie bestaande technologie aan elkaar koppelt waarvan je aan je water kan, uh, aanvoelen dat dat gaat gebeuren, dat iemand dat gaat doen.
- 18:47Dat het zomaar zou kunnen zijn dat je wel het vertrouwen kan opbrengen, uhm, in zo'n, ja, AI avatar waar je mee gaat videobellen.
- 18:56Dat voelt nu heel abstract en bijna, uh, een soort van ridicuul om te videobellen met een AI hoofd. En jij zegt: ik geloof dat er een moment gaat komen dat dat niet ridicuul gaat voelen.
- 19:09Sterker nog, dat je liever met je AI collega gaat bellen dan, uh, met een echte collega.
- 19:15Ja, wat je allemaal liever wilt weet ik niet, maar, uh, dat je zo'n gesprek een keer gaat voeren en daar, uh, je tot moet gaan verhouden, dat gaat gebeuren.
- 19:23En ik denk dat, uh, misschien om het toch nog proberen iets concreter te maken, die image generation waar iedereen zo van flabbergasted was een paar weken geleden of maanden geleden, ik weet niet meer hoe lang het allemaal al is.
- 19:33Je bedoelt ChatGPT? Ja, Ghibli plaatjes maken en, uh, kerstkaarten en, uh, ik, ik heb best wel wat mensen om me heen die dit nu gebruiken om kaarten te maken en posters en zo, hè.
- 19:42Het is toch een soort, soort designer ook, echt niet alleen maar plaatje of fotootjes veranderen.
- 19:47Als je dat dan combineert met zo'n video model, hè, dus dat genereert, uh, slides voor een slidedeck en tekeningen voor op een schoolbord die er weer op getekend worden door een, uh, levensecht persoon.
- 19:58Die praat in het Nederlands met kuchjes en lachjes uit de audio generator. Dan heb je daar gewoon echt een, een, een, een prima cursus.
- 20:06En ik, ik, ik wil alleen maar aangeven dat, ik denk dat er best wel wat mensen zijn die nu luisteren waarvan hun werk op een manier, uh, kennisoverdracht is middels beeld. Mhmm.
- 20:16En, uh, wat mij betreft, als ik nu kijk wat er technologisch ligt, uh, voor het oprapen, dan is het echt goed mogelijk om daar hele specifiek op maat gemaakte, uh, cursus, cursusmateriaal mee te maken in videovorm.
- 20:32Ik mocht dus deze week in een, uh, klas vol, vol zes, zeven, acht-jarige kinderen een beetje over AI vertellen.
- 20:38Dat vond ik heel erg leuk, dus ik liet daar ook zien dat je met, uh, inderdaad met, uh, chat een, een plaatje kan maken van, ze mochten kiezen, uh, noem een dier die een bepaald ding doet op een bepaalde locatie, dus dan begint iedereen in die klas te schreeuwen en dan maak je dat plaatje en toen dat plaatje g-, gemaakt wat super fotorealistisch eruit ziet.
- 20:58En wat leidde tot een hoop hilariteit natuurlijk bij zevenjarigen. En dan vervolgens dat plaatje, uh, tot leven brengen met Runway. Ja.
- 21:05En dan vervolgens, uh, mogen ze ook nog vertellen wat die, uh, wat die, wat dat dier op dat plaatje dan gaat doen. En hebben ze allemaal ideeën en dan, dan, dan, dan spreek ik dat in met Whisper.
- 21:16En dan 30 seconden later heb je een foto, uh, fotorealistische, uh, video, uh, van een dier die dat doet en je ziet gewoon die, uh, koppies opengaan met de realisatie dat dit kan.
- 21:32En in plaats van dat ze dat meekrijgen op latere leeftijd krijgen ze dat mee op zevenjarige leeftijd.
- 21:37En ik, ik probeer me zo vaak voor te stellen hoe dit, uh, moet zijn als je nu een kind bent en je hebt deze gereedschappen, uh, tot je beschikking en je bent een beetje creatief. Ja, ik weet niet, dat,
- 21:52het maakt me, dat is, dat is wat me, dat, dat, zeg maar, wat me optimistisch, uh, maakt in een tijd waarin je ook heel veel kan inzoomen op die Dario Amadeiachtige, uh,
- 22:03quotes over hoe drastisch de arbeidsmarkt zou kunnen gaan veranderen de komende jaren, probeer ik ook de hele tijd te denken aan
- 22:11wat een vette tijd kinderen gaan meemaken de komende, uh, jaren als het gaat over het benutten van hun talenten. Dat is tegelijkertijd ook waar, uhm.
- 22:21Ja, ik denk dat, dat ons hele gesprek tussen, tussen jou en tussen mij is, dat is ook waar op dit moment. Nou goed, voordat we weer in allerlei dystopische
- 22:35problematieken gaan verzanden, uh, nog even een paar kleine dingetjes. Uh, Claude, uh, tenslotte heeft ook een stem gekregen, uh, wat inmiddels bij alle andere taalmodellen gemeengoed is.
- 22:48Hebben ze nu ook een, uh, zeer realistische met uh en a, uh, uh, stem gekregen waarmee je kan praten. En de grap van Claude, en ik vind dat toch wel de moeite waard om even te noemen, is dat ze vrij
- 23:03nauwe integraties hebben met, uh, Google producten. Dus je kan je Google Calendar account en je Gmail account eraan koppelen met een paar klikjes en vanaf dat moment werkt dat ook vrij soepel.
- 23:14Als je eenmaal die dingetjes hebt aangezet dan kun je die makkelijk aanroepen en in combinatie met die spraakfunctie gebeurt er toch iets grappigs.
- 23:21Dan kun je dus bijvoorbeeld vragen: heb ik eigenlijk, aan die spraakfunctie, stel je voor dat je in de auto zit en je zet die spraakfunctie aan.
- 23:28Dan kun je dus vragen: heb ik eigenlijk nog mails gehad van Wiet, uh, van Wietse, uh, onderweg naar deze podcast bijvoorbeeld? Zou ik dat kunnen vragen?
- 23:36En dan, uh, zegt ie: ik ga even in je Gmail kijken, in het Engels, want ding spreekt alleen Engels. Ik ga even in je Gmail kijken.
- 23:43Dan vertelt ie: ja, inderdaad, ik heb een mail gehad van Wietse en wat er dan gebeurt is dat er op het scherm verschijnt andere tekst dan dat hij aan het aan, uitspreken is.
- 23:52Dus hij gebruikt het scherm als begeleidende context voor wat hij auditief uitspreekt.
- 23:57En dat is weer, het, het lijkt een detail, maar dit verandert best wel de ervaring van een ding wat tegen je aan het praten is, want je krijgt deJa, het is bijna alsof je de belangrijkste gegevens visueel krijgt en alle chit chat, uh, en soort van interactiviteit verbaal krijgt.
- 24:15En dat is super chill. Het is een hele fijne, uh, manier van interacteren en het gaf mij echt weer een, uh, kleine blik in hoe waarschijnlijk spraakassistenten gaan werken.
- 24:26En Claude probeert dat nu natuurlijk die rol over te nemen. Dat je gewoon met de Claude-app gaat autorijden of gaat fietsen of wat dan ook. Uhm, ik vond dit best wel cool. Ik wilde dat toch even, uh.
- 24:36Ja, en ik denk dat, dat sluit ook mooi aan op het idee dat, uh, de verandering, de innovatie, hoe je het wil noemen, op het gebied van AI-software veel meer op deze laag gaat gebeuren, hè.
- 24:47Dus dat is waarom OpenAI met Jony Ive gaat werken, want die gaan naar producten toe. Dat is waarom Anthropic zo hard inzet op mooie interfaces maken met de juiste visuele metaforen.
- 24:56Een stem erbij en ik denk: we bewegen een beetje vanuit de DOS-periode, hè, de, de terminal periode van AI gaan we nu omhoog naar de, uh, Windows UI based, uh, uh, softwarewereld.
- 25:08V-, dus ik denk dat we daar meer updates over gaan geven het komende half jaar dan over Claude 4.1, 4.2. Ja, ja, ja, ja, ja.
- 25:16Ten slotte: de Verenigde Arabische Emiraten geven vanaf binnenkort alle inwoners gratis ChatGPT Plus.
- 25:25Het eerste land ter wereld biedt, uh, de Emiraten dus gratis toegang tot de premiumversie van ChatGPT, die normaal dus $ 20 per maand kost.
- 25:33En dit initiatief van een, dit initiatief is een onderdeel van een bredere samenwerking met OpenAI. Ze gaan ook een gigantisch, uh, datacentrum bouwen in Abu Dhabi dat, uh, volgend jaar operationeel moet zijn.
- 25:43Ik heb eerder dit nieuws, dit soort nieuws gelezen over, uh, scholieren die, uh, toegang krijgen tot, uh, tot Plus-versies van AI-taalmodellen met verschillende bedrijven. Niet alleen OpenAI.
- 25:55In verschillende landen gebeurt dit. Vind jij dat, dat Nederland ook een beetje met het oog op die eerdere nieuws, uh, over de uitspraak van Darius Amade over, over werkgelegenheid.
- 26:05Vind jij dat dit in Nederland ook zou moeten gebeuren? Al, al dan niet met alleen studenten of andere groepen? Of is dit een soort van hype, gimmick? Uh, ja, zet geen zoden aan de dijk.
- 26:18Nou ja, de vraag is natuurlijk een beetje, bijvoorbeeld studiefinanciering dat bestaat. Uh, moet je, k-kan je dat, [schraapt keel] daar kan je ook € 20 van gebruiken om ChatGPT mee aan te schaffen.
- 26:26Dus dit maakt het natuurlijk heel expliciet door te zeggen: nee, je krijgt een license, hè. Dus het is een cadeaubon en die kan je alleen maar uitgeven daar, zeg maar.
- 26:33Terwijl ik, uiteindelijk is het een, uh, een vorm van, uh, leerlingen, studenten ondersteunen financieel.
- 26:40Dus ja, we, we zouden dit ook explicieter kunnen maken en kunnen zeggen: joh, dat, er is een soort AI-financiering waardoor jij, uh, kan kiezen bij welke partij jij een soort bulkabonnementje neemt.
- 26:51Maar ik zou zeggen: ja, je koopt ook boeken en een laptop en dat soort dingen en dan, dan.
- 26:56Ik zou eerder tegen de student zeggen, uhm, hè: als je deze tooling, ga deze tooling sowieso bekijken en, uh, zien hoe het voor jou werkt. Uh, los van de hele onderwijsdiscussie die we eerder hebben gevoerd.
- 27:08En, uhm, laat die € 20 je niet tegenhouden, bij welke van de partijen dan ook, omdat je gewoon, zeker in het geval van deep research-achtige tooling, uhm, ja, best wel iets mist op dat moment.
- 27:19En als je dan zegt: hè, dan- Als je onderwijs loslaat en je be-denkt meer als de- Burger. Ja, ik overval je hiermee. Nee, geeft niet.
- 27:29Ik, ik zit er zelf meer te denken, uh, dan zou ik veel eerder, uh, v-voorlichting, uh, in de vorm van, uh, allerlei tv-programma's tot en met cursussen tot en met buurthuizen.
- 27:44Uhm, iemand een licentietje geven en zeggen: succes is, is niet genoeg.
- 27:49Uh, wa-wat mij betreft gaat het erom, uh, dat je je verdiept in, uh, wat AI is, zodat je je er, uh, intelligent toe kan verhouden en een keuze kan maken hoe jij het in je leven wel of niet gaat integreren.
- 28:01En die verdieping is nu best wel moeilijk, want er is heel veel hype. Uh, heel veel mensen lopen achter de feiten aan. Heel veel mensen lopen veel te ver op de feiten vooruit.
- 28:11Het is dus best nog wel een rommel, uh, qua informatievoorziening rondom dit onderwerp. Kan ik even makkelijk kletsen met jou samen in onze podcast over AI. We doen ons best. Doen wij.
- 28:19Het is voor ons ook, uh, best wel complex om te snappen op welk abstractieniveau- Als mensen het gaan proberen dat het dan wel een, dat heeft wel impact. Is een absolute stap.
- 28:27Je kan wel over lullen, maar je moet het, je moet het uiteindelijk gewoon meemaken en dan gaat het ook vanzelf toch? Nee, mee eens. Dus, dus, maar daar, dat is nu best wel goed mogelijk al volgens mij.
- 28:36Je kan naar chat.com, dan kom je op een gratis ChatGPT van OpenAI zelf en kan je meteen gaan kletsen. Ja, precies. [schraapt keel] En Notebook, NotebookLM staat gratis in de App Store.
- 28:45Gratis als in: je betaalt met je data. Dus- Ja. Om eerlijk te zijn, je kunt nu al, uh, als je hier al een license hebt of iemand kent die, uh, niet, ja, er zit, er is wel veel mogelijk, hoor.
- 28:54Dus ja, ik zou niet zomaar, uh, waardevolle gaan uitdelen. Ik ben gewoon zo benieuwd wanneer dit een ding wordt voor politici om zich op te gaan onderscheiden.
- 29:03Weet je, nu hebben we, uh, onze minister van Economische Zaken die dan, uh, gewoon het af en toe erbij gebruikt als. Ik vond dat heel mooi in dat AI-plan wat, uh, Michiel Bakker, vriend van de show, en ja, de prins in de
- 29:16NRC schreven.
- 29:17Die hadden een soort van AI Deltaplan, uhm, suggestie voor onze overheid en, en daarin stond: organiseer een conferentie, niet met, er stond zoiets als: niet om cool te doen, niet om te laten zien hoe gaaf je bent, maar om daadwerkelijk, uh, shit te bereiken.
- 29:33En toen dacht ik: dit is heel belangrijk dat dit erbij staat, want politici gebruiken dit louter en alleen, lijkt het wel, om gewoon te laten zien dat ze mee zijn. Ik word daar een beetje cynisch van.
- 29:42Over de manier waarop onze minister van Economische Zaken bijvoorbeeld praat over dit onderwerp. Het heeft, het geeft niet echt notie van enige vorm van expertise of inzicht.
- 29:52En- Dan is natuurlijk zo'n, zo'n, uh, aankondiging van: en we delen nu en iedereen heeft onder zijn stoel- Precies. Een chatje. Dan is dat lekkerder of zo toch? Het is een blaadje bol. Ja. Ja. Ja.
- 30:02En, uh, ik, ik ben gewoon, er, er gaat natuurlijk een moment komen dat, dat een politieke partij zich hierop gaatOok in Nederland gaat proberen te onderscheiden door te zeggen wij, wij zien dit aankomen en wij gaan alvast maatregelen nemen.
- 30:15Kan allebei de kanten op. Je kan ook zeggen we gaan alles eruit maken en we verbieden en we verbranden het natuurlijk. Dat kan ook. Een, een houding, een mening uitgeschreven over het onderwerp AI. Zou wat zijn. Zeker.
- 30:30Goed.
- 30:31Straks het hoofdonderwerp, namelijk een heel interessant interview dat Wietse had met iemand, een Nederlander die een, nou ja, technisch legitte wijze heeft gemaakt om privacyvriendelijke lastenverlichting te maken voor huisartsen, uh, met eigen in Nederland getraind AI.
- 30:47Dus dat is cool, dat hoor je straks. Maar nu eerst een speciale oproep van Dept aan iedereen die wel met AI zou willen werken. [muziek] Hi here Dept.
- 30:57Elke week bespreken we hoe wij merken helpen in de wondere wereld van AI. Maar deze week gaan we het even hebben over onszelf. Of eigenlijk over jullie, onze luisteraars. Want Lucas, wij komen handen tekort. Absoluut.
- 31:09We zitten tot over onze oren in het AI werk. Megaleuk werk trouwens.
- 31:13We helpen bijvoorbeeld eBay om content te versnellen en we maken aanbevelingsmodellen voor Rituals en het helpen van een breed scala aan klanten om nog beter gevonden te worden in die wereld van AI zoekmachines.
- 31:23En als klap op de vuurpijl bouwen we ook actief door aan onze eigen interne tooling om onze teams te helpen nog beter werk te leveren. Check. Dus we hebben eigenlijk mensen nodig die vandaag al willen bouwen.
- 31:32Ja, hou je vast. We zoeken AI-consultant, AI engineers, data scientist, machine learning engineers en ook mensen die ons kunnen helpen om verder te optimaliseren. En uiteraard zoeken we ze eigenlijk al gister. Duidelijk.
- 31:47Oké, dus werk jij graag aan complexe internationale projecten en wil je echt het verschil maken met AI? Check dan nu onze vacatures in Nederland, Duitsland, de UK en de US.
- 31:58En ga zo snel mogelijk naar Dept agency.com/ai vacancies. Solliciteren dus. Tot volgende week. Wietse, jij hebt een interview gehad deze week. Ja, ik sprak Thomas Kluijters.
- 32:14Die heeft een model getraind om huisartsen te ondersteunen bij het invullen van het elektronisch patiëntendossier. Dat model is in Nederland getraind, is niet zomaar een wrapper.
- 32:23Het is niet zomaar een finetune, real deal. Het gesprek begint vrij technisch. Geen zorgen, we braken echt een paar toffe dingen aan. En laat dat jargon even voor wat het is.
- 32:33Uiteindelijk hebben we echt een, een heel erg interessant gesprek over hoe dat dan werkt om AI daadwerkelijk in te zetten en AI daadwerkelijk binnen Nederland te bouwen.
- 32:47Thomas, ik kreeg van jou een linkje GitHub J1 Llama acht B exp in de repo van Juvoli. Kan je me vertellen wat je met mij gedeeld hebt? Jazeker.
- 32:57Nee, dat is eigenlijk ons eerste open weights model naar een large language model dat we hebben gebouwd naar Hugging Face.
- 33:04Het is een klinisch redeneringsmodel, dus het model is getraind om over klinische casussen na te denken, zoals we dat ook zijn gewend van de, de thinking modellen zoals DeepSeek R1 en de laatste O één, twee, vier modellen of O drie modellen die zijn uitgebracht door OpenAI.
- 33:22Ja. En wat we eigenlijk in dit model hebben gedaan is: wat nou als we een wat kleiner model nemen, uh, en deze, uh, leren nadenken over klinische casussen?
- 33:33Krijgen we dan een beter model, uh, om na te denken over klinische casussen?
- 33:38Dus bijvoorbeeld een patiënt heeft, uh, al drie maanden last van deze klachten, uh, en presenteert nu aan, naar de dokter met de volgende symptomen. Uhm, wat is de meest logische conclusie die je eruit kan trekken?
- 33:52Nou, dat was een beetje een experimentje en eigenlijk ging dat heel goed. Eigenlijk waren we state of the art in de de acht miljard parameterklasse en ook vergeleken met de Qwen drie.
- 34:03Die kwamen eigenlijk tegelijk uit, dus ik dacht van: oh shit, hopelijk. Maar was Qwen drie toen ook al meer gespecialiseerd op deze specifieke benchmark?
- 34:12Want als jij nu even snel zegt we scoren goed, acht, acht miljard, acht miljard parameters, dan heb je, dan zijn er benchmarks binnen het domein, uh, medisch domein waardoor jij kan laten zien, jullie kunnen laten zien dat je het echt goed doet.
- 34:26Klopt. We hebben dus die benchmarks eigenlijk gedraaid op alle open source modellen die we konden vinden en dus ook Qwen drie die precies op dat moment uitkwam. En die scoorde daar ook best wel goed op.
- 34:37Dus, ja, je hebt dan een paar benchmarks met QA. Dat is, dat is, vragen over, uhm, geneeskunde op eerstejaars geneeskunde student niveau. Uhm, en daar deed Qwen drie eigenlijk al het beste op ooit.
- 34:54Uh, dus dat was natuurlijk de, de benchmark die we wilden, we wilden verslaan. Dus vervolgens hebben we ons model daar ook op gebenchmarkt en daar komen we, ja, ongeveer tien, twintig procent beter uit.
- 35:05Dus het is natuurlijk ook een, een redenering model zoals wat steeds populairder wordt. Uhm, maar ons model. Dit model wat jij met mij gedeeld hebt, dat is niet, of dat is een experiment.
- 35:17Dat staat ook in de naam van het model en dat is niet per se wat jullie binnen het bedrijf, uh, al gebruiken, zeg maar.
- 35:23Want misschien moeten we nog even één stap terug nemen om uit te leggen, uh, ja, wat jij precies doet.
- 35:29Bij Juvoli ontwikkelen we in principe behoorlijk wat AI-modellen om de administratieve last van de zorgverlener te verlichten.
- 35:36Nou, een jaartje geleden zijn we vooral echt begonnen met het uitrollen van ons eerste product, uh, waar we tijdens het gesprek tussen patiënt en arts meeluisteren, de, het gesprek transcriberen en dit vervolgens samenvatten naar een gestructureerd verslag en dat gelijk in het EPD van de arts of zorgverlener, uh, laten landen.
- 35:55En het EPD is hier het elektronisch patiëntendossier. Uhm, en deze modellen ontwikkelen we vooral zelf. Dus die spraakherkenningsmodellen, die zijn door ons zelf gemaakt en binnenkort ook dat samenvattingsmodel.
- 36:06Dat hebben we ook zelf.
- 36:08Daar zijn we nu bezig met het ontwikkelen om dat volledig in-house te doen, dus ook op onze eigen hardware.Ja, ik denk dat er wel luisteraars zullen zijn die zullen zeggen van oké, Wietse heeft een bedrijf uitgenodigd.
- 36:17Die zijn een. Het is het wrapper rondom OpenAI of Anthropic modellen. Ja oké, hoe is dit verder relevant? Ik opende al met ik krijg een link naar een GitHub met een model erop, dus dat trekt mijn aandacht natuurlijk al.
- 36:32En toen kwamen we in gesprek en bleek dat jullie best wel wat op maat doen en zelf aan het trainen zijn. Kan je uitleggen waarom je dat doet? Waarom wrappen jullie niet om die foundational models heen?
- 36:45Ja, dus wat we heel erg merkten bij spraakherkenning is dat heel veel cloudproviders eigenlijk helemaal niet zo ver zijn in, ehm, gesprekken tussen twee personen in het Nederlands.
- 36:56Dus we, ja, eigenlijk raakten we tegen een keiharde muur. Vooral in bijvoorbeeld in Rotterdam-Zuid, waar men de Nederlandse taal misschien op een andere manier spreekt dan bijvoorbeeld in het noorden van het land.
- 37:08En we merkten gewoon dat daardoor de, de performance van onze samenvattingen aanzienlijk lager was. Ehm,
- 37:15dus we begonnen al best wel snel met eigen spraakherkennings modellen te ontwikkelen en we focusten ons vooral op dialecten en accenten.
- 37:22En ja, we gingen langs bij taalscholen om bijvoorbeeld validaties te doen voor ons nieuwe spraakherkenning model. Om te hopen dat we op die manier gewoon betere samenvattingen konden genereren.
- 37:32En dit gaan we dus ook doen voor onze samenvattingen. Maar wat je ook heel erg merkt, is dat in de gezondheidszorg privacy ook een belangrijk aspect is.
- 37:41Je kan niet zomaar naar Amerika je gegevens sturen, dus al snel zal je via Azure van Microsoft GPT moeten gebruiken voor het samenvatten. Eh, je kan niet Anthropic gebruiken bijvoorbeeld.
- 37:55En eigenlijk merken we ook dat qua token gebruik je al best wel duur gaat uitkomen door, eh, uitsluitend de cloud te gebruiken.
- 38:03Vooral met spraakherkenning, wat ook vrij duur is, eh, is ook best wel moeilijk om dat op te schalen. Dus hebben we de keuze gemaakt om eigenlijk alle hardware zelf te kopen, zelf te hosten.
- 38:15En ja, is het vanuit een privacy perspectief heel fijn. Is van een kwaliteits perspectief een stuk beter, maar dus ook, ehm, qua, eh, ja, duurzaamheid en, en kostenperspectief is het een stuk makkelijker.
- 38:29En als jij zegt we maken zelf modellen, wat moet ik me daar dan bij voorstellen? Want de link die jij mij stuurt is een, een finetune dan denk ik van Llama. En wat jullie intern gebruiken, dat zijn ook finetunes vooral.
- 38:39Of hoe moet ik het zien? Nee, dus voor spraakherkenning gebruiken we vooral echt, eh, ja, modellen die we volledig vanaf nul hebben getraind. Voor de conformer gebruiken we dus conformer, met dan verschillende decoders.
- 38:53Ehm, dat is best wel technisch, ehm, maar eigenlijk doen we qua spraakherkenning alles vanaf nul. Dus we beginnen met een leeg model, nou ja, een random model en vervolgens trainen we dat helemaal door.
- 39:08Eh, wat we dan wel doen is voor de Friese taal is dat we ons Nederlandse model wel weer finetunen op het Fries bijvoorbeeld. Maar de modellen trainen dus van nul naar honderd voor spraakherkenning.
- 39:19En gebruik je dan per context verschillende modellen, als in in Friesland een ander model dan in de rest van Nederland? Als ik je zo hoor. Ja. Ja. Dus we hebben een ensemble strategie.
- 39:28Dus eigenlijk tijdens de spraakherkenning draaien we meerdere modellen in parallel. En het model met de, eh, ja, de meeste confidence, doet dan uiteindelijk de voorspelling.
- 39:38Dus je moet het maar zien als ja, we draaien Fries en Nederlands samen. En dat Friese model zou nu meedraaien. En dat zal allemaal hele rare woorden voorspellen. Tenminste niet woorden die heel erg lijken op het Fries.
- 39:48En dat zie je ook terug in de confidence, dus in de, de kans dat het model zeker is over zijn voorspelling. Ehm, en door die samen te draaien nemen we dan uiteindelijk het beste, eh, woord of, of zin.
- 40:03En wat we dan ook zien is dat, stel je voor, daar kunnen we ook Engels bij doen. Daar kunnen we Frans bij doen. Daar kunnen we heel veel talen naast elkaar doen.
- 40:08En wat we ook zelfs merken in een experimentele setting is dat als je modellen finetunet op bepaalde dialecten is dat je een nog beter ensemble kan maken, maar daar kom je niet echt goed mee uit qua prijs en stroomverbruik en wat dan ook.
- 40:24Want je draait het allemaal tegelijk op dat moment. Je hebt meerdere oren die tegelijk luisteren. Ja, ja. In principe, ja, het is ietsjes complexer, maar in, inderdaad, je hebt meerdere oren die tegelijk luisteren.
- 40:36Dat doe je nog wel een beetje efficiënt. Dus je zorgt ervoor dat die, dat dat niet overlapt met elkaar. Je zorgt ervoor dat het eerst Nederlands is en dan Fries en, eh, niet tegelijk.
- 40:46Dus je, je moet er nog een beetje slim omgaan met je, met je, met je GPU.
- 40:49Dus je moet wel een bepaalde strategie hebben om ervoor te zorgen dat, je doet eerst zestien keer Nederlands en dan zestien keer Fries en niet door elkaar heen. En hoe kan het dat jij dit, ehm, dat je dit weet?
- 41:01Om even een grote sprong te maken, maar hoe ben je in dit, dit wereldje beland zeg maar? Want je praat er vrij casual over, maar voor mij.
- 41:09Ik ben, en Alexander is er ook vaak verbaasd over dat we, dat we denken in ieder geval dat we alleen Mistral hebben, zoals wij het graag uitspreken in Frankrijk. Alsof er in de rest van Europa niks gebeurt.
- 41:19Maar als ik jou zo hoor praten, denk ik: o, dit is niet iemand die aan het wrappen is of enkel aan het finetunen. Hier gebeurt meer, zeg maar. Hoe, hoe kom jij in, in, in deze wereld terecht?
- 41:30Ja, dus ik denk dat het idee nooit was om hierin terecht te komen natuurlijk, want we, we waren in principe en gingen ook gewoon een wrapper om, eh, spraakherkenning.
- 41:40Maar al snel kwamen we erachter dat het gewoon niet goed genoeg was. Dus toen, onverwachts, namen we die sprong in het diepe om dan zelf toch die modellen te ontwikkelen.
- 41:49En eigenlijk in, ja, een jaar tijd kom je zoveel dingen tegen die komen kijken bij zowel het trainen van een model als het influencen van het model. Eigenlijk ook is er heel veel software, eh, problematiek omheen.
- 42:01Dus opeens moet je heel veel audioverbindingen tegelijk, eh, eh, influencen. Je moet het streaming doen, je moet het stabiel doen. Je moet letten op je memory usage. Maar ben je dit dan allemaal gaan reverse engineeren?
- 42:13Ben je gaan kijken naar andermans oplossingen die open source waren? Ben je research papers gaan lezen? Ik bedoel, ik vind het best welDus je kunt natuurlijk. Ik kan.
- 42:21Ik kan nu een soort heel naïef aan jou vragen welke opleiding heb jij gedaan? Zeg maar. En daar ben ik ook wel nieuwsgierig naar, hoor. Maar tegelijkertijd denk ik dit is deze wereld is zo nieuw, zo vers, zo nieuw.
- 42:32Terwijl wij praten nu is er waarschijnlijk weer ergens een model gedropt wat jij dan weer moet gaan bekijken. Snap je wat ik bedoel? Van wat is jouw.
- 42:39Wat is je vooropleiding en wat is daarna je strategie geweest om hier in te kruipen zeg maar. Ja dus. Ik heb computer science gedaan. Althans, ik ben al zes jaar lang masterstudent volgens mij. Dit.
- 42:53Dit doe ik nog steeds bij het spraakherkenning lab bij de TU Delft. Langzaam. Ja dus. Het begon eigenlijk allemaal om te kijken naar het kijken naar de paper van Whisper.
- 43:03Dus Whisper is een open source spraakherkenning model en er wordt eigenlijk niks gezegd wat ze hebben gedaan, alleen heel erg tussen de lijntjes door.
- 43:10Dus ze zeggen niet precies wat ze doen, maar ze zeggen wel wat ze hebben gedaan en dat vond ik al hartstikke interessant, want daar zitten heel veel hints in over hoe het kan.
- 43:20En langzamerhand ben ik eigenlijk Whisper gaan repliceren. Ik ben gaan kijken van nou ja, hoe bereid je dan je data voor? Wat voor datasets zijn er eigenlijk allemaal beschikbaar?
- 43:34En ik kwam er achter dat ook wel heel veel te winnen valt op pre processing van data en eigenlijk tot mijn verbazing. Dus we begonnen met twee RTX veertig negentig. Dat zijn eigenlijk gaming GPU's.
- 43:51Dacht ik oké, weet je wat, ik draai een experimentje. Ik probeer het zelf maar eens een keertje.
- 43:55En dat spraakherkenning model was ietsje slechter dan Whisper, maar blijkbaar kon ik op mijn gaming computer al best wel dichtbij komen met een eigen spraakherkenning model.
- 44:05Zonder dat je het hele recept had ook, want je zei net Whisper was zeg maar een deel van het recept, maar niet alle ingrediënten staan erin. Dus in In de referenties van Whisper.
- 44:14In elke paper staat er altijd een kleine nugget van van van supergave detail en kennis.
- 44:20Wat eigenlijk gewoon een hele nonchalante zin is in een paper van First we process this en dan zie je die zin en denk je wow, dat is eigenlijk heel simpel, want vaak is het allemaal heel simpel, maar in praktijk in het.
- 44:32In de praktijk brengt het dan ietsjes complexer, maar binnen zes maanden tijd kom je dan.
- 44:38Er zijn heel veel experimenten tussendoor gegaan, dus vanaf het punt dat we wisten dat ik Whisper de paper echt door had gepluisd tot zes maanden later waar we een model hadden dat even goed was.
- 44:49Nou, daar zit natuurlijk heel veel tijd tussen en heel veel dode experimenten. Ik denk ongeveer dat ik duizendvijfhonderd experimenten heb gedaan totdat ik daar ben gekomen.
- 44:57En elk experiment dat dat verschilt van tijd, van 10 minuten tot een paar uur waar je er achter komt van oké, dit werkt niet of dit werkt wel. En ik denk dat AI gewoon heel veel doen is en heel weinig. Ja,
- 45:14je weet eigenlijk niet of het gaat werken. Dat is eigenlijk altijd zo bij bij AI. Het trainen van modellen je. Het klinkt een beetje alsof je een een. Is het een zoals het destijds tijdens de Koude Oorlog ging?
- 45:25Dat de Russen en de Amerikanen ook elkaars toestellen probeerden te pakken te krijgen. Vliegtuigen en dan in een hangar helemaal uit elkaar halen en dan zelf weer opnieuw in elkaar zetten. In dit geval.
- 45:36Wat kan jij dan ook iets met. Je hebt een research paper van Whisper, maar je hebt ook Whisper zelf. Wat, wat te downloaden is. Ga je dan ook daar naar kijken? Of zeg je van nee? Wat?
- 45:46Hoe zij het hebben geïmplementeerd vind ik eigenlijk minder relevant. Ik kijk vooral naar hoe ze zeggen dat ze het hebben geïmplementeerd. Ik denk dat. Ja.
- 45:53Dus binnen AI heb je gewoon heel veel architecturen en modellen die eigenlijk gewoon goed zijn. Dus ik denk dat als je echt een nieuwe architectuur zou willen ontdekken,
- 46:05dan heb je wel hele slimme mensen nodig en best wel wat budget.
- 46:11Dus het is moeilijk om te zeggen van oh, ik ga even Whisper uit elkaar halen, want er zit zoveel kennis en tijd en investering in die architectuur van Whisper dat dat het niet echt waard is.
- 46:23Je merkt dat het vooral gaat om hoe train ik mijn model, maar wat ik train, dat staat altijd best wel goed vast. Dus binnen spraakherkenning heb je een paar architecturen die heel normaal zijn. Dus we hebben Whisper.
- 46:35Dat is een transformer. Enorm grote encoder, enorm grote decoder. Daar heb je conformer achtige modellen waar de encoders behoorlijk groot zijn en de decoder is heel klein.
- 46:46En bij Whisper, wat ze daar eigenlijk vooral hebben gedaan is gezegd Nou, weet je wat? Spraakherkenning is niet zozeer het trainen op spraak, maar vooral het trainen op de zinnen die uit de spraak komen.
- 46:58Dus wat Whisper vooral heeft gedaan we nemen gewoon YouTube. We downloaden 2 miljoen uur, nou, ongeveer 1 miljoen uur aan YouTube data.
- 47:07We hebben daar de vertaalde ondertiteling van en die ondertiteling is best wel noisy. Dus wat je vaak merkt in de praktijk als jij een ondertiteling onder deze zin hebt staan, dan is dat vaak paraphrase.
- 47:20Dus de ondertiteling komt niet vaak helemaal overeen met wat ik juist zeg, maar wel in essentie. En dat is dan best wel noisy. Dus dat betekent dat als je een model erop zou trainen, dat je eigenlijk een model leert.
- 47:30Spraakherkenning dat. Dat leert dan te paraphrasen. Die tekst en wat ook binnen AI is. Maar parafraseren? Ja, precies. Alsnog een goede ondertiteling, maar niet een verbatim transcript.
- 47:44En wat je dan merkt bij Whisper is dat, want die decoder enorm is. Kan Whisper enorm goed gegeven een audiog fragment voorspellen wat er is gezegd en dat zal ongeveer overeenkomen met wat er is gezegd.
- 47:59Probleem daarvan is, is dat als je audio noisy is, dat Whisper heel veel zelf gaat invullen. Dus als wij onze zin nu als ik zeg ik ga morgen naar de spil, dan maakt hij waarschijnlijk speeltuin van dat dat.
- 48:14Dat is logisch, dat dat is hij gewend. En daar liepen we dus ook enorm tegenaan bij zo'n architectuur van modellen.
- 48:23Dus.Ja, ik heb wel degelijk natuurlijk Whisper dan in mijn hangar genomen, uit elkaar gehaald en gekeken van nou ja, waarom werkt het zo goed en waarom werkt het voor ons niet zo heel goed?
- 48:35Ehm, en als je dat doet, dan begrijp je ook van oké, wacht eens even. Ik heb eigenlijk een andere architectuur nodig. Ik heb een architectuur nodig die veel beter is in verbatim.
- 48:42Dus ik heb akoestiek in, ik heb geluid in en ik wil fonemen uit. Ik wil geen woorden meer, ik wil geen zinnen meer. Ik wil puur de fonemen en daar ga ik zelf iets mee doen met in post-processing.
- 48:55Maar, want in de gezond, in de zorg wil je dat. Je wil niet dat een model. Even voor mijn beeld. Je bent geswitcht van architectuur. Je bent ooit begonnen met experimenteren, met Whisper nabouwen eigenlijk.
- 49:06En uiteindelijk, uh, ja, Whisper is eigenlijk een soort, uh, voelt heel erg als een, uh, ja, ieder ander taalmodel eigenlijk hè, dat hij, dat hij ook hallucineert en, uh, context een beetje begrijpt tussen air quotes en dat jij zegt: ja, dat had ik, dat hebben we in die medische context nou juist niet nodig, hè.
- 49:22Ik heb liever dat je heel erg je best doet en heel veel rekenkracht om te begrijpen welke medicijnnaam of, uh, noem maar op, hè, genoemd wordt.
- 49:29In plaats van dat je een beetje leuk gaat lopen gokken wat er mogelijk gezegd wordt. Dus je bent uiteindelijk van architectuur gewisseld.
- 49:36Ja, nou dat, dat was in principe ook al waar we al heel vroeg achter kwamen, hè, dus, dus we hebben. Ik heb nog nooit een finetune gedaan van Whisper.
- 49:43Nou, wel een paar keer, maar daar, daar realiseer je gelijk al, ja, dit, dit gaat gewoon niet werken voor onze use case. Ik zou Whisper nog steeds gebruiken om voor deze podcast te transcriberen.
- 49:53Ik zeg allemaal woorden die nergens voorkomen op, ja, in, in onze training data. Ik zeg allemaal rare Engelse woorden.
- 50:00Ik gebruik Nederlands door elkaar en Whisper is de koning van, uhm, het transcriberen van data waar je absoluut geen idee over hebt wat erin gaat zitten.
- 50:11Terwijl wij, wij focussen ons heel erg op de Nederlandse taal en specifiek binnen de Nederlandse taal op de gezondheidszorg. Dus onze scope kunnen wij heel erg mooi definiëren van wat, wat wij kunnen verwachten.
- 50:22Uhm, dus al heel snel neig ik heel erg naar zo'n fonemen model of een model wat in ieder geval veel beter is in verbatim transcriberen, uh, dan een Whisper.
- 50:32Uhm, maar wat het meest interessante vaak is aan AI-modellen of technical reports. Ik skip vaak over de modellen zelf, maar wat het meest interessant is de training strategie. Welk soort data gaat erin?
- 50:46Hoe lang is het getraind? Onder welke hyper parameters is het goed succesvol getraind en, uh, hoeveel stages zitten er in die training? Is er eerst noisy pre-training, gevolgd door wat fine tuning?
- 50:58Als je kijkt naar de meeste large language models krijg je nu vaak multi stage training, waar je in het begin pre-trained, dan supervised fine tuning, dan misschien GRPO, dus reinforcement learning, dan nog een keer reinforcement learning en zo krijg je uiteindelijk je state of the art modellen.
- 51:14Een hele pijplijn van fases van stappen waardoor je iedere keer weer, uh, ja, opnieuw gaat doorpakken en aanpassingen maakt tot hij de markt op mag, zeg maar. Of in ieder geval eindigt bij de eindgebruiker.
- 51:26Er moet nog red teaming gedaan worden en nog meer fine tuning en uiteindelijk, uh, safety, dan is hij er.
- 51:31Maar als we terugkomen op, op het model dat jullie, uh, nu hebben, dat wordt ook ingezet, begrijp ik uit jouw verhaal. Want wanneer was dat? Wanneer was de eerste versie waar jij je zeker genoeg over voelde?
- 51:41Of ben je al vrij snel gewoon het veld in gegaan omdat je zei ik, we moeten naar buiten hiermee. Het wordt alleen maar beter als we het gaan inzetten. Ja.
- 51:48Dus, uhm, belangrijk detail is dat natuurlijk in de gezondheidszorg, uh, mag je niet de data opslaan.
- 51:54Nou, mogen, uh, het, het, het is natuurlijk, uh, aan de arts of dat wordt opgeslagen, uh, in het systeem, maar in the end is het natuurlijk schending van, nou, uh, beroepsgeheim als het ergens op een database staat, uhm, of wat dan ook.
- 52:08Dus wat we altijd hebben gehanteerd, we bewaren niets. Geen enkele byte aan patiëntgegevens mag op onze servers staan, op een harde schijf of wat dan ook.
- 52:18Uhm, wat het best wel moeilijk maakt om natuurlijk te meten hoe, hoe het in de praktijk werkt. Dus we moeten daar vooral op berusten op kwalitatieve feedback van het is beter of het is slechter.
- 52:28Dus dat is vaak waar we heel erg op berusten. Uhm, maar als, best wel snel gingen we gewoon de productie in. Uh, deels ook omdat het gewoon, het, je moet gewoon op een gegeven moment zo'n model live zetten, uh, en meten.
- 52:41En dat doe je dan eerst in een, in een groep van artsen die het best wel oké vinden en goed opletten.
- 52:46Uh, dat doe je natuurlijk niet met je basis gebruikersgroep, want die, ja, die hebben niet door dat het model is veranderd.
- 52:52Dus vaak hebben we een soort van, ja, een frontline van, van artsen die het dan in het begin proberen. En dan, uh, eenmaal het, ja, qua gevoel goed zit en ook gewoon merkbaar kwalitatief beter is, dan rol je het uit.
- 53:05Uhm, dus zo hebben we dat gedaan. Het is al best wel snel. Dus ik zou zeggen binnen vier maanden van, van onze, ja, live gang zijn we volledig overgestapt naar dat model.
- 53:15En, en neem me even mee als je wil, want jij zei eerder in dit gesprek al, uh, er wordt, uh, iets in een EPD gezet, een elektronisch patiëntendossier.
- 53:22Maar wat is precies het proces, uh, laten we zeggen, uh, vandaag de dag, nu, terwijl wij zitten te praten, zeg maar, wat kan de technologie en, en hoe, hoe werkt dat dan?
- 53:32Tja, dus in principe kan een arts nu vanuit, uh, het elektronisch patiëntendossier op een microfoontje klikken, uh, en op een, uh, rood knopje stop klikken.
- 53:42En dat is eigenlijk al genoeg, want je, je komt binnen, je klikt op start, het gesprek is over, je klikt op stop en de samenvatting is gelijk in je EPD. Dus dat zijn eigenlijk twee knoppen.
- 53:53Uh, dat verschilt een beetje tussen EPD en sommige EPD's hebben het nog niet volledig geïntegreerd. Uh, dus je hebt ook nog gewoon, ja, de webversie waar je nog moet copy-pasten als het ware naar je EPD. Maar
- 54:04ongeveer zeventig procent van onze consulten gaan nu via het EPD. En wordt die dan, uh, ook veld voor veld ingevuld of, of, of, of in één groot veld, zeg maar, is het vooral. Veld voor veld.
- 54:14Ja, dat doe je al en dat, dat is dat dan een vorm van computer use of valt het, is het niet zo rondklikkerig? Nee. Er is een model. Ja, sorry. Het is echt gewoon geïmplementeerd door het EPD.
- 54:25Dus, uh, dat betekent dat het gewoon een API is die wij aanbieden waar je je audio naartoe stuurt. En wij sturen de samenvatting terug.Ja, en zij weten wat ze ermee moeten op dat moment.
- 54:35Ja, ja, dat is geen, geen MCP, geen computer use, geen tool use. Gewoon van ouds software engineering. Ja, ja, ja. Mooi. Er zullen Autobahn luisteraars denken ja, precies, dat kan toch ook gewoon op deze manier? En
- 54:50dan druk je op dat microfoontje. Op dat moment gaat er een audiostream richting een datacenter ergens. Ja. Van wie is dat datacenter? Wat hangt daar? Wat gebeurt daar? Ja dus.
- 55:00We hosten onze hardware nu in North Sea Delft en andere locaties. Daar hebben we eigenlijk onze eigen hardware staan. We hebben een mix van H100 Blackwell en de L40S en voor ons. Allemaal Nvidia is dat, ook die laatste.
- 55:16Allemaal Nvidia. Correct ja. We zijn wel heel erg benieuwd naar AMD. Binnenkort komt de nieuwe Intel Gaudi uit. We gaan kijken of dat misschien ook nog best wel top is.
- 55:25Want ja, in the end heeft Nvidia natuurlijk een tijd lang heel erg kunnen genieten van een, een ja, een goede positie binnen de chipmarkt. Maar je merkt ook dat nieuwe chipmakers
- 55:38hele goede producten beginnen aan te bieden. En ik ben heel erg benieuwd naar zo'n Gaudi chip bijvoorbeeld. Die heeft dan veel meer flops, veel meer RAM tegen een veel betaalbare prijs en ook een lager stroomverbruik.
- 55:51Dus ook al onze modellen maken we ook op een manier dat met Onyx, dus Onyx runtime betekent dat we in principe een soort van generiek generieke laag tussen onze inferencing hebben,
- 56:03waardoor we hopelijk best wel makkelijk kunnen overstappen tussen chips. Voorlopig is dat de Nvidia L40S, wat we vooral voor audio gebruiken.
- 56:12Zijn wat kleinere kaarten, maar het zijn vooral hele goede inferencing kaarten. Heel kostenefficiënt. Daar gaat die audiostream naartoe.
- 56:19Is er nog behoorlijk wat preprocessing en we doen het ook stream based, dus krijgen we per chunk doen we inferencing. Doen we nog een voorspelling over, over de fonemen.
- 56:28Vervolgens mappen we die fonemen weer naar tekst, naar zinnen en die zin komt weer eindelijk terug bij de gebruiker. En bij het samenvatten dan gebruiken we nog een large language model. Denk nu aan GPT-4.
- 56:39Dat host natuurlijk niet zelf, dat is binnen Microsoft Azure, maar ook binnenkort op de Blackwell, zo hopen we.
- 56:45Of met een hopelijke DeepSeek R2, een Llama 4 of wat dan ook, hopen we daarmee de tekst te kunnen samenvatten naar zo'n samenvatting wat in het EPD kan van de gebruiker.
- 56:55Ja, en is het nu zo dat je dan, ehm, ook al nadenkt over oplossingen waarbij het nog lokaler is dat er binnen de ziekenhuis on premise iets, iets beschikbaar is? Of is dat nog toekomstmuziek?
- 57:07Ik denk dat dat geen toekomstmuziek is. Ik denk dat, op dit moment hebben we de, de, de Jetsons. Daar zijn we mee aan het experimenteren. Tegenwoordig hebben die dingen 64 gigabyte VRAM.
- 57:19Daar kan je behoorlijk grote modellen op draaien. Ik denk dat we ook heel erg gaan bewegen naar een finetune van een wat groter large language model voor het samenvatten naar het patiëntendossier.
- 57:30Qua spraakherkenning, ja, onze modellen zijn maar 120 miljoen parameters. Dus voor spraakherkenning, en dat is best wel klein. Eigenlijk kunnen we onze modellen al in de browser draaien op een consumenten CPU.
- 57:42Alleen ja, het is best wel complex. Als je nu opeens al je inferencing logica moet naar, naar de browser moet herschrijven. Je bedoelt complex als je het zo zou, zou gaan neerzetten nu voor je eindgebruiker. Ja.
- 57:55Wat je nu doet is beter te controleren natuurlijk ook. Of in ieder geval beheren moet ik eigenlijk zeggen.
- 58:00Je hebt controle over de kwaliteit, maar we gaan wel echt kijken of we misschien zo'n Jetson binnen een ziekenhuis kunnen neerzetten om eigenlijk alles lokaal te doen. En dat. Is daar ook wel vraag naar specifiek?
- 58:12Of is het meer iets wat jullie duwen? Ehm, ik vind het complex of er vraag naar is. Ehm, aan de ene kant stuur je je data niet meer naar de cloud en aan de andere kant gaan steeds meer ziekenhuizen naar de cloud.
- 58:27Dus dat is natuurlijk wel een interessante, ja, beweging. In die zin dat, ja, wat is dan het voordeel van het lokaal doen? Wat we heel erg merken wel, is dat er heel veel, ja, het, het inferencing lokaal.
- 58:43Je ziet dat er tractie voor is. Je ziet wel dat er vraag naar is voor een of andere onuitlegbare reden. Dus hetzelfde geldt dat het idee dat je alles lokaal transcribeert voelt veel fijner aan dan het via de cloud gaat.
- 58:56Ehm, we willen het zeker maken en we zijn zeker op zoek naar partijen die dat leuk zouden vinden. Ehm, maar in the end is het ook best wel duur om te ontwikkelen.
- 59:06Zo'n Jetson kost al heel snel € 2.500 en dat is dan de MSRP. Ja, wil een ziekenhuis dat betalen up front per kamer tegenover een cloudoplossing die natuurlijk gewoon per token of per usage based gaat.
- 59:21Dus dat zijn natuurlijk de afwegingen die je maakt en dat is, dat vind ik het interessante van het commerciële plaatje van local inferencing. Dat vind ik nog best wel tricky. Ja, hoe krijg je die puzzel kloppend? Ja.
- 59:34Behalve de ideale, dat het ook te betalen is. Ja, absoluut.
- 59:40En heb je nu voor jullie, want je zei net, eh, je doet het per fonem, want je wilt, eh, ja, eigenlijk woord voor woord, stukje voor stukje alles hebben en niet een soort model dat daar nog dingen bij hallucineert.
- 59:56Want voor de medische context wil je het gewoon zo strak mogelijk in het EPD krijgen. En is het dan zo dat je, ehm, op welke data ben je dan gaan trainen? Want je zegt net we slaan niks op wat er ons systeem in gaat.
- 1:00:09Dat is leeg. Dus waar haal je dan je, je context vandaan? Ja, je, je datasets die passen binnen de medische context. Waar train je dan op? Ja. Dus ik denk dat er behoorlijk wat mooie datasets zijn voor Nederlands.
- 1:00:26Waar we ook heel veel aan hebben gehad, is ongeveer 500 uur aan data is, ehm.Gewoon, ja, data die we verzameld hebben bij taalscholen. Uhm, dus we zijn dan.
- 1:00:38We hebben dan eigenlijk een soort van leger van geneeskundestudenten gehad die langs zijn gegaan bij taalscholen en vervolgens hebben ze daar gesprekken gehad met, uh, mensen die de taal proberen te leren.
- 1:00:48Dus volgens mij heb je dan bepaalde taalniveaus. Uh, en zo hebben we eigenlijk uitgelegd oké, wat is een huisarts? Uh, want dat is ook best wel een nieuw concept voor veel mensen die naar Nederland komen.
- 1:00:58Vervolgens hebben ze dan een consult nagespeeld en dat hebben we verbatim getranscribeerd. En dat is eigenlijk onze training data geworden. Uh, met toestemming natuurlijk van iedereen dus, uh.
- 1:01:08Maar eigenlijk waar, vonden de meeste mensen dat hartstikke leuk. Want dan heb je toch een beetje, dan oefen je Nederlands in een heel praktische setting. Want naar de huisarts gaan is gewoon best wel eng. Uh, af en toe,
- 1:01:20uh, hebben we die audio en die tot script en dat zijn ook mooi in, uh, hoe heet het in, ja, data van ons domein. Namelijk gesprekken tussen twee personen en het gaat over medische gesprekken. Super!
- 1:01:33Uhm, dat is een deel van onze training data. Maar wat ook deel van onze training data is, is herinterpretaties van publieke datasets. Dus LibriVox is daar een voorbeeld van.
- 1:01:44Dat zijn audioboeken waarvan het copyright verlopen is. Uhm, daar hebben we heel veel nieuwe trucjes voor verzonnen om ervoor te zorgen dat, uh, de data van veel hoge kwaliteit is.
- 1:01:55Uh, dus bijvoorbeeld, uhm, als je een audioboek hebt, dat is één stem. Uhm, maar als je twee audioboeken hebt, heb je twee stemmen.
- 1:02:05En wat je daar ook mee kan doen is dat je, als je, als je die twee audioboeken door elkaar heen haalt, kan je een soort van gesprek simuleren.
- 1:02:13Als je er filters overheen doet en room impuls, uh, ja, filters overheen doet, dan klinkt het net alsof de stemmen van twee kanten komen. Maar zo kan je ook heel veel data genereren.
- 1:02:25En dit is niet exact wat we doen, maar wel in deze richting. Uhm, dus vaak is dat onze manier om het model beter te maken.
- 1:02:33Als het dan gaat om specifieke, specifieke, zeer medische termen zeg maar, want die simuleer je minder snel in zo'n gesprek toch als wat jij net beschreef zeg maar.
- 1:02:42Is er dan iemand geweest die een heel, uh, woordenboek aan, uh, medicijnnamen langs gegaan is? Of hoe moet ik dat zien?
- 1:02:48Want die, die terminologie, dat is heel erg, uh, ja, die woorden krijg ik amper mijn strot uit als ik het voorlees op een doosje wat ik thuis heb liggen zeg maar.
- 1:02:56Klopt en, en dat is juist het mooie als je afwijkt van een whisper architectuur. Want als het om fonemen gaat, dan gaat het om fonemen. En die fonemen mag je zelf kiezen wat voor woorden je daarvan kan maken.
- 1:03:08Want wat we dan vooral mee werken is voor het lexicon based decoding. Dus we hebben zeg maar een woordenlijst die we heel veel prioriteit geven, namelijk diclofenac, enalapril, hydrochloorothiazide, noem ze maar op.
- 1:03:20Dat zijn woorden die bij ons best wel hoog staan, uh, qua, qua bias. En we introduceren eigenlijk een bias op de manier hoe wij onze zinnen maken.
- 1:03:29Dus hey, deze fonemen, let als eerste op of het misschien medicijnnamen zijn. En op die manier kunnen we eigenlijk ons model, uh, heel mooi finetunen op een specifiek domein.
- 1:03:40Dus de akoestiek, dat is stap één, maar van, van akoestiek, dus van, van audio naar fonem en vervolgens van fonem naar zin. Dat zijn twee aparte modellen.
- 1:03:50Maar het allermooiste is, is dat ik dat fonem naar tekst model heb ik geen audio data voor nodig. Heb ik gewoon tekst data voor nodig en ik kan genoeg tekst vinden op het internet.
- 1:04:01Bijsluiters waarvan geen copyright is of wat dan ook zijn perfect. Dat zijn gewoon zinnen waar medicijnnamen worden genoemd in een heel normale zinsstructuur.
- 1:04:13Uhm, sterker nog, je kan heel goed Llama vier gebruiken om dit soort zin-zinnen te, te, te genereren.
- 1:04:21Dus hey Llama vier, genereer een zin over, uh, weet je, twee zinnen over hydrochloorothiazide en opeens krijg je een hele mooie, uh, uh, ja, heel logische tekst waarin hydrochloorothiazide wordt gebruikt.
- 1:04:34En die tekst gebruik je om je language model mee te trainen en vervolgens kan je op die manier heel mooi, uhm, ja, je, je, je decoder trainen.
- 1:04:44En die complete scheiding, hè, dus van, van domeinspecifieke termen en akoestiek zorgt er in principe voor dat we op geneeskundige termen heel goed kunnen scoren, maar ook op andere domeinen, uh, als we dat willen.
- 1:04:55Ben je daar al mee bezig? Uh, ben je aan het experimenteren met, met andere domeinen? Ja, uh, zeker. Ik denk dat, uh, dat wel echt heel specifiek is per case.
- 1:05:05Uh, dus bijvoorbeeld misschien voor, voor, uhm, pak 'm beet juridische termen kan je best wel ver komen.
- 1:05:12Maar waar we ook heel erg vooral mee bezig is van oké, hoe goed kunnen we het maken of op een meer generieke manier.
- 1:05:18Dus kunnen we misschien die hele woordenlijst weggooien en een veel sterkere language model eraan vastkoppelen, zodat je niet eens dat domeinspecifieke nodig hebt.
- 1:05:27En dat zijn allemaal dingen, uh, waar we heel veel mee bezig en aan experimenteren zijn van oké, uhm,
- 1:05:33je zal altijd een beter model maken als het domeinspecifiek is, maar hoe goed kan je een model niet domeinspecifiek maken?
- 1:05:39Want waar je heel erg tegenaan loopt is bijvoorbeeld dat in een gesprek wat over geneeskundige termen gaat, dat iemand opeens gewoon zegt van: ja, nee, die haal ik altijd bij en dan straatnaam.
- 1:05:49Nou, dat gaat best wel moeilijk. Straatnamen, dat zijn best wel rare namen vaak en heel relevant voor de context van het gesprek. Uhm,
- 1:05:59dus daar hopen we misschien weer een ander model voor te kunnen trainen, uh, voor bijvoorbeeld meer generieke use cases. En, en dat is nog altijd een beetje de balans wat we moeten vinden. Uhm,
- 1:06:09dus ja, daar zitten we nog een beetje tussenin.
- 1:06:12Ja, want als je dan kijkt naar we hebben in Europa dan, uh, Mistral in ieder geval, dat is het lab dat ik ken, die nog, uh, de modellen die ze uitbrengen, uh, zijn ook best wel krachtig.
- 1:06:20Of in ieder geval ze kunnen een beetje meekomen in de benchmark, laat ik het dan zo zeggen. Maar hoe verklaar jij dat, dat, dat het, uh, dat er niet tien Mistrals zijn in Europa? Ken ik die niet?
- 1:06:31Hebben die slechte websites? Wat is er aan de hand?Ik denk dat er redelijk wat partijen zijn die vergelijkbare dingen doen met Mistral.
- 1:06:45Alleen waarschijnlijk niet zo publiek zijn inderdaad misschien slechte websites hebben. Ik denk wel dat Mistral absoluut de kopkoploper is in dit gebied, maar ik denk ook dat het allemaal gewoon in Amerika gebeurt.
- 1:06:56Dus ik denk wel dat 90% van alle output uit Amerika komt en de overige 10% van Europa. En van die 10% is 90% Mistral.
- 1:07:06Er zijn wel wat andere bedrijven natuurlijk ook hun eigen AI-modellen trainen, alleen die zijn vaak heel specifiek op het land gericht. Ik denk dat een Europees dingetje is.
- 1:07:14Dus wij focussen ons op de Nederlandse taal en dat is perfect. Want ja, een Mistral of een of een Amerika. Amerikaanse partij zal niet zo snel een model trainen voor de Nederlandse taal.
- 1:07:28En als ze een generalistisch model trainen zal dat nooit zo goed zijn als een model wat wij hebben gemaakt.
- 1:07:34Want ze hebben gewoon niet de, de, de, de kennis van de Nederlandse taal om zo'n model zo goed mogelijk te maken voor de Nederlandse taal. In India, het zijn zestien miljoen inwoners.
- 1:07:42Ja, wat voor markt probeer je daar te verkopen? Dus ik denk dat er gewoon heel veel kleine Europese partijen zijn. Ik denk ook dat. Dus vaak hoor je van oh, compute is het probleem. Dat denk ik absoluut niet.
- 1:07:53Ik denk dat het grootste bullshit is wat ik hoor van oh, we hebben AI factories nodig. Ik denk dat dat eigenlijk niet zo waar is. Ik denk dat het vooral gaat om de personen en de mensen die erachter zitten.
- 1:08:05En in Amerika krijg je gewoon veel meer, ja, resources om je ideeën tot waarheid te brengen. En in Europa doen we dat gewoon niet zo snel.
- 1:08:13En ik denk dat dat vooral het grootste probleem is waarom we in Europa niet zoveel Mistrals zien is omdat het toch allemaal in Amerika gebeurt. En ja, daar is ook alle kennis.
- 1:08:26Waarom zou ik een nieuw lab beginnen als alle kennis in een open AI leeft of een Anthropic? Daar kan ik dingen leren. En ja, ik denk dat je ook een soort van mate van arrogantie nodig hebt om een eigen lab te beginnen.
- 1:08:40Want dat betekent dat je dus een stuk beter denkt durven te weten dan een stel, ja, dan alle slimme koppen van, van ja, Amerikaanse partij of wat dan ook.
- 1:08:54Niet te vergeten dat er ook nog een DeepSeek is en een en een Alibaba en daar komt ook ongelooflijk veel dingen uit. Denk je dat het nodig is dat er meer Mistrals zijn?
- 1:09:02Want je zou natuurlijk ook kunnen zeggen oké, als wij het binnen de niches doen, lokaal bedoel ik niet niches negatief, maar gewoon hele duidelijke afgebakende context, waar binnen je superkrachtige modellen ontwikkeld.
- 1:09:12Letterlijk wat jullie doen, hè. Dat we zeggen oké, laat Mistral dan fundamentele modellen doen. Dan hebben we in ieder geval ook fundamentele base models uit Europa.
- 1:09:22En vanuit daar kunnen we dan in allerlei contexten op een Europese manier, dus met Europese waarden. En het moet lokaal kunnen draaien. Of in ieder geval lokaal genoeg.
- 1:09:30Want dat woord lokaal heeft ook allerlei verschillende betekenissen. Is is dat genoeg of, of snap jij?
- 1:09:36Want ik heb een soort intuïtie dat ik denk ik zou eigenlijk het liefst wel gewoon in ieder geval minimaal ook in Duitsland een Mistral willen hebben of zo. Of is dat een beetje naïef van mij? Ja,
- 1:09:49kijk wat er gewoon eigenlijk zo zonde van is, vind ik, is dat eigenlijk je op. Je hebt vijf AI-labs.
- 1:09:55Of het nou in China is of in Amerika of in Europa, die allemaal exact hetzelfde doen, namelijk gigawatts aan stroom verbranden om precies op dezelfde data dezelfde modellen te trainen om precies dezelfde benchmarks te verslaan.
- 1:10:10En eigenlijk vind ik dat ook een gigantische verspilling van, van energie en tijd en kennis. Maar juist die competitie onderling zorgt ervoor dat het zo ongelooflijk hard gaat. Dus ik denk dat het zeker kan.
- 1:10:23Een Nederlandse. Nou, het is wel grappig. Is het een Nederlandse Mistral of een Nederlandse OpenAI? Het is maar net hoe ambitieus je bent. Competitie is gewoon goed.
- 1:10:32Alleen betwijfel ik wel tot hoever kan je jezelf differentiëren van een bedrijf dat misschien honderdduizend GPU's heeft?
- 1:10:42Ik denk dat dat heel moeilijk gaat zijn, tenzij je echt een puntoplossing, niet echt een puntoplossing, maar gewoon een specifieke niche aanpakt. Want daar zal een Mistral of OpenAI je nooit op kunnen pakken.
- 1:10:53Maar aan de andere kant verwelkom ik het wel heel erg. Het zou supervet zijn als we die concurrentie aan kunnen gaan, maar dan zal het niet zijn omdat er geen compute is. Er is genoeg compute.
- 1:11:03Ja, want waar moet het geld besteed worden dan, hè? Want je zegt eigenlijk net een beetje dat hele idee van de AI-factory. Soort van.
- 1:11:09Laten we gewoon grote datacenters vol met GPU's bouwen en dan komt het talent vanzelf en ontstaan er allemaal Mistrals. Ik zeg het even heel suf, maar daar ben jij dan cynisch over.
- 1:11:16En als ik het zo voorlees denk ik dat ook. Maar waar is dat geld dan beter besteed, denk jij? Ik denk dat wij het gewoon veel Amerikaanser moeten aanpakken. In the end. In die zin. Wat krijgt een developer bij OpenAI?
- 1:11:34Wat krijg wat? Die krijgen gewoon honderdduizenden dollars betaald en, en heel aantrekkelijke, euh, ja, stock options of wat dan ook. En ik denk dat in Europa zijn we dat niet echt gewend.
- 1:11:46Dat vinden we een beetje vies of opportunistisch. Maar een nog groter probleem zijn de mensen om je heen. Dus als ik naar OpenAI ga,
- 1:11:58als ik daar überhaupt binnen zou komen, wie weet, word ik omringd door mensen die ongelooflijk slim zijn en ongelooflijk veel kennis hebben over wat ze doen. Maar het is een beetje een chicken-and-egg probleem.
- 1:12:09In Europa hebben we dat niet echt. En alles, de slimste mensen die ik ken van de TU Delft, die zijn niet meer in Nederland. Die zijn allemaal in Silicon Valley of wat dan ook.
- 1:12:19Of ergens bij een high frequency trading bedrijf gaan werken. Niet omdat ze meer verdienen, nee, omdat ze daar het meest kunnen leren. En ik denk dat het geld niet zozeer het probleem is.
- 1:12:29Ik denk dat je gewoon een team van ambitieuze mensen nodig hebt en dan is geld nooit een probleem geweest. Wat natuurlijk ook een wat groter probleem is binnen Europa.
- 1:12:38En ik vind het niet echt een probleem, maar we zijn veel meer degelijk over de data. We passen veel meer op over copyright. We letten veel meer op de privacyzorgen over data. En dat is juist een goed ding.
- 1:12:48Dat vind ik eigenlijk best wel mooi, maar dat remt innovatie in enige zin ook. Dat zorgt er ook voor dat, ja.Een GPT en L bijvoorbeeld dat het gewoon heel lang duurt voordat het überhaupt begint met trainen.
- 1:13:02Wat natuurlijk wel goed is.
- 1:13:03Maar ja, het is natuurlijk altijd een waterval omhoog zwemmen in principe voor al die bedrijven omdat je een OpenAI heeft die gewoon triljoenen tokens heeft vol met copyright data vol met data dat niet deugt volgens de Europese wetgeving.
- 1:13:19Maar ja, in hier in Nederland denk ik dat we de meeste behoorlijk wat mensen een chat GPT subscription betaalt. En daarmee financier je dat natuurlijk wel gewoon.
- 1:13:29Maar als ik als nieuw bedrijf nu een AI lab begin en zeg ja, weet je wat, al jullie gegevens, geef maar aan mij, want OpenAI mocht dat ook. Dan word ik gelijk neergeslagen.
- 1:13:39Dat mag niet, maar blijkbaar OpenAI heeft het al een keertje gedaan, dus dan mag dat wel. En dat is natuurlijk super scheef. Dus ja, geld is niet het probleem. Compute is niet het probleem. En
- 1:13:52ik denk dat als je bijvoorbeeld naar China kijkt, naar naar diep ziek compute was er absoluut geen probleem. Ze hebben.
- 1:14:00Tuurlijk hebben ze behoorlijk wat geld in compute kunnen stoppen, maar het is met een fractie van wat de Amerikaanse partijen hebben. Hebben ze ongelooflijk sterke modellen getraind. En niet alleen.
- 1:14:10Niet alleen dat GPO, dus het nieuwe reinforcement learning algoritme wat is voorgesteld van diep ziek is gewoon zo elegant, zo mooi. En opeens heb ik niet meer
- 1:14:22300 GPU's nodig, maar zestien om op hetzelfde niveau te komen als diep ziek op bepaalde use cases. En dat is precies hetzelfde wat ik bij J één heb gedaan. Je hebt gewoon een super simpel nieuw algoritme,
- 1:14:35heel weinig compute nodig en je ziet opeens dat er steeds minder compute nodig is om de benchmarks te toppen. En steeds meer slimmigheden en datakwaliteit. En daar komen we nu in terecht.
- 1:14:47Maar nee, ik vind het wel interessant. Want je zegt eigenlijk aan het begin van je verhaal zeg je wel van wat? Ehm, de de wat je aangeboden wordt als ontwikkelaar bij de grotere Amerikaanse labs.
- 1:15:00Om het simpel te houden is gunstiger dan wat je aangeboden wordt bij een Europees lab. Daardoor ontstaat er een groep mensen daar wat gewoon de allerslimste mensen zijn op dat gebied.
- 1:15:11En dan heb je een soort ja, een soort netwerkeffect of zo. Wat eigenlijk daar ontstaat dat je zegt ja, ik wil daar zelfs als. Zelfs als het me niet om het geld gaat, wil ik er toch werken. Dus je zou kunnen zeggen dat.
- 1:15:23Er zijn zeer zeker wel ontwikkelaars gevoelig voor het geld, anders gaan ze niet.
- 1:15:27Maar je hebt dan nog een hele andere groep ontwikkelaars, onderzoekers eigenlijk en ontwikkelaars die meekomen omdat ze zeggen ja, ik ben gewoon mega nieuwsgierig. Ik wil gewoon voetballen met, met alle.
- 1:15:37Met Ronaldo en Messi. Dus ja, het gaat me niet eens om de miljoenen die ik bij die clubs krijg. Ik wil gewoon leren van de besten. En die twee eigenlijk.
- 1:15:47Dus een deel is gevoelig voor het geld en een deel komt mee omdat het talent daar is. Die zijn heel moeilijk. Dat is moeilijk open te breken gebleken.
- 1:15:55Tot nu toe in ieder geval, want het idee is dan het moet hardware zijn, dus datacenters bouwen. Nou, dat is alleen maar een voorwaarde en die voorwaarde is eigenlijk al voldaan, zeg jij.
- 1:16:05Zeker als je dat soort diep zieke achtige innovaties gaat doen, dan kan je die andere negen datacenters bijna weer sluiten. Dus.
- 1:16:11Maar ik hoor nog niet een en dat hoef jij ook niet nu hier op te lossen, samen met mij hoor, maar een soort van hoe breek je dat open dan?
- 1:16:17Want je zou kunnen zeggen dan moeten salarissen toch wel omhoog om die eerste soort massa te krijgen van je sterrenteam, zodat alle nieuwsgierige enthousiastelingen er achteraan fietsen. Waar zou je beginnen?
- 1:16:30Ik denk dat het gewoon begint bij vijf ambitieuze vrouwen of mannen of zo. Die die een tijdje bij OpenAI hebben gewerkt. Of een tijdje bij zo'n AI lab en gewoon de kennis naar Europa nemen. In the end is dat natuurlijk.
- 1:16:42Komt terug naar huis. Ja, komt terug naar huis. Nee, maar ik. Ik denk wel dat het daar om draait. Er moet een. Het moet ergens beginnen. Ergens moet die cyclus worden gebroken. Alleen als je.
- 1:16:53En toch moet je er, ook wetende dat als je terug naar Europa komt, dat een stukje moeilijker gaat worden. Want opeens moet je. Moet je dealen met alle Europese regelgeving en wetgeving.
- 1:17:06Al die dingetjes moet je opeens weten te te overwinnen. En in the end oké, je hebt het overwonnen. En nu? Wat? Wat heb je eigenlijk bereikt? Want wie gaat hiervoor betalen? Wie gaat al die kennis belonen?
- 1:17:20Wie gaat al die innovatie belonen? Want in the end OpenAI wordt gewoon gekocht. Europa zal waarschijnlijk OpenAI niet, niet niet verbannen. Wat is het commerciële interessante aan aan een AI lab beginnen in In Europa,
- 1:17:36als Mistral er ook al is. Ik weet niet eens zeker of Mistral het al heel goed doet, maar ehm, dat is ook de allergrootste eh, ja, allergrootste probleem.
- 1:17:46Het is kapitaal ongelooflijk intensief om compute te huren of te kopen. Ehm, tuurlijk kan dan zo'n data. Weet ik veel, zo'n AI factory. Ik weet niet hoe dat in zijn werk zou gaan. Misschien dat nog gratis gebruiken?
- 1:17:59Geen idee dus. En dan moet het nog worden inference. Het moet nog worden gehost, het moet ergens worden aangeboden. Ja en wie gaat daarvoor betalen? Dus ik denk dat dat ook een super groot probleem is.
- 1:18:09Waar is de vraag hiernaar? Naast dat wij met z'n tweeën het ongelooflijk vet zouden vinden?
- 1:18:15Ja, er zit echt een groot verschil tussen enthousiasme voor de technologie en het hebben van een daadwerkelijk businessmodel en iets om te kunnen blijven bestaan zonder constant subsidies links en rechts te moeten krijgen om te bestaan.
- 1:18:27Ik bedoel, het kan natuurlijk zo zijn dat er wordt vanuit een overheid op Europees niveau, Nederlands niveau, noem maar op, wordt gezegd ja, dit is zo belangrijk.
- 1:18:35Als het een beetje business is, is het prima en de rest vullen we aan. Want dit heeft te maken met autonomie van ons land, van van Europa.
- 1:18:44Maar uiteindelijk, ja, dat heb ik bij Mistral nu ook gezien, dat zij bijvoorbeeld nu heel erg OCR aanbieden als product omdat ze denk dat ze zien dat daar gewoon een goede markt voor is en eigenlijk nog beter geld te verdienen is denk ik.
- 1:18:56Of in ieder geval een goede goede tweede dan. Naast het proberen een soort OpenAI te zijn in Frankrijk zeg maar. Ik Ik zou zeggen laten we.Afronding.
- 1:19:06Ik ben super blij en dankbaar voor je nuance en soort van het een beetje de, de lucht uit de bel halen zeg maar de hype een beetje, uh, kouder maken en kalmeren.
- 1:19:17Ik denk dat het leuk is in een soort van serie die we nu doen, uh, om de verschillende stemmen te horen. Jij noemt jezelf net meer realist.
- 1:19:25Uh, dus de laatste x procent of van één op honderd naar één op duizend komen in de praktijk is echt nog wel een zware klus.
- 1:19:33Het is, het is een wauw factor als het werkt, maar als het dan een keer niet werkt, dan gaat het ook goed mis. En in, in heel veel contexten is daar helemaal geen ruimte voor. Uhm, en ik vind het gewoon
- 1:19:45prettig om te horen van iemand die, je zei net 250.000 consulten per maand. Ja. Ja, dat, dat is best wel een, uh, dan heb je best wel een serieuze intuïtie kunnen op, op, opbouwen over wat, wat AI wel of niet kan.
- 1:19:59En ik vind het, vind het vooral gewoon interessant om te horen hoe je eigenlijk zegt, uh, ja, AI is echt super krachtig en tegelijkertijd is het ook heel veel hype. Het is ontzettend veel hype.
- 1:20:12Wij danken Sam Hengeveld voor de edit en Pankrath voor de vormgeving. Wil je nou een lied, een lied, een lezing. Een lied van Wietse. Een lied van Wietse. Wil je een lezing? Daarvoor zijn fantastisch.
- 1:20:24Hou je koest, Wietse. Bewaar dat voor je lezingen, want die kun je dus krijgen van Wietse of van mij. Ik zing minder. Daarvoor kun je mailen naar lezing@aireport.e-mail.
- 1:20:34Wil je op de hoogte blijven van het laatste AI nieuws twee keer per week en tips en tools ontvangen om het meeste uit AI te halen? Abonneer je dan op onze nieuwsbrief via aireport.e-mail.
- 1:20:42En wil je vandaag nog beginnen met AI binnen jouw bedrijf? Ga dan naar deptagency.com/aireport. Tot volgende week! Tot volgende week!