Latest / AI Report / Wat is Q* en waarom doet OpenAI er geheimzinnig over? | ✨ Poki

Transcript

Wat is Q* en waarom doet OpenAI er geheimzinnig over? | ✨ Poki · AI Report

0:00
[alarm] Oh! Oh. Zo klinken 165.000 scheerbewegingen per minuut die je helpen om fris voor de dag te komen.
0:10
De flexibele scheerkop van de Philips S9000 Prestige volgt de contouren van je gezicht en scheert tot op nul millimeter van je huid.
0:18
Ervaar een ultiem gladde en comfortabele scheerbeurt, ook wanneer je nog niet helemaal wakker bent. Want dankzij de slimme sensoren past het scheerapparaat zich helemaal aan jou aan.
0:29
Zo kun jij nog extra genieten van je kopje koffie voor je de deur uit gaat. De Philips S9000 Prestige is het ideale scheerapparaat om jouw dag goed mee te beginnen.
0:40
Koop de Philips S9000 Prestige bij jouw favoriete winkel. Ben jij van plan om dit jaar te starten met beleggen? Of ben je er al mee bezig en zoek je een portie inspiratie?
0:50
Wij zijn Jasper en Twan, twee doodgemoedomaak compleet verschillende beleggers en iedere donderdag vertellen wij in onze podcast de lange termijn over onze beleggingsreis, onze lessen en met name onze fouten.
1:02
En dat allemaal op een vermakelijke en laagdrempelige manier. Alsof je met ons in de kroeg staat. Met een whisky'tje erbij. Lekker. Dus luister eens naar onze podcast De Lange Termijn.
1:19
[muziek] Welkom bij Pogi, een podcast over kunstmatige intelligentie waarin wij, Wietse Hage en ik, Alexander Klöpping, je bijpraten over de wondere wereld van AI.
1:35
Met deze week nog even over OpenAI. Sam Altman is weer terug, maar de rust is niet helemaal terug. Q-Star. Wat is dat? En bereiken we een stadium waarin AI zichzelf beter kan maken?
1:47
En wat betekent dat voor hoe wij AI gaan gebruiken? We gaan het heel praktisch hebben over hoe je ChatGPT betere reacties kan laten geven.
1:54
Wietse vond dat Google iets te weinig aandacht krijgt in vergelijk met OpenAI, want die zijn ook heus wel interessante dingen aan het doen. Wat is dat dan? En nog heel veel meer. Heel veel plezier!
2:04
Ik kon het toch niet laten om nog even te duiken in, uhm, wat is er nou gebeurd, mogelijk inhoudelijk binnen OpenAI, uh, wat betreft de Q-Star. Q-Star. Q-Star. Moet je even uitleggen. Nou, de, wat Q-Star is.
2:20
Het, het, wat. Het idee is dus dat, uhm, er verschillende zaken bij elkaar kwamen waardoor Sam Altman weg is en nu weer terug. Ja.
2:29
En dat een van die zaken het meest gave verhaal als het ware of het meest Hollywoodwaardige is. Er is iets uitgevonden, GPT-5. Daar is iedereen van geschrokken en daardoor ontstond een probleem. Nou. M-hm.
2:41
Ik heb eigenlijk niet echt kunnen vinden dat dat zo is, maar er is wel een leuk verhaal wat rondgaat rondom Q-Star. Ja, er zitten heel veel saaie verhalen waarom Sam Altman weg moest en je hebt er ook één gaaf verhaal.
2:52
Dit is de leukste. En dit is het gaafste verhaal met, met lasers en ontploffingen. Ja, en in de basis is het zo dat, uhm,
3:00
wat ik heb kunnen vinden is dat er, uh, één, er is iemand bij, uh, DeepMind, uh, die is naar OpenAI toe gegaan en die was bezig met, uh, algoritmen ontwikkelen.
3:14
Andere vorm van, het is niet een taalmodel zoals ChatGPT, maar een andere vorm van, uhm, ja, noem het kunstmatige intelligentie.
3:21
Een andere methodiek waarbij er eigenlijk gezocht wordt naar, uh, antwoorden meer in de fundamentele wiskunde. Oké. En, uh. Maar dit is iemand van DeepMind, dus van Google. Ja, onder andere.
3:32
Dus er is een, er zijn me-- heel veel mensen in verschillende, uh, research labs en bij verschillende commerciële instellingen en partijen die tussen die twee in hangen, zoals, uh, Anthropic en OpenAI. Ja.
3:44
Die als opdracht hebben, het, er is een beetje een beeld aan het ontstaan. Oké, laten we, het menselijk brein heeft allerlei onderdelen motoriek, uhm, spraakcentra, uh, een neocortex.
3:59
Wij hebben allemaal, we be-, we zijn een samenkomst van allerlei onderdelen in ons brein. Een soort groep die samenwerkt.
4:04
Als je, als jij, uh, als er iets gebeurt met je hersenen door een ongeluk of door een tumor, dan zal ook niet, hopelijk niet alles ineens uitvallen, maar mogelijk stukjes en dan wordt er gekeken van uit.
4:15
En het brein is niet zo simpel dat je, dat je helemaal kan zeggen van: nou, nou bij sommige stukjes is het echt van nou, dat zit daar bij de meeste mensen. M-hm.
4:23
Maar zo'n neocortex bijvoorbeeld is eigenlijk een opgevouwen ding, dus dat is dan weer heel moeilijk.
4:27
Maar wat buiten kijf staat: dat brein heeft verschillende functies op verschillende plekken die met elkaar samenwerken en dat noemen wij dan het menselijk brein.
4:35
Nou, de, een van de ideeën die zo hartstikke oud is, zullen we gewoon allemaal verschillende stukjes AI maken die dan weer gaan samenwerken in een soort AI-brein?
4:43
En dat, uh, die taalvoorspellers zoals ChatGPT, die eigenlijk door middel van statistiek het volgende woord voorspellen, een heel belangrijk fundamenteel onderdeel gaan vormen van zo'n kunstmatig brein, maar niet het kunstmatige brein zijn.
4:58
Want bijvoorbeeld wiskunde is een taalvoorspeller bijzonder slecht in. M-hm.
5:03
En dat kan je ook testen door, want er zijn, je hebt daadwerkelijke tests die normaal bij mensen afgenomen worden, hè, op de middelbare school of op preschool high school in Amerika.
5:12
En die test kan je natuurlijk voorleggen aan zo'n taalmodel en dan haalt hij een bepaalde score.
5:16
Nou, die scores zijn niet denderend tot nu toe, maar, uh, als jij algoritmen gaat ontwikkelen dat je zegt: maar wat nou als we dat echt zo opbouwen vanaf het begin dat het bedoeld is om wiskunde te kunnen?
5:28
Dus logica, dat is echt wat anders dan taal voorspellen.
5:33
Uhm, dus eigenlijk basale logica en in dit geval ga, worden ze dit soort algoritmen waar, waar Q-Star mogelijk, mogelijk zeg ik even asteriks, zeer mogelijk een voorbeeld van is, getest op, uh, middelbare school wiskunde en wordt er daar nu langzaam steeds beter in.
5:53
M-hm. Nou, waarom is dit nou, uh, zo relevant? Lasers en ontploffingen. Ja. Nou, in essentie is het zo datEigenlijk waar het ooit begonnen is met betrekking tot taalmodellen.
6:07
Dat is met de paper Word to Vec Word to Vector. Een tijd geleden alweer, zeven jaar geleden volgens mij, misschien wel langer. En dat ging over het voorspellen van woorden, maar dan in een hele primitieve zin.
6:19
Dat was nog niet zo indrukwekkend. Uiteindelijk hebben we nu ChatGPT vier. Een stuk indrukwekkender, maar gebaseerd op dezelfde ideeën uit die paper.
6:29
Nu is het zo dat die Q Star eigenlijk schijnt een stuk beter te zijn in middelbare school wiskunde en dat er in de theorie niets in de weg staat.
6:40
Als we maar door en door en door trainen en er meer en meer compute tegenaan gooien dat dat misschien wel hogeschool wiskunde kan worden. Dan zou je misschien zeggen oké,
6:52
ja, we kunnen ook plaatjes maken en video maken en het weer voorspellen. Ik bedoel wiskunde klinkt als iets wat. Ja, misschien hadden ze dat nog niet als eerst opgelost dan. Maar niets is minder waar.
7:03
Niets is minder waar. Waarom is het nou zo belangrijk? Omdat op het moment dat je wiskunde beheerst op een bepaald niveau, dan ga je eigenlijk richting programmeren. Dan ga je eigenlijk richting algoritme maken.
7:18
Dan ga je richting iets waar je aan kan vragen. Hier heb je een stukje code. Wil je kijken? Je kan een taal model nu vragen zoals een GPT. Ik heb hier een stukje code. Wil je tips geven?
7:30
Dat kan dat ding al, want er is heel veel gelezen op Stackoverflow, dus die gaat dan gewoon op een hele slimme, slinkse manier bijna jou bluffend tips geven die best wel vaak werken. Als we hebben het eerder over gehad.
7:42
Je zegt bluffend. Ja, bluffend omdat het zeker met als het gaat om programmeertips. Je moet gewoon goed opletten nog als programmeur wat daar getipt wordt en vaak kan je er nog een beetje doorheen kijken omdat je ziet.
7:54
Ja wacht even, je je komt nu met heel veel zelfvertrouwen deze tip geven, maar die hele code werkt niet eens, dus daar dan voel je het. Waarom werkt die code niet?
8:03
Omdat de eigenlijke logica in dat programmeren onthoud dat woord logica eigenlijk niet begrepen wordt, want er zit geen logica. Er zijn nog. Hier zijn trouwens nog allerlei vragen over, maar.
8:14
Het is alsof die een programmeur napraat maar zelf niet begrijpt wat er gebeurt. Het is alsof die stukjes uit zijn hoofd geleerd heeft. Zoals iemand die heel goed een taal kan faken.
8:23
Ik kan ook heel goed faken dat ik Spaans kan. Als ik dan een café binnenloop en ik, ik, ik probeer in het Spaans een koffie te bestellen, dan denken ze dat ik Spaans spreek omdat ik zo goed die zin uit mijn hoofd.
8:32
Ik heb die zin heel goed uit mijn hoofd geleerd. Ja, maar daarna houdt het op. Stellen ze. Ik ben een beetje als een taal model die programmeert. Nou, ik denk velen van ons.
8:39
En dan stellen ze jou een hele specifieke vraag terug met een lokaal accent. Heel snel en dan val je door de mand. Ja. Nou hablar espanol. Sile. Nou zo valt dus ook ChatGPT bij veel experts vaak door de mand.
8:52
Want die gaan dan expres vragen stellen over hun eigen werkveld of net even dieper. En daardoor is er nog best wel een groot deel van de. Nou ja, hoe zeg je dat?
9:01
Ja, de mensen die expert zijn op onderwerp A tot en met Z zijn nog best wel cynisch en sceptisch, vooral rondom ChatGPT. Want ik voel hem aankomen. De logica die hier begrepen gaat worden door.
9:12
Door de de opvolger van dit, van dit model. Wat je dan geen taal model meer mag noemen. Ja, en dan ga je logica en kan dus programmeren en dan ga je niet een stukje code geven, maar dan geef je bijvoorbeeld
9:23
nou ja, formele logica. Dus je hebt zeg maar pseudocode. Dat code is vaak geschreven in een programmeertaal. Ja, Python, PHP, JavaScript, al dat soort talen. Maar je kunt ook eigenlijk zeggen van nou, wat is.
9:37
Wat gaat die code eigenlijk doen? Zullen we dat eerst eens met elkaar uitschrijven en dan kijken of dat kan? Bijvoorbeeld algoritmen worden vaak eerst theoretisch ontwikkeld, nog zonder dat ze geïmplementeerd zijn.
9:48
Je gaat gewoon eerst logisch nadenken. Het is in wiskunde. Daarom zitten die dingen zo dicht bij elkaar. Van op een krijtbord of op een op een whiteboard kan je al helemaal die logica uitwerken. Nog zonder.
9:58
En dan kan je gewoon gebruik maken van een een symbolisch systeem wat nog geen programmeertaal is. Dat dat is wat je vaak mensen op die borden ziet doen.
10:05
Dat wij er, jij en ik ernaast staan en denken zo, dat is knap klingel om dat hier even neergezet wordt. En dan programmeurs willen altijd whiteboards en dan gaan ze daar met stiften op kalken en dan, dan.
10:16
Zijn ze dan vaak al aan het implementeren. Dus dat zijn dan vaak de engineers. Die die eigenlijk. Want veel van het programmeren is mens leesbaar zeg maar. Wat bedoel je dan? Nou, dit is een algoritme.
10:28
Is vaak, is vaak iets wat wiskundig bewezen wordt. En als daar een wiskundige wiskundig bewijs voor is, dan gaan mensen aan de gang om een implementatie te maken.
10:38
Die kiezen dan vaak een programmeertaal die bijvoorbeeld past bij. Die zegt van nou die, die taal is echt super geschikt om om dit algoritme in te implementeren. Dat wordt dan geïmplementeerd.
10:48
Dat wordt in een module omgezet, dus dan heet het ineens. Nou ja, stel dat het iets is om te sorteren waar we het al vaker over hebben gehad.
10:55
Dat sorteer algoritme kan je wiskundig bedenken, dan implementeren in een taal. Dan maak je er een functie van en dan kan een programmeur gewoon aanroepen soort en dan gebeurt het gewoon.
11:04
Mijn niveau van programmeur is die laatste. Ik roep dingen aan die een ander heeft geschreven met een logica erachter die een ander heeft verzonnen.
11:11
Nou ja, wat er nu gebeurt, wat er nu gebeurt, zou zijn gebeurd, een beetje bezig is, is dat je kan zeggen oké, ik heb hier middelbare school wiskunde. Kan je het oplossen, dan gebruik je Q Star.
11:24
Die haalt daar best wel een goed cijfer op. Oké, interessant. Dan ga je Q Star verder trainen door er heel veel compute tegenaan te gooien. Dus echt rauwe hardware.
11:32
Je gaat niet Q Star verbeteren, je gooit er gewoon nog meer computers tegenaan. Dan wordt hij beter en haalt hij een hoger cijfer. En dan blijkt. En dan. En die lijn van stijgen blijkt eigenlijk niet nog af te zwakken.
11:44
Die blijft gewoon omhoog gaan, mogelijk richting een 100% score. Dus dan heb je alle wiskunde uit de middelbare school toets opgelost. Simpelweg door er meer compute tegenaan te gooien. Nou,
11:56
de de research die daar nu naar gedaan wordt wijst erop dat die lijn nog niet begint af te zwakken. Die gaat redelijk lineair omhoog.Dus is het was de grote vraag is de grote vraag.
12:06
Ik zeg was is, want we weten niet zo goed wat er gebeurd is dat ze binnen OpenAI dachten nou gooien we er nog meer compute tegenaan, ging dat lijntje weer een beetje omhoog.
12:14
Op een gegeven moment kom je op een punt daar zijn ze mogelijk, daar zijn ze mogelijk nog niet. Dat je 100% van de middelbare school wiskunde kan oplossen. Dan ga je richting hogeschool wiskunde, noem ik het maar even.
12:25
Meer wetenschappelijke wiskunde. En dan gaat het lijntje weer door en dan kan je nog meer compute tegenaan gooien. Je komt op een punt waar je kan vragen aan.
12:35
En er zijn verschillende research research papers waar hier naar verwezen wordt. Oké, algoritmen zijn uiteindelijk ook wiskunde. Zullen we eens aan dat ding vragen of die een algoritme kan verbeteren? Wat? Wat we.
12:48
Er is al een beter sorteer algoritme gevonden ooit, maar dat is eigenlijk nog heel erg baby steps. Dan zegt dat ding ja hoor, je kan het zo verbeteren en dan geef je hem het algoritme dat hij zelf is.
13:01
Hier heb je een algoritme, dat is jouw algoritme. Wat vind jij hier eigenlijk van? Dan gaat hij het verbeteren. Dan ga je dat weer draaien en dan kom je in een cirkel.
13:10
Juist, want voor de helderheid op dit moment maakt GPT zichzelf nog niet beter. Het is dit. Exact. Dus ja, eigenlijk dus ja, het maakt zichzelf nog niet beter. En dat zou als dat. Als.
13:24
Als je die knop eenmaal aanzet, dan is het ook. Ik kan me ook voorstellen hoe dat leidt tot lasers en ontploffingen. Dat kan iedereen zich voorstellen, want dan hebben we opeens niet meer een lineair lijntje naar boven.
13:34
Potentieel, maar een exponentieel lijntje naar boven en hebben we het niet eens door. Nou en wat ik heb begrepen is dus dat dit kan je allemaal van tevoren eigenlijk al wel een beetje bedenken.
13:44
Dat hele idee van runaway AI en een zelf improving robot of een zelf. Want in eerste instantie is het natuurlijk nog een algoritme, maar je krijgt een soort cirkel en de mensen gaan eruit.
13:54
Het is alsof je iets aanzet en je moet er eerst nog heel even tegenaan slaan met je vinger, zeg maar net als een klok.
13:59
En op een gegeven moment kan je weglopen en dan gaat hij gewoon tik tok, tik tok, tik tok en dan is hij weg. Ja, wat? Wat? Dit kan je van tevoren al wel een klein beetje. Dit is al voorspeld dat dat het zou kunnen.
14:14
En dan kan je natuurlijk gaan zeggen oké, zullen we een paar milestones maken als signposts waarop we met elkaar afspreken dat als we die eerste tekenen zien, dat we dan aan de bel trekken? Heel vroeg al echt heel vroeg.
14:26
Zoals. Middelbare school wiskunde. Ja. Ja, precies. En nu is dus het verhaal en daarom is het verhaal niet zo spectaculair is dat er omdat het omdat er allemaal is, allemaal safety.
14:39
Board zijn en mensen, maar ook de mensen die er zelf aan werken met safety bezig zijn. Dat er is gezegd oké, wacht even jongens, we hebben hier nu een algoritme die wiskunde steeds beter kan.
14:50
Dat lijntje gaat maar omhoog. Iedere keer als we de computer vergroten blijft het lijntje stijgen.
14:56
In essentie, als we dit nu blijven doen, kunnen we op een gegeven moment het algoritme aan zichzelf gaan voeren, dat verbeteren. En gaat het, gaat het verder, verder, verder, verder, verder.
15:05
En waarom kan dat nu niet met een taal model dan met GPT vier gewoon? Waarom kan die? Waarom kan een een? Waarom kan een taal model zich dan fundamenteel zichzelf niet beter maken? Omdat.
15:15
Omdat hij dus gewoon nog te veel foutjes maakt met programmeren. Omdat hij een programmeur napraat in plaats van dat hij de fundamentele logica eronder echt doorgrondt. Ja, als jij, als jij.
15:24
Met mijn beperkte programmeer kennis voel ik al iedere dag als ik ermee interacteer. Daar valt hij weer door de mand.
15:31
Ik begin wel te begrijpen waarom dit een groot ding is inderdaad, dat als je eenmaal die when you cross that Rubicon, de van zelfverbeterende van iets wat zichzelf kan verbeteren dan, dan verandert alles.
15:43
Juist En stel dat het dat het twaalf stappen. Ik noem maar even wat twaalf stappen toe naar zelfverbeteren. Wat je van tevoren een beetje kan bedenken. Het is allemaal aannames, anticipatie en gokjes.
15:53
Maar goed, het is helemaal niet helemaal onzin, want je kunt hier wel over nadenken. Er is ook over nagedacht. Dan zeg je oké, en die stappen gaan we definiëren. En stap twee is middelbare school wiskunde.
16:06
En dan spreek je ook af. Jongens, dan moeten we even. Zullen we het ook gewoon aan elkaar melden? Dan als research labs. Dat doen we dan nog in ons kleine clubje. Maar wel even iemand als iemand daar is.
16:15
Trek even aan de bel. Ja. Ja. Ja. Nou dan die stap twee. Helemaal nog niet spectaculair. Het zou zomaar kunnen dat stap acht pas over honderd jaar is. Dat even voor de luisteraar.
16:25
Het kan zomaar nog duizend jaar duren, maar als het lijntje wel blijft lopen en je hoeft alleen maar CPU's toe te voegen en nieuwe of in dit geval GPU's,
16:35
ja dan is dan kom je op een soort Moore's Law achtig ding en dan kan je bijna al à la Ray Kurzweil er wel weer een datum aan gaan hangen. Want ja, dan stap drie, stap vier, stap vijf, noem maar op. En nu
16:46
wat ik wat ik een beetje heb begrepen is dus het is eigenlijk een beetje een nothing burger nu, want het is pas stap twee van twaalf. Mogelijk schaalt het helemaal niet en valt het allemaal reuze mee.
16:59
Maar het is ook weer niet een nothing burger, want een van de ja, noem het kanaries in de kolenmijn. Of ja, je kan ook zeggen er.
17:07
Je legt, je legt in een gang, doe je laserstralen, zeg maar twaalf laserstralen achter elkaar en iedere keer als er iemand door één heen stapt, hoor je een belletje.
17:14
Nou ja, er is weer een belletje gegaan richting en aan het einde van de gang zit iets wat zichzelf kan optimaliseren zonder mensen. Ik denk. En zijn zijn. Zijn
17:23
wetenschappers er het erover eens dat dit een relevante manier is om naar AI ontwikkeling te kijken?
17:31
En de misschien als je de maatschappelijke impact als uitgangspunt neemt en dus de technologie als, als, als drijver van die veranderingen Is.
17:43
Zijn wetenschappers dan overeen eens dat je bij wijze van spreken een soort van stoplichtsysteem kan hebben met. Ja, met kleurtjes of levels of wat dan ook. Zoals bij self-driving bij self-driving.
17:54
Zelfrijdende auto's hebben we afgesproken dat level één tot en met. Nou, wat is het? Vijf, zes. Ja, vijf, zes. Dus dan level. Level nul is dat het helemaal niks zelf kan.
18:04
En dan op een gegeven moment snapt hij dat hij weet ik veel ook snelwegen op. Hij kan wel dorpsweg rijden, maar niet op snelwegen. Op een gegeven moment kan hij ook snelwegen doen.
18:12
Op een gegeven moment kan hij ook afslagen nemen en dan tot helemaal tot het moment dat je geen stuur meer nodig hebt. En daar zijn we nog lang niet.
18:16
Maar er zijn wel levels en we worden wel beter op die levels overigens niet zo snel als Elon Musk hoopt. EnEn zou je zo'nzelfde level systeem ook kunnen maken met AI?
18:26
En is daar consensus over dat dat inderdaad een relevante manier is om vooruitgang aan te duiden? Hier ben ik oprecht heel erg nieuwsgierig naar. Dat weet ik niet. Ik denk ook meteen. Klinkt heel logisch.
18:38
Ja, als er iemand is die luistert, die hier fundamenteler in zit en hier wel een antwoord op heeft. Mail ons. Ja, want ik denk het is voor mij echt een beetje graven en zoeken. En ik moet zeggen dat het ook.
18:50
Het is voor mij allemaal een beetje nieuw ook omdat ik ook niet wiskundig ben opgeleid en die algoritme niet ken. Het is een fantastisch interessant iets, want ik. Je voelt dan en jij ook. Ja, maar hier is toch wel.
19:01
Er is gewoon even iets aan de hand. Kom aan, er is gewoon iets aan de hand. Er is daar iets gebeurd. Mensen zijn gewoon freaked. Dat is wel gebeurd. Maar het kan natuurlijk zo zijn dat
19:10
als je echt hebt afgesproken van bij de eerste. Ja, als ik maar iets van geritsel in huis hoor, dan zijn er muizen zeg maar. Dan is het echt een heel klein ritseltje. Eentje in de maand
19:21
denk ik dus en dan komen wij daar binnen. Nou, laat maar zien. Waar is die chaos? Nou ja, er is. Er is gewoon nog eigenlijk niet zoveel, dus ik zou het eerder een soort ritseltje noemen wat er nu gebeurd is.
19:30
Daar ben ik wel van overtuigd met wat ik heb kunnen vinden. De vraag is alleen zit daar vijftig jaar tussen? Vijf jaar? Vijf maanden? Vijf minuten? Wat is er aan de hand? Dus dat is.
19:41
Dat maakt het wel een, een interessant iets. En ja, als je een beetje gaat kijken. Ik ga er dan toch ook wel af op.
19:49
Kijk, als je wil weten hoe het met het klimaat is, praat met klimaatexperts en vraag aan hun Joh, hoe zit je er existentieel bij? Ben je blij met je gezin? Zie je nog toekomst voor je familie?
19:59
Nou, als je dan 99% een traantje laat, dat is dat is de realiteit op dit moment. En dan mag je je eigen conclusie trekken. Of die allemaal elkaar hebben aangestoken met een negativiteit virus.
20:11
Of dat zij zo diep in de materie zitten dat ze zich integendeel beseffen dat er wel echt iets gaande is met onze grote bal.
20:19
Als je dus kijkt naar veel mensen die wat dieper in die AI materie zitten en ik kijk hun talks, ik lees hun blogs, ik probeer dan, dan, dan zie ik een hoop zorg en kneiter veel enthousiasme. Net als wij.
20:34
Over dit specifieke ding bedoel je? Ja, want het is toch ook te gek? Het is zo vet. Moet je. Ja, weet je dat? Dat is een beetje het punt. Je. Het ging er nu bijvoorbeeld over dat ze zeiden.
20:45
Er gaat wiskunde uitgevonden worden. Die wij die er gaat. Er gaat wiskunde uitgevonden worden. Gewoon nieuwe wiskunde, weet je wel. Nieuwe mogelijkheden, nieuwe manieren om tot sneller tot een antwoord te komen.
20:57
Kijk, als jij wiskundige bent en dan gebeurt dat misschien eens een keer, één keer in je leven dat er echt iets fundamenteels gebeurt. En mogelijkerwijs wordt het straks gewoon een wekelijks ding. Hoe bizar is dat?
21:06
Ja, en ik denk dat. En dan kan je je afvragen oké, hoe zorgt wiskunde voor een sneller frikandellen broodje? Nou, dat neem van mij aan. Ergens zorgt dat ervoor. Ja, ja.
21:17
En dat is voor mij altijd, ook tot de dag van vandaag bijzonder moeilijk. Ik heb een kennis van mij die is afgestudeerd op. Dat zijn voor mij bakkie balls. Dus het zijn hele kleine soort van
21:30
koolstof balletjes die dan waar die een nieuw materiaal mee kan maken. Tuurlijk. En daar heeft hij iets heel fundamenteels voor uitgevonden. En dan ga ik die thesis lezen. Dat is Klingon voor mij.
21:40
Hij doet zijn presentatie. Ik denk nou, hij ziet er vrolijk uit, zijn supervisor ook, dus hier is waarschijnlijk iets gebeurd. Ik heb werkelijk geen idee, maar natuurlijk kan je daar een heat shield mee maken.
21:48
Op een landings capsule. Ja, ja. Of letterlijk niet giftige teflon pannen. Ik noem maar. Roep ik nu maar. En dat kan zomaar. Ja, of een stukje op de rails van de NS. Geen bladeren meer? Geen idee. Geen idee.
22:01
Maar vliegende auto's als we dat willen. Die hoverboard. Die hoverboard willen wij. Dus ik. Ja dus. Dus het staartje van het open naïef verhaal is is denk ik. Maar goed, wat jij beschrijft, die Q Star is gewoon dat.
22:15
Dat stond in een paper, toch? Dat is gewoon openbaar. En nu wordt gekoppeld aan. Die stars, een beetje hun interne code naam. Dat en je hebt Q-learning.
22:26
Dat is een methodiek en de aanname is van oké, dat Q star en star is weer een acroniem. Wat ook weer dit is. Dit zit nog heel erg in de in de conspiracyachtige sfeertjes. Een beetje half omdat er nu.
22:41
Mensen proberen nu online aan elkaar te binden van oké, maar welke research door wie en wie werkt er nu? Waar was hij dan mee bezig voordat hij bij OpenAI ging? En dat is nu een beetje zo'n.
22:50
Maar ik heb die paper zitten lezen en, en daarin wordt zeg maar beschreven wat voor computerkracht er nodig is en, en dat dat.
23:00
Als ik het me goed herinner is het gewoon een openbare paper van, van OpenAI en dat wordt nu gekoppeld aan, aan dat vertrek van Sam Altman.
23:09
Ja, er wordt nu met terugwerkende kracht gekeken van wat is er allemaal wel gezegd en wat is er nu uit de hand gelopen als het ware. Ja, in essentie wat ik begreep is dat het een vorm van een pathfinding algoritme is.
23:22
Dus dat is net als in je auto dat je van A naar B wil. Dan ga je een pad zoeken van A naar B. Wat het snelst is. Hier ben je eigenlijk een pad aan het zoeken naar wiskundige oplossingen om tot, tot.
23:32
Ja, je wil eigenlijk een middelbare school wiskunde toets oplossen. Het liefst ook. Je wil hem oplossen, dat is één. En het liefst ook efficiënt zeg maar. Ja en, en, en daarin ja, kan je, kan.
23:44
Dat kan Q Star zijn, maar het is niet helemaal nog. Ze doen een beetje. Het is ook zonde, want ik ik zou wel. Ik weet niet zo goed waar OpenAI in dat opzicht mee bezig is, maar ze zouden nu ook gewoon iemand.
23:54
Ja, er zijn wat tweets, maar joh jongens, luister. Waar je aan werkt. Ja, het is grappig gewoon, want we hadden. Afgelopen vrijdag spraken wij Walter Isaacson, biograaf van Elon Musk.
24:06
Ja, dat vind ik gewoon even gaaf om tussendoor zo tussen hele. Ja, het was een leuke ontmoeting. En ik vroeg hem Gaat je volgende boek? Hij heeft natuurlijk over Jobs geschreven en hij heeft.
24:15
Hij heeft een boek geschreven over Elon Musk recent. Wat trouwens een, een warme aanbeveling is. Ontzettend leuk boek. En.En ik vroeg hem gaat het volgende boek over Sam Altman? En zijn antwoord was resoluut nee,
24:28
want Sam Altman is een verkoper en geen tech, geen technoloog, om het zo maar te zeggen. En ik schrijf boeken over mensen die technisch onderlegd zijn. Toen dacht ik oké, wauw, ik.
24:40
Zo, zo scherp had ik er nog niet naar gekeken. Het was ook heel resoluut en heel ad rem. Ja, en toen zat ik te kijken naar de PR tour die Sam Altman de afgelopen weken heeft gedaan
24:53
om een beetje de plooien glad te strijken rondom het hele fiasco van de afgelopen weken. En wat me dan opvalt, is dat hij heel direct wordt gevraagd naar wat is er nou gebeurd en wat is.
25:05
Wat waren de klachten nou van de board? En daar doet hij heel geheimzinnig over onder het mom van ik moet het onderzoek afwachten.
25:12
En dan vraagt wat ik een opvallend moment vond was dat een journalist vroeg oké, maar wat heeft Ilya, de chief scientist Ilya Sutskever, zijn medeoprichter en laten we zeggen de couppleger?
25:26
Wat heeft hij tegen jou gezegd? En dan zegt hij Of wat vindt hij? Dat is de. Dat was de vraag die de journalist stelde. Wat vindt hij van deze situatie? En dan zegt hij Dat weet ik niet. En dan denk ik ja, wie
25:41
denk je nou echt dat, dat we dat geloven? Dat jij niet weet hoe hij nu in de wedstrijd zit? Want hij, je werkt met hem samen en er is nogal wat gebeurd, zullen we maar zeggen.
25:50
En jij weet niet hoe hij nu in de wedstrijd zit. Volkomen ongeloofwaardig. En sinds Walter Isaacson zei het is gewoon een verkoper. Sindsdien kijk ik door die lens als ik hem zie. En hij is fucking slick.
26:01
Het is echt ongelooflijk hoe, hoe goed hij van die persinterviews doet. We hebben eerder gehad over hoe goed hij politici kaltstelt die hem en die hem, die hem voor. Hoe zeg je dat? Van die commissievergaderingen zetten
26:16
waar ze grote techbedrijven binnenhalen om, om ze streng te ondervragen. Echt als een gladde aal gaat hij er doorheen waar, waar andere techbedrijven CEO's zitten te sidderen. En toen dacht ik het is toch wel. Inmiddels.
26:33
We maken een hoop grappen over dat OpenAI helemaal niet zo open is. Maar ik vind sinds de, sinds dit hele debacle en dat gewoon niet opgehelderd is, weken nadat het gebeurde en, en gewoon dit, dit punt namelijk.
26:51
Soort van helder definiëren wanneer je bij een zelf, zelf, zelflerend algoritme bent. Als, als daar de consensus over bestaat dat een relevante metric is, dan wil je toch dat hier een.
27:03
Dat hier levels gedefinieerd worden en dat ze dat, dat ze dat laten weten waar ze zijn. Dat je gewoon transparant bent over hoe ver je bent.
27:10
Hoezo vertelt OpenAI niet hoe ver ze zijn als het allemaal zo belangrijk is voor de mensheid? Want hij loopt te verkondigen overal dit soort van het gaat.
27:20
Het gaat potentieel de grootste problemen die we hebben op aarde oplossen. Van, van ziektes oplossen tot klimaatverandering tot voedseltekorten, et cetera. Als het zo belangrijk is, waarom ben je dan niet transparant?
27:32
Ik snap dat niet. Er is toch één reden voor en dat is ofwel om publieke. Om een soort van regelgeving te vermijden, dus een soort van public policyachtige reden.
27:43
Of het heeft economische reden, namelijk je wil je concurrenten niet helpen, maar ik kan geen andere reden verzinnen waarom je geheimzinnig zou zijn. Kijk, omdat Apple dat doet moeten ze zelf weten. Want het
27:54
ja, maar weet ik eigenlijk ook niet als het over AI gaat. Maar in ieder geval als het gaat over nieuwe iPhones uitbrengen dan moet je lekker zelf weten hoe geheimzinnig je bent en hoeveel je op marketingstrategie gooit.
28:01
Maar hier, het past hier gewoon niet. En. Sorry, ik wil je even aanvullen nog.
28:08
Die, was het John Sculley die toen bij Apple ging werken en dat, dat was van dat was van Pepsi kwam die weg en die had dan, dat was die famous quote van wil je nog suikerdrankjes verkopen of wil je de wereld veranderen of zo?
28:18
En dat hij toen bij Apple kwam. Voor mij was dat, was dat John Sculley. Volgens mij ook. Ik zit ook te denken ja,
28:27
ik kan me voorstellen binnen die context van oké, ik wil eigenlijk computers gaan verkopen alsof het lollies zijn. Letterlijk met kleuren en alles. Gewoon de nieuwe Chupa Chup computer.
28:36
Dat je een, dat je een Pepsi guy gaat binnenhalen. Op zich prima als het consumer spullen zijn. En iMacjes met allemaal snoepachtige kleuren en letterlijk een operating system wat gewoon knopjes van snoepjes zijn. Ja.
28:48
Oké, prima, maar wil je zo, wil je John Sculley bij OpenAI hebben? Wil je Sam Altman bij OpenAI hebben? Ik denk dat wij daar allebei nu, want we hebben eerst nog zitten klappen en zo. En van what a product guy.
29:00
Nee, maar ik bedoel en ik ga. Ja. Ik vind het. Kijk, ik blijf erbij. Maar waar. Ja, dat, dat het gewoon klopt. Of dat we. Ik blijf erbij dat het knap is om zo snel te shippen, zo snel een app uit te brengen, et cetera.
29:14
Vorige keer ook al gezegd, maar hoe meer ik lees, hoe meer ik hier over nadenk.
29:18
Net als jij denk nee man, je, je, dit, deze fundamentele technologie, deze mensontwrichtende, samenlevingontwrichtende technologie moet gewoon niet vertegenwoordigd zijn door een Sam Altmanachtig iemand, denk ik.
29:31
Een sales guy. Dat klopt gewoon niet. Nou, of op zijn minst. Je mag wel een sales guy zijn, maar daarnaast moet je ook wel transparant zijn. En dat zijn ze gewoon niet. Nee.
29:40
Ze proberen Apple uit te hangen met van keynote naar keynote werken. En dan grote. Wij klappen erin, hè. En nu niet meer. Nee, ik bedoel wij moeten. Ja. Dus de volgende keynote, Alexander. Dan kijken wij niet.
29:52
Boe, roepen we dan. Ja, boe. Boe. En dan vlug installeren. Ik merk dus dat ik de afgelopen tijd best wel veel ChatGPT probeer te gebruiken in de, in mijn dag en dat ik daar, dat ik dat steeds meer ga doen. Het is echt,
30:10
zeg maar. Ik weet niet als ik nu in een percentage zou moeten vatten wat het voor mijn hele werkweek is, zeg maar wat ik doe met ChatGPT zou ik zeggen 20% of zo. 20% van de tijd er interactie is ermee.
30:23
Ik vind het heel moeilijk om nu te meten hoeveel tijd scheelt het nou? Maar ik, ik had deze week een project, vorige week een project, namelijk we hebben een soort vanWe hebben zo'n E-ink scherm van 32 inch.
30:35
Hartstikke duur ding. € 2.500 die wordt gebruikt normaal gesproken. Of dat is een bedrijf wat dat verkoopt voor hotels en andere business to business dingen.
30:45
Maar ik ben ooit achtergekomen dat dat ding precies de voorpagina van de New York Times erin past. Soort van langwerpig scherm en dat je dus elke dag de krant aan de muur kan hangen. Nou, leuk!
30:54
En toen had ik een stukje erover geschreven op Hacker News en dan gingen mensen dat zelf maken en zelf bestellen en had ik een beetje contact met het bedrijf en uiteindelijk ben ik die dingen gaan verkopen voor dat bedrijf ook met het idee dat je je krant erop kan zetten.
31:06
Nou klaar, allemaal leuk. Best wel veel mensen hebben dat ding gekocht. Allemaal prima. En nu zaten we een beetje te kijken. Kunnen we ook iets anders doen dan alleen maar die kranten? Zouden we AI art kunnen maken?
31:19
Want je kan zo'n plaatjes generator uitstekend gebruiken om E-ink kunst mee te maken, want hij kan gewoon hele mooie zwart-wit tekeningen maken, want die E-ink schermen zijn zwart-wit.
31:31
En toen zaten we denken oké, dan maak je AI art. Hoe? Hoe verzin je dan wat voor art je maakt? Toen dachten we nou laten we het top verhaal van Hacker News nemen.
31:40
Wat is de, het, het, het, het nieuwsbericht waar de hele tech community het meest enthousiast is op elk moment van de tijd.
31:48
En dan pakken we die headline en we pakken een soort van abstract van die van het artikel waar het naar verwijst. Meestal is het een blogpost of een nieuwsartikel.
31:57
Daar pakken we, daar maken we met een prompt een beschrijving van voor een plaatje. Dat plaatje genereert hij geoptimaliseerd voor E-ink in een soort van ja, een beetje cartoonachtige stijl of meer, meer.
32:09
Het is een mooie, ja, heel mooie illustratiestijl door een, door een, door een vrij uitgebreid prompt en dan zet hij rechtsonder in beeld zet hij waar het artikel over gaat en dan loop je naar je muur en dan zie je zeg maar een, een kunstige versie van het tech verhaal.
32:22
En het is heel grappig, want op het heel vaak op Hacker News staat bovenaan weet ik veel, een of andere
32:28
dude die een C, iets met CSS heeft gedaan en dan gaat hij dus visualiseren hoe, hoe iemand iets heel gaafs in CSS heeft gemaakt. Nou anyway, het is gewoon totaal voor, voor nerds.
32:41
En ik had hem, ik ging PR dingetjes doen voor deze, voor dat scherm en dan ga ik persbericht schrijven en dat is echt fantastisch om met ChatGPT te doen.
32:51
Want gewoon ik, ik, ik pak dan een soort van ruw tekstje van iets wat ik ooit in een e-mail heb gezet. Dat kopieer en plak ik dan naar, naar ChatGPT en ik vertel dan nou dit moet persbericht worden.
33:05
Dan komt hij met een eerste versie en dan zeg ik ga ik gewoon de hele tijd commentaar geven op dat persbericht. En dan uiteindelijk heb ik echt iets heel fatsoenlijks.
33:12
En hetzelfde geldt voor bijvoorbeeld koppen schrijven voor Product Hunt, want ik wil het dan een Product Hunt zeggen en dan vraag ik aan hem: wat voor dingen werken goed op Product Hunt? Hoe moet ik...
33:21
Dus bijvoorbeeld één ding wat echt heel goed werkt is: ik wil iets op Product Hunt zetten. Kijk, je kan zeggen schrijf een titel voor Product Hunt, maar dat werkt niet zo lekker.
33:33
Als je zegt: ik wil een titel maken voor Product Hunt, welke details heb je nu van me nodig om ervoor te zorgen dat die titel fantastisch wordt? Ja.
33:41
Dan gaat hij je precies vertellen welke details hij allemaal nodig heeft. Dus die extra stap in, in, inbouwen in plaats van gewoon generiek een generiek prompt te schrijven zoals schrijf een e-mail.
33:51
Gewoon aan het ding vragen wat heb je nodig is zo belangrijk voor de kwaliteit die je eruit trekt. En nu ik dit soort dingetjes, dit zijn hele kleine dingen, maar dat soort dingen begrijp
34:02
is er, is de kwaliteit van het werk zo hoog waardoor dingen waar ik normaal gesproken, één mijn levensvreugde door verloor en twee veel tijd mee kwijt was, zoals persberichten schrijven, doe ik nu echt zo.
34:16
En om het helemaal meta te maken, deze aflevering heeft een adverteerder. [lacht] En hoe dat dan werkt, is dat ik een briefing krijg van die adverteerder.
34:26
Dus in dit geval krijg ik van Dag en Nacht, dat is de, onze uitgever, die zeggen dan: wil je een advertentie plaatsen voor dit merk? Dat ga ik dadelijk doen. Dit is nog niet de advertentieruimte.
34:38
Wil je een advertentie doen voor dit merk? En dan staat daarin: de advertentie moet ongeveer een minuut zijn en je mag dit en dit en dit mag je wel zeggen, maar dit en dit en dit mag je absoluut niet zeggen.
34:49
Hier staat een instructie van, van het merk. Nou open ik een Google Doc. Daarin staat een heel verhaal over wat ik ongeveer kan zeggen en wat precies de call to action moet zijn.
35:02
En je mag niet het hebben over X en weer wel dat. Ik vind het ook mooi dat jij, iedere keer als jij nu een mail krijgt van iemand en er staat het woord brief, dan lees jij prompt. Jazeker. Zeker.
35:15
En ik zat, die brief had ik dus en toen stond daar weer een linkje in naar de website van deze adverteerder die een speciale pagina heeft voor hoe ze, hoe podcasters over hun merk kunnen praten. Vond ik ook fascinerend.
35:26
Dus het bedrijf waar je dadelijk naar gaat luisteren heeft dan een pagina met hoe je als podcaster, eerst heel verhaal, een soort van we werken graag met je samen, want we vinden je content heel leuk.
35:36
Is die pagina publiek? Ja, die pagina is ook publiek. Fascinerend. Ja. Ja. En dan staan er allemaal tabjes met wat de argumenten kunnen zijn om deze service te gebruiken met verschillende doelgroepen.
35:48
Dus dan kies je je doelgroep uit en dan komt hij, op basis daarvan kiest hij aangepaste argumenten. Best wel goed allemaal. En nou, ik had dus veel documenten.
35:56
Ik had een e-mail, ik had een briefing en dan had ik een pagina bij die adverteerder en dan, dan zit ik handenwrijvend klaar zo van: dit ga ik allemaal in een prompt verwerken.
36:05
Dus dan is het, en, en, dan is het dus nou, we gaan een podcastreclame opnemen voor dit merk. Dit is de e-mail die ik van Dag en Nacht heb gehad. Plakken. Dit is de briefing die ik heb gehad van het, van het merk.
36:16
Plakken. Dit is de, de pagina van, van de, van hoe je met, hoe podcasters om moeten gaan met dat merk. Nou plak. Allemaal in één prompt gegooid en dat wordt dan een advertentie. En Wytse, daar ga je nu naar luisteren.
36:32
Even een bericht van onze sponsor. Zal ik een, ik ga, ik ga m'n, m'n reclamestem opzetten.Dit is dus door ChatGPT geschreven voor de helderheid.
36:40
In een wereld waar online privacy steeds belangrijker wordt, biedt NordVPN een essentiële dienst. Het is een VPN die zorgt voor de bescherming van je internetverbinding en je online anonimiteit.
36:51
NordVPN versleutelt je gegevens en verbergt je IP-adres, waardoor je zelfs op openbare wifi netwerken veilig kunt browsen. Oké, dan hebben we dat gehad. Waar komt deze movie voice vandaan? Het is gewoon eng.
37:03
Ja, dit, ja, dit, dit AI. Ik dacht echt: ben jij nu aan het lipsyncen met een audio file of- Nee, dit is een reclame, dit is een reclame, Wytse. En, uh, nou, maar NordVPN biedt niet alleen privacy.
37:16
Hier hoor je dat ChatGPT overgaat naar, uhm, naar de, de concrete argumenten voor onze doelgroep. Luister mee. Met meer dan 5.900 servers in zestig landen staat het garant voor snelheid en bereik.
37:28
En omdat ze in zoveel landen zitten, betekent dat ook onder andere dat je kan zien wat je favoriete streamingservices allemaal aanbieden als je ze vanaf een andere locatie bezoekt.
37:36
Ik hoop dat de luisteraar zich aangesproken voelt door deze doelgroepgerichte pro van deze VPN. Kijk dus Netflix vanuit Zuid-Korea.
37:46
Uh, en nog een tip: je krijgt soms betere deals als je je verbinding opzet vanuit bijvoorbeeld India. Dus dit is een secundair argument voor onze luisteraar. De doelgroep techneut.
37:56
Soms krijg je betere deals, uh, voor, voor bijvoorbeeld streamingservices als je ze opzet vanuit een ander land. Speciale actie: er is nu een tijdelijke actie voor luisteraars in Nederland.
38:08
Profiteer van deze aanbieding voor 9 januari. Ga naar nordvpn.com/pokie voor een tweejarig abonnement en krijg vier maanden extra gratis plus een amazon.nl cadeaubon tot €30.
38:20
Met een dertigdaagse geld-terug-garantie kun je zonder risico proberen. Ga naar nordvpn.com/pokie en dan gaan we nu door met de aflevering. Weet je waar dit me aan doet denken, is die, uh, van Bo Burnham.
38:32
Die heeft toen ze tijdens covid, uhm, uhm, i-, een show gedaan helemaal in één ruimte in zijn eentje en een van de onderdelen van die show is dat ie een, dan zie je op een gegeven moment ineens een reactievideo op die video.
38:46
[Niels lacht] Dus dan zie je hem re-, en dan, dan komt er een reactievideo op die reactievideo. Maar dat, het is zo meta. Zo fucking meta, ja.
38:53
Ja, maar hij gaat een soort van vijf levels diep volgens mij en dan gaat hij, nou, iedere keer is het, maar het is niet, het is niet alleen maar een reactie op de reactie, maar volgens mij een reactie op die twee items samen.
39:03
Dus het origineel en de reactie. [Niels lacht] Het is echt, en deze, deze sponsormessage, uh, gemaakt door ChatGPT. Het, het is, het is, ja, w-, het is lekker, uhm, een mixed of zo.
39:15
Maar het is toch wel, uh, eer-eerlijk gezegd, alle advertenties die ik nu moet inspreken laat ik dus schrijven door ChatGPT en dat werkt dus, werkt dus echt uitstekend.
39:23
Weet je wat nog een grappig ding is wat ik doe, wat, uh, de kwaliteit echt v-, uh, vergroot?
39:29
Ik heb dus een, a-, een, een artikel gelezen van iemand die vertelt hoe dat hij omgaat met ChatGPT als, als of het zijn intern is, zijn stagiair. En, uhm, dat is een soort van, uhm, soort van mentaal model.
39:44
Als je eenmaal dat in je achterhoofd houdt als je met ChatGPT praat, dan, uhm, het, het zorgt voor een aantal verschillende verbeteringen in, uh, in- Ook met een custom system card dan?
39:54
Nee, nee, nee, nee, gewoon in je hoofd met hoe je hem prompt. Ja. Dus, uh, een stagiair moet je meer context geven om iets uit te leggen, want hij heeft nog niet zoveel ervaring.
40:02
Om maar een voorbeeld te geven van, uh, hoe het verschilt ten opzichte van iemand met meer ervaring waar je meer voorkennis voor lief gaat nemen. En dat moet je hem dinges allemaal vertellen, vooral als een stagiair.
40:12
Ik was benieuwd, want we hebben het lang geleden gehad, uh, over Pi, de personal AI. Praat je daar nog- Soort ChatGPT, maar dan met meer persoonlijkheid, uh, zou je kunnen zeggen.
40:22
Ja, echt het idee is dat het iemand voor jou wordt. Mhmm. En, uh, die grote investering vanuit Microsoft zag ik. En die hebben nu een nieuw model getraind. Dat is een announcement van een announcement, dit ook.
40:36
Uhm, dat model kan je nog niet mee praten.
40:39
Maar misschien is mijn boodschap aan de luisteraar: test Pi, maar wacht ook nog even met testen of test hem weer over een maand, want ze hebben een gigantisch model getraind, dat getest en dat, dat presteert enorm.
40:51
Eentje om in de gaten te houden zou ik zeggen. En het, ik, ik heb er zelf dus één keer mee gespeeld, een drie weken geleden en toen was het het wel weer. Maar ik vind het wel boeiend dat, want
41:01
we hebben wel een, een soort, uhm, interessante, ja, hoe noem je dat, tunnelvisie ri-, op richting OpenAI. Uh, dat is een beetje een negatieve kijk erop, maar er gebeurt natuurlijk veel meer.
41:13
Je hebt natuurlijk Anthropic, wat een beetje de OpenAI B of zo voelt. Zo van: nou, als het daar dan nog misgaat, hebben we Anthropic nog of zo. Uhm, [schraapt keel] ook natuurlijk gesticht door ex-OpenAI werknemers. Maar
41:26
ondertussen is Google DeepMind, zoals het, uh, inmiddels heet. Het is natuurlijk, DeepMind is overgenomen, maar nu hebben ze eigenlijk helemaal gebrand als Google DeepMind. Die zijn gewoon hartstikke lekker bezig.
41:35
Die zijn van alles aan het maken. Ja. Ik heb voor mijn gevoel, je zou kunnen zeggen: joh, Google, doe meer aan je marketing. Of vinden ze het wel lekker dit?
41:43
Laat iedereen maar een beetje zo zorgen maken en een beetje bashen op, uh, ja, ik bedoel.
41:48
Ik heb het idee dat Google, uh, Google doet namelijk heel erg haar best om, uh, om soort van: kijk eens wat voor gave dingen wij maken.
41:54
Waarom, waarom verdwijnt het allemaal in een zwart pr-gat terwijl we zulke gave dingen doen?
41:59
Ja, dat, uiteindelijk heeft dat natuurlijk, uh, kan je dat, je hebt natuurlijk je marketing nodig en om je aandeelhouders blij te houden van: jullie zijn toch wel met AI bezig, anders verkoop ik mijn aandelen even zienis.
42:10
Uh, dan heb je je gebruikers die moeten weten dat, nou ja, weet ik eigenlijk niet of die gebruikers dat moeten weten, want ik- Tuurlijk wel, die moeten die shit gaan kopen.
42:17
Ja, of rol je het gewoon uit binnen je bestaande, uh, systemen, hè, want Bard wordt dan geïntegreerd in Google Docs en het is uiteindelijk gewoon de copilot van Google. Ja.
42:25
Dan zit je dat, ineens heb je een extra magic wand in jouw, uh, Google Drive interface. Uhm, maar ik was wel,
42:33
dat zijn een beetje nog dingetjes die ik, uh, uh, ik was even in DeepMind gedoken en we zijn eigenlijk, waarom heb ik het gevoel dat daar niet zoveel gebeurt?
42:40
En dat klopt niet, want, daar, daar is gewoon enorm, uh, brainpower ook binnen Google.
42:45
Hè, omdat ze er eigenlijk al hartstikke vroeg bij waren en grondleggers zijn van veel van de technologieën die nu voor OpenAI en, uh, Anthropic, uh- En wat viel je op?De
42:56
wat ze, wat zij wel knap doen, vind ik, daar zit gewoon een marketingafdeling op die dat knap doet, is dat zij op hun blog, dus het DeepMind blog, praten. Ze zijn een beetje.
43:05
Ik heb gewoon even er doorheen gescrold van oké, waar praten zij graag over? En dan is het of safety. Dus dan hebben ze allemaal blogs over ethical stuff. Of kijk, een toepassing van AI die goed is voor de mensheid.
43:17
Dat is een beetje hoe ze het afwisselen. Nou, wat hebben ze gepost recente? Dat is dat ze millions of new materials discovered with deep learning. Nou, dat gaat eigenlijk over
43:30
ja, material sciences, dus het maken van nieuwe legeringen als het gaat om metaal of het creëren van, in dit geval kristallen die je kan gebruiken in een zonnepaneel of een batterij. Oh ja. Kristalstructuren.
43:43
Inorganische kristalstructuren lees ik uit de blog. Die worden, wanneer je werkzaam bent in dat veld kan je bijvoorbeeld iemand zijn, een beetje zoals met die bakkie balls waar ik eerder over praatte.
43:54
Misschien is wel die kennis van mij waar ik toen bij die afstudeersessie was nu aan het luisteren en dan denken: ja, nou begin ik te begrijpen wat ik voor vets aan het doen was, want AI kan dat nu ook. Maar, ehm,
44:05
daar is het idee eigenlijk dat je, als je dat als mens doet, ben je in een laboratorium een carrière lang, een leven lang meerdere generaties bezig om een metaal te vinden dat sterker, lichter, eh, makkelijker te maken, beter tegen hitte kan, noem maar op.
44:18
Want dan kan je auto's bouwen die een, en veilig zijn en licht, dus elektrisch, meer range.
44:24
Dit, bij material sciences kan je echt heel, met hele korte stap naar de realiteit toe of naar de, naar de dagelijkse realiteit merk ik. Dus dat is heel chill. Of, hé, een zonnepaneel met vijf procent meer efficiëntie.
44:35
Nou, als je dan een heel dak hebt vol liggen van je universiteit, vijf procent is dan ineens gigantisch veel. Die kan je niet ineens uploaden naar die zonnepanelen. Die moeten er allemaal weer af en er weer op.
44:44
Maar, hè, de, dat geeft wel aan dat je met procenten hele interessante dingen kan doen. Maar het is best wel, net als eigenlijk in de wereld van medicijnen.
44:54
Ja, je gaat wel onderzoek doen naar iets waar wel potentieel iets interessants mee kan gebeuren.
44:58
Dat je eigenlijk ook al aan je investeerder, of dat nou intern is of extern, kan uitleggen: ja, dit is eigenlijk een kristalstructuur, die wordt al gebruikt in zonnepanelen.
45:07
We gaan die bestaande structuur aanpassen als mensen en dan krijgen we misschien wel vijf procent meer uit een zonnepaneel. En jullie kunnen gewoon ongeveer dezelfde kristallen gebruiken. Ik noem maar even wat.
45:16
Dus dat is een laag risico op basis van bestaand, uh, materiaal wat je gaat upgraden of aanpassen of tweaken. Er is minder geld en tijd beschikbaar om hele radicaal nieuwe structuren te gaan maken.
45:30
Want ja, dat, dat kan je eigenlijk niet uitleggen. Dus wat je nu ziet is dat het, dat wat er uitgevonden wordt door mensen in laboratoria is vrij dicht bij, bij wat we al weten.
45:40
Want lage risico's en de toepassingen weten we al, dus je blijft altijd in een soort van, ja, uh, niet te ver van de, van de planeet af, zeg maar, in de, of niet te ver van het, van, van, van het materiaal af blijf je een beetje experimenteren.
45:55
En het kan zomaar acht of twintig jaar kosten voordat jij één tweak hebt gedaan. Omdat het, je moet het allemaal gaan testen in het lab. Dat moet je dan weer opnieuw doen en opnieuw en opnieuw. Heel erg arbeidsintensief.
46:06
En wat ze nu voor elkaar hebben, uh, bij DeepMind is dat ze zeggen: nou, we gaan én op zoek naar nieuwe structuren in de breedste zin van het woord, in dit geval wel in organische kristalstructuren, begrijp ik. Ehm,
46:23
die kunnen we niet alleen maar bedenken met AI, maar ook simuleren. Want het is leuk dat je ze bedenkt.
46:27
Dan kan je een op, kan je een hele grote stapel bij iemand op zijn bureau leggen en zeggen: nou, hier 600.000, succes! Dat werkt eigenlijk niet. M-hm. Het bedenken is ook niet per se het probleem.
46:37
Het is eigenlijk het simuleren van en dan kandidaten kiezen die potentieel interessant zijn. Nou, wat hebben ze gebouwd? Iets wat een gigantische hoeveelheid nieuwe structuren kan bedenken. Een algoritme.
46:49
Dan een algoritme die door een gigantische hoeveelheid structuren heen kan om potentieel interessante structuren te herkennen, uh, door ze alvast te simuleren en te zeggen: nee, dit gaat nooit werken.
46:59
In dit geval gaat het om stabiliteit, hè, iets, een materiaal moet wel heel blijven. Heel, als in: dat moet aan elkaar blijven plakken op, uh, atomair niveau, zeg maar, anders heb je niks. Dan is het niet stabiel genoeg.
47:09
Het moet eigenlijk stabiel zijn bij kamertemperatuur, het liefst.
47:12
Dus, ehm, dit kan én een hele grote waaier aan ideeën, dan door die waaier heen filteren naar potentieel interessante, om met een heel klein lijstje over te blijven die dan naar het laboratorium kan en zeggen: hier moeten jullie eens naar kijken.
47:26
M-hm.
47:26
En, uh, het mooie ervan is dat het, dat vind ik dus wel vet aan DeepMind, dat ze dan zeggen: oké, als we dat blog publiceren, dan hebben we ook meteen een paper in, in Nature erbij en kunnen we laten zien dat er echte nieuwe materialen mee gemaakt zijn.
47:41
Niet alleen maar mogelijk, mogelijk, potentieel. En, ehm, daarbij zit ook een mooie afbeelding bij. Ik had het net over die planeet.
47:49
Ik had helemaal niet gezien dat er ook ongeveer een planeet afbeelding bij zit, maar die gaat heel erg over, oké, op het moment dat je dus verder weg gaat zoeken van je bestaande...
48:00
D-d-de aanname is een beetje zoals dat wel vaker in het leven is. De oplossing ligt niet per se dicht bij je probleem, zeg maar. Uh, dat klinkt even heel, heel, heel, s-, tegeltje dit. Het is ook een beetje een tegel.
48:12
Hij hangt niet op mijn wc, maar ik zou hem op kunnen, op.
48:15
Als jij een beetje in de buurt van je huidige probleem gaat zoeken naar de oplossing, dan is het waarschijnlijk niet de oplossing, maar een kleine aanpassing op je probleem, zeg maar.
48:23
Echte oplossingen liggen vaak op een radicaal andere plek of, hè, moeten komen uit een hele andere hoek dan je nooit had bedacht. En
48:30
wat dit algoritme kan, omdat je het uiteindelijk gewoon met heel veel compute helemaal los kan laten gaan en terug kan laten filteren naar een lijst die werkbaar is voor een groep researchers die nog mensen zijn.
48:41
Kan je dus echt helemaal de breedte in gaan in, in, nou ja, er zat voor mij letterlijk in als voorbeeld: wat 800 jaar zou duren, doen we in acht minuten.
48:50
En dan kan, dat kun, het is allemaal een beetje marketingspeak natuurlijk, maar ik vind het wel, uh, boeiend.
48:55
Want ja, AI, uh, of algoritme, want in dat opzicht is het natuurlijk niet nieuw, ingezet om te zeggen van: okéWe gaan eventjes heel erg de breedte in, dus we gaan verbreden en versnellen en vervolgens komt er een lijstje uit en die komt gewoon weer op tafel te liggen bij die mensen die het toch al aan het doen waren.
49:12
Ja, uh, ik zie daar niet zo heel veel op tegen. Dat klinkt te gek. Wat kwam je nog meer tegen bij Bard waar je, waar je verbaasd van was? Nou, waar ik verbaasd van ben, is dat het zo lang geduurd heeft.
49:22
Uhm, maar dat is misschien een stukje naïviteit aan mijn kant wat de serverinfrastructuur is die je hiervoor nodig hebt.
49:28
Maar, uhm, we hebben het wel eens eerder gehad over het minen, uh, knowledge minen van, uh, YouTube video's. YouTube, het vir-- het visuele internet zoals ik het graag noem.
49:38
Ja, als in Google heeft een interessante potentiële voorsprong ten opzichte van OpenAI en anderen omdat zij YouTube in bezit hebben en daarmee kunnen trainen. Ja, onder andere YouTube in bezit hebben.
49:50
Want trainen op de data die ze eigenlijk uit Google hebben, l-lijkt ook nog niet in productie te zijn, maar laten we het inderdaad bij YouTube houden.
49:58
Uhm, wat je nu kan, en dat is eigenlijk best voor de hand liggend, daarom ben ik dus verbaasd dat het even geduurd heeft.
50:05
Maar op het moment dat jij een vraag stelt en zegt: joh, ik ben op zoek naar een recept voor, uh, uh, een lekkere pasta pesto [lacht] Italiaanse stijl, dan zegt ie: nou, hier heb ik een leuke video voor je gevonden.
50:19
Ga maar kijken. Mhmm. Dat kon ie al. En nu kan je dan zeggen: ja, oké, wat zijn de ingrediënten die worden genoemd in die video? Juist. En dan zegt hij: oh, dat, dit zijn de ingrediënten. Superchill.
50:29
Ja, superchill, maar dat lijkt gedaan te worden op basis van transcripts. Terwijl waar ik op wacht, is, ik, dat je zegt: hoeveel zout moet erin? En dat er wordt gekeken in de video hoeveel zout die persoon pakt. Visueel.
50:44
[lacht] Ja, natuurlijk. Nee, maar dat is echt knowledge minen. Oké, ja. Want de transcripts minen, dat is nu stap één, denk ik. Ja.
50:51
Daar, daar kunnen we al heel veel informatie uit onttrekken die tot nu toe nog niet-- net als podcasts kan je ook minen op die manier. Mhmm, mhmm. Maar het, het daadwerkelijk gaan minen van wat er visueel gebeurt.
51:01
Ja, dan wordt het, [schraapt keel] dan ben ik, uh, enthousiast en nieuwsgierig van: oké, ja, kan je dan, uh, uh, ja, wat, de, de, de, als het alleen al gaat om dansen of waar we al eens eerder, repareren van auto's of.
51:15
Ja. Ja, en ik vind het, e-, het kookvoorbeeld altijd leuk omdat daar wat best wel wat non-verbale informatie in zit van: ja, oké, uh, hoe lang moet je die pasta dan, uh, uh, de, de, de, de, de pan er nog op houden?
51:26
Hoe lang moet je het laten ademen? Dat, dat kan je alleen maar timen door te weten: pan is eraf, pan is erop en die tijd te hebben. En dit is- Een rare kookvideo waar je naar zit te kijken. Ja, dat is het. In real time.
51:36
Maar goed, ik snap, ik snap de metafoor. Ja, nee, en ik denk: eigenlijk moet je dan dus allemaal kookvideo's, gaan hopen dat er mensen zijn die niet alles filmen [lacht]. Dat is wat jij punkt. Trainen. Ja, ja, ja. Maar
51:48
ik denk in dat opzicht dat er, uh, ik vind het, ik vind het dus grappig om te zien als ik, ik heb er zelf nu een beetje mee gespeeld met Bard plus de YouTube extensions, want zij noemen ze dan extension.
51:58
Voor mij is het bij ChatGPT apps of add-ins. Geen idee, maar. Plugins. Plugins. Nou, dat zijn bij, bij, uh, Bard, uh, de ChatGPT van Google zijn dat nog extensions.
52:08
En dat de YouTube extension gewoon net even wat slimmer is. Het voelt nog heel erg aan elkaar geplakt met plakband, maar als ik er een- Maar dit kan nu, je kan nu- Ja.
52:16
Op, er is een chat, chatfunctie bij YouTube video's, or, or, van, van Google. Nee, nog niet in de YouTube interface. Je moet naar Bard gaan met een d. Oké. En dan in hun ChatGPT-achtige interface praten. Ja.
52:27
Dan kijken of je een YouTube antwoord krijgt. Misschien, waarschijnlijk kan je ook wel zeggen: ik wil, ik wil alleen maar antwoord in YouTube video's en dan vragen stellen over die video.
52:36
Kan je een link sturen van een YouTube video? Uh, weet ik niet. Heb ik niet getest. Goeie. Zou natuurlijk wel spannend zijn, want dan,
52:44
uhm, wat, wat ik echt wel vaak heb is dat ik talks, talks, uh, op YouTube of langere interviews waarvan ik zie dat het een uur duurt en dan is de kans echt nul dat ik die ga kijken op het moment dat ik hem tegenkom.
52:55
Dus dan plak ik hem in een soort van read it later laje, uh, lijstje waar ik ook nooit meer naar ga kijken. En terwijl als ik,
53:03
uhm, als ik zou kunnen chatten met de video zou wel echt heel chill zijn, want dan kan ik gewoon vragen naar de dingen waarvan ik denk dat die relevant zijn voor mij en er actief naar vragen.
53:12
Dit sluit denk ik wel mooi aan op wat we een aantal zinnen eerder zeiden, is, uhm, ja, sluit, hoe zeg je dat? Onderschat Google niet. Ja.
53:22
Want op het moment dat, dat jij in YouTube zit en je typt in die grote search bar waar je gewend in te typen bent en daar ontstaat ineens een magic wand. Misschien is er niet eens een extra interface, het gebeurt gewoon.
53:32
Ja, dan zeg maar dat, die AI sprinkelen over je bestaande tools die al zoveel gebruikers hebben.
53:39
Ik denk dat daarin, uh, ja, ik zou, ik, e-, ja, als ik, uh, uh, hogerop bij Google zat, zou m'n, zou ik denken vooral: ik zou niet zor-, ik zou me bijna geen zorgen maken, want je hebt DeepMind in huis.
53:52
Je hebt al die data, je hebt alle gebruikers nog, all good. Je groeit waarschijnlijk nog steeds.
53:56
Ik zou alleen gefrustreerd zijn van: jongens, [lacht] maar is het, is het op deze schaal inderdaad zo moeilijk om de eerste, uh, kleine stapjes richting deze technologie al te doen? Ja.
54:08
En dat is dus nu dit stapje van de YouTube extensie in Bard, wat volgens mij bijna niemand gebruikt, maar dat is een aanname, uh, kan nu door de transcripts heen zoeken en daar antwoorden op bepalen.
54:20
Ik merkte dus toen ik het kon doen dat ik dacht: oeh, maar dit is wel echt heel erg interessant. Een ander, uh, interessant iets, en dat was al
54:29
langsgekomen een aantal maanden geleden omdat mensen gewoon met ChatGPT aan het spelen waren en, uh, je kon bijvoorbeeld, dan zei je, uhm: herhaal het woord aardbei voor altijd en dan ging dat voor altijd [gelach] aardbei onthouden.
54:43
Ja.
54:43
Alleen er zit een, er zit iets in, uh, die taalmodellen, da-dat heet de temperatuur en als je die temperatuur opschroeft, dan heb je wat meer kans op chaos in- Ja...in het denken, zeg maar, want dan wordt er wat willekeur toegevoegd.
54:58
Uh, dan, dan gaat hij wat meer risico's nemen in zijn gokjes van woorden. Nou, wat, dit, en dit is, uh, de theorie voor waarom dit gebeurt. Als je dus aardbei vraagt, zegt: oké, herhaal heel vaak het woord aardbei.
55:11
Dan op een gegeven momentNa honderd keer of na tweehonderd keer stopt hij met het woord aardbei zeggen [gniffelt] en dan begint hij ineens met het uitspugen van training data, wat heel bizar is. Oké.
55:23
En dat, dat schijnt te komen omdat hij dus op dat moment, kijk, de meest gunstige gok van wat komt er na het woord aardbei als jij honderd keer aardbei of oneindig veel aardbei zegt, is aardbei.
55:33
Dus dan zegt hij ook aardbei, aardbei, aardbei, aardbei, aardbei, aardbei, aardbei.
55:36
Maar op een gegeven moment, door die temperatuur en die kleine randomness, valt een keer die knikker anders en dan zegt hij ineens, uh, Amsterdam.
55:44
En dan, nou, dat begint dan toevallig met een A, maar dat maakt geen reet uit. Dan zegt hij- Maar daarna is het hek van de dam. Dan is het hek letterlijk van de dam.
55:50
En, uh, maar waarop is hij dan aan het riffen, zeg maar? Waarop gaat dan de, de inspiratie verder? Niet op de prompt, want die is weg. Ja. Want het was het woord aardbei herhalen. Ja.
56:01
En dan gaat hij dus, en wat er nu gebeurt, uh, is dat hij, uh, in ieder geval, uh, GPT gaat dan, uh, rauwe trainingsdata uitspugen. Wat is dat dan? Nou, dat verbaasde mij wel.
56:14
Want, d-dit, want, en ik kan meteen naar de volgende stap gaan waarom dit best wel implicaties kan hebben. Ik ben geen jurist, maar kan hebben. Uhm, het verhaal is met image gens, maar ook met taalmodellen.
56:28
De originele data zit er niet meer in. Dat ding is getraind en na het trainen maakt ie derivatives zoals we dat noemen, maar nooit het origineel. En dat is de reden waarom heel veel copyrightzaken nu verloren worden.
56:43
Want je kan wel zeggen: ja, hij maakt iets wat lijkt op iets van Van Gogh. En dan vraagt de rechter: oké, kan je me tonen in de data waar de schilderijen van Van Gogh zitten? En dan: nee. Oh ja, dat kan niet.
56:52
Oh, nou geen probleem. Ja, dat ding is getraind op die schilderijen, maar ze zitten er niet meer in, dus d'r is niks gekopieerd. Er is niks- Het enige wat nog in die data zit is een soort samenvatting of zo. Ja.
57:02
En daar zit geen, daar zou je kunnen zeggen: daar zit geen copyright op. Ja, want dan heb je dus niet meer een kopie, maar derivatives. En daar zijn allemaal wetgeving rondom met remixen en dat soort dingen.
57:11
Dan kan je nog misschien wel met samplen moeten betalen of zo, maar een sample is nog steeds wel overduidelijk een stukje uit een origineel werk.
57:18
Dus dat is een heel klein maar wel een één-op-één kopietje, versneld of zo als het om muziek gaat. Ja. Dus heel veel van die zaken, tot nu toe die lopen, die worden verloren.
57:26
Want ja, sorry, dit ding heeft net als een mens geïnspireerd op, maar heeft niet jouw letterlijke boek erin zitten.
57:33
Maar nu begint, uh, beginnen die taalmodellen dus wel trainingsdata uit te spoegen, spugen met, dat is het meest, uh, saillante detail, dingen erin als copyright 2019. [lacht] Ja, letterlijk, zeg maar. Dus dat.
57:49
En dan, dan kan je natuurlijk zeggen: oké, is dat dan gehallucineerd?
57:51
Dus nu zijn, is er, is er allemaal, want waar ik nu over praat is een research paper die uitgekom-, uitgekomen is omdat onderzoekers hadden gezien dat mensen die lekker aan het prompt hacken zijn en aan het proberen te jailbreaken dit waren tegengekomen maanden geleden.
58:04
En zij dachten: maar wacht, wat? Ten, ten eerste: kunnen we het repliceren? Ja. Oké, hoe kunnen we het constant repliceren? Oké, wat gebeurt er eigenlijk?
58:13
En nu, uh, wat, wat kunnen we, wat kunnen we nu eigenlijk hiermee?
58:17
En dat is dus echt superboeiend, want, uh, er staat letterlijk in, uh, in het artikel van: oké, het is ons gelukt om, uh, several megabytes of ChatGPT's training data, uh, te extracten.
58:30
Dus ze laten ook gewoon zien van: ja, het lukt ons gewoon om, uh- Wat relevant is, want megabytes aan tekst, dan heb je wel een hoop tekst. Ja, tekst is het heel erg veel.
58:37
Er zit bijvoorbeeld ook in de paper, uh, uh, laten ze zien van: ja, we hebben een afbeelding waar we van weten dat hij uit de trainingsset komt, dus het gaat ook om visueel. Oké.
58:47
En dan laten ze daarna zeggen: oké, nu hebben we iets gegenerate en dan laten ze zien dat er eigenlijk heel weinig verschil is tussen het origineel en wat gegenerate is. Mm-hmm.
58:57
Ja, uhm, ik zou bij, ja, als jurist bij OpenAI wel zenuwen krijgen nu van: ja, shit, wacht even, nu gaan onze argumenten wel vallen in de zaal. Ja, ja.
59:09
Want ja, als je er wel gewoon een, uh, pagina uit kan halen van een sciencefictionboek, woord voor woord, dan zitten we toch op een ander level. Ik had het niet verwacht, want ik, ik, ik vind het, uhm,
59:21
ik dacht: die taalmodellen zijn zo klein in verhouding. Ik bedoel, GPT is, uh, honderd terabyte minimaal.
59:28
Weet ik helemaal niet, maar wat ik zelf kan downloaden, zo'n Llama 2 met 7 miljoen, uh, miljard parameters is vier gigabyte. Ik had niet verwacht dat daar daadwerkelijke zinnen uit artikelen- Ja.
59:39
Uh, ja, zo in staan, één op één zeg maar. Ja. Dus we zit, ja, het is een, uhm,
59:45
en het is natuurlijk, uiteindelijk heb je gewoon bewijs nodig als je een claim maakt en dit zou zomaar tot bewijs, dit gaat 100% gebruikt worden om, om te kijken of het lukt. We gaan zien of dat lukt. Zeer interessant.
59:57
Hij zit weer op iets, hè? Hij is weer klaar. Hij is weer klaar. Poké is weer klaar. Volgende week zijn we er weer met weer een advertentie van NordVPN. Ik zie er nu al naar uit. Ik ook. [lacht] Om die te prompten. Ja.
1:00:09
Moet je weer iets creatiefs verzinnen. Indrukwekkend. Oh ja, nee, dat was, ja, dank je. Uh, en, uhm, ja, tot volgende week. Tot volgende week. Dag. Doeg. [outro jingle]