Latest / AI Report / Man wint rechtszaak met ChatGPT + AI attackdrone + je krijgt oneindig geheugen dankzij AI | ✨ Poki S03E14

Transcript

Man wint rechtszaak met ChatGPT + AI attackdrone + je krijgt oneindig geheugen dankzij AI | ✨ Poki S03E14 · AI Report

0:00
[wekkerrinkel] Oh! Oh. Zo klinken 165.000 scheerbewegingen per minuut die je helpen om fris voor de dag te komen.
0:10
De flexibele scheerkop van de Philips S9000 Prestige volgt de contouren van je gezicht en scheert tot op nul millimeter van je huid.
0:18
Ervaar een ultiem gladde en comfortabele scheerbeurt, ook wanneer je nog niet helemaal wakker bent. Want dankzij de slimme sensoren past het scheerapparaat zich helemaal aan jou aan.
0:29
Zo kun jij nog extra genieten van je kopje koffie voor je de deur uit gaat. De Philips S9000 Prestige is het ideale scheerapparaat om jouw dag goed mee te beginnen.
0:40
Koop de Philips S9000 Prestige bij jouw favoriete winkel. Koffietijd voor mannen. De podcast waarin drie onbezonnen gasten je wekelijks een kijkje geven in hun zinderende studentenleven.
0:51
We gaan geen onderwerp uit de weg en helpen je op het gebied van liefde. Zou je huilen tijdens de seks een, een, een afknapper vinden? Vriendschap en alle andere problemen die je tegenkomt in je studentenleven.
1:00
Ze miste een beetje vo. [gelach] Elke maandag om 3.00 uur sharp op je favoriete podcastplatform. Ik heb met zoveel meiden getongd en met vier verschillende. Ik zo bram, dat was vier keer dezelfde.
1:14
[gelach] We luisteren deze podcast op eigen risico. Welkom bij Poki, de Nederlandse podcast over kunstmatige intelligentie waar we uitzoeken welke invloed AI gaat hebben op ons werk, ons leven en de samenleving.
1:27
Tegenover mij zit Wytse Hagen. Goedemiddag. Goedemiddag Wytse. In het nieuws in Amerika was er iemand zo slim om zijn huurcontract eens door ChatGPT te halen. En wat bleek? De huisbaas deed iets wat helemaal niet mocht.
1:39
Conclusie de rechter wees deze persoon $ 1.000 schadevergoeding toe. We hebben, we hebben het erover.
1:45
Amazon lanceert het huismerk onder de taalmodellen, zeg maar de Amazon Basic versie van ChatGPT voor zakelijke klanten en Apple gebruikt het stiekem al op de achtergrond en wij analyseren het.
1:54
Er is een Europese AI-startup die bekend heeft gemaakt dat ze AI-attack drones, AI-attack drones hebben vliegen in Oekraïne en ze maken nu bekend dat andere landen die ook kunnen kopen. Gezellig. Gezellig.
2:07
Misschien iets voor jou, Wytse. En we hebben het de hele tijd over steeds grotere trainingsdata voor taalmodellen.
2:12
Taalmodellen worden steeds groter, maar daarmee is onderbelicht wat relevant is voor ons allemaal, denk ik, namelijk het steeds groter wordende context window.
2:19
En dat betekent in de praktijk een vrijwel oneindig geheugen voor jezelf, maar zelfs ook de mogelijkheid dat je het geheugen van andere mensen kunt gaan raadplegen. Wat dat betekent, doet ons hoofd tollen.
2:32
Dat en meer bij Poki. Veel plezier!
2:42
[muziek] Ik was vorige week voor een lezing bij, uh, een grote verzekeraar en die vertelde wat ze allemaal met, uh, met AI-agents doen. Dat vond ik toch vet.
2:55
Ik kom zelden bedrijven tegen die, ik praat veel over AI, maar dat is meestal bedrijven die niet heel veel zelf doen met AI. En dit was een bedrijf die dat duidelijk wel deed
3:06
en die hadden allemaal agents die hele delen van dat schadeproces, uh, met agents oplossen.
3:14
Dus dat dan op een formulier, uh, een datum gematcht moet worden met de geboortedatum op het rijbewijs bijvoorbeeld, is dan een agent die op de achtergrond draait. En zo zijn er talloze.
3:25
En als al die agents een groen vinkje geven, dan zeggen ze de schade kan uitbetaald worden en dat kan dan op termijn zelfs binnen een paar seconden. Maar dat is dan ook nog een, een groepje van.
3:35
Dus er moet een soort consensus zijn tussen die agents. Precies. Grappig, hè? Ja, ik moet zeggen dat het mij ook wel opvalt dat er best wel wat AI-squad teams en dat soort, uh, teams binnen bedrijven zijn.
3:45
Het onderwerp wordt wel serieus genomen, laat ik het zo zeggen. Ja, ja. Het is op de ene plek wat meer dan de andere plek, maar er is die urgentie. Ik deed mijn lezingen anderhalf jaar geleden heel erg over urgentie. Ja.
3:56
Dat woord kan er eigenlijk een beetje uit inmiddels.
3:58
Ja, dat is er wel, maar die, uh, dat, dat valt me ook op dat het op, dat op, in die kant van het bedrijfsproces is, want dat is dan de kern van een verzekeraar is natuurlijk verzekeringen uitbetalen.
4:08
En, uhm, ik had verwacht dat ze als bedrijven zeggen we doen heel veel met AI, dan heb ik, heb ik altijd het idee dat een beetje een soort van Klarna-effect, namelijk dat marketing en sales, uh, en klantenservice, uh, heel, heel erg of zeg maar grotendeels geautomatiseerd worden.
4:24
Maar dat is niet de kern van het bedrijfsproces natuurlijk. En dat is bij Klarna ook niet het geval.
4:28
En ik zag, ik zag zo'n artikel dat zij, als Klarna nou heel goed zou zijn in AI toepassen in de kern van hun bedrijf, namelijk gewoon een leen, leningboer zijn, dan hadden ze dat van de daken geschreeuwd.
4:39
En dat doen ze niet. In plaats daarvan hebben ze het alleen maar over marketingdingen, marketingassets maken en klantenservice optimaliseren met botjes. Ja, content genereren.
4:48
Ja, dus dat is niet de kern van het bedrijf, zeg maar. Dus de- Maar zou het niet zou kunnen zijn dat, uhm, iets meer cynisch, maar dat wat agents genoemd wordt eigenlijk algoritmen zijn, maar dan met een nieuw jasje?
5:01
Ik bedoel, uh, ik kan me ook voorstellen dat er werd al grote analyse gedaan op grote datasets op basis van, uh, verschillende eisen en daar draaide dan een algoritme op. Ja.
5:11
Dat, dat die algoritmes nu ge-, rebranded zijn naar agents. Nou, het klonk, dit, dit. Klonk wel serieus. Ja, nee, dit was niet dat. Nee. Nee. Ik ga er niet te veel over zeggen. Nee, snap ik. Maar.
5:21
Uh, we gaan naar het nieuws.
5:23
Uh, ik denk het grootste nieuws, uh, deze week was, uh, in de Verenigde Staten waar een huurder een met succes een rechtszaak heeft gewonnen tegen zijn huisbaas met behulp van ChatGPT als juridisch adviseur.
5:33
Hier beginnen we even mee, Wytse. Dit is een verhuurder die een onrechtmatig hoge borg van meer dan € 2.100 had geëist, terwijl de maandelijkse huur € 1.400, uh, be-bedroeg.
5:43
Wat deze slimme man had gedaan, deze huurder, is het huurcontract in ChatGPT vra, uh, ze-zeg, zetten en dan vragen: help mij hierbij. Best wel brede vraag.
5:53
Toen kwam dat ding met een, uh, artikel uit een lokale wet in die buurt, uh, die in 2019Is gekomen, die wet. Die zat in de trainingsdata. Die zat in de trainingsdata en daarmee identificeerde die, uh, ja, uh, die fout.
6:08
Want je mag namelijk maar één, één maand huur vragen in die, uhm, in die regio. En dat had deze verhuurder dus niet gedaan. Dus de rechtbank kende uiteindelijk de huurder $ 1.180 toe. Wietse.
6:19
En daar stond een enorme, uh, thread over op Reddit en daar gingen mensen zeggen: ja, je moet, dit kan je doen, het werkt best wel goed, maar je moet niet helemaal vertrouwen op ChatGPT. Nou, oké.
6:29
En w-wat ze erbij deden, was wel een handige tip.
6:30
Ze zeggen: je moet gewoon naar een advocaat gaan die je per uur betaalt en dan doe je gewoon, uhm, dan, dan vraag je van tevoren met expliciet verzoek: ik wil één uur van jou kopen en dan ga je gewoon alles wat je met ChatGPT hebt voorbereid, ga je dan aan die advocaat vertellen en vertellen: wat klopt hier niet?
6:45
Ja, je komt beslagen ten ijs. Ja, je komt echt beslagen ten ijs. Je zegt gewoon: ik ga één uur van een advocaat afnemen. En toen dacht ik: ha, het is grappig.
6:52
Ik, ik kan me best voorstellen dat dit— ik bedoel, ik heb laatst ook bezwaar gemaakt tegen iets in mijn buurt en dan, re-, dan hoor je hoeveel uur een advocaat denkt nodig te gaan hebben daarvoor. Dan denk je: ja, dag.
7:03
En, dus ook de neiging om dat helemaal voor te bereiden en dan te laten checken door een advocaat. Ik denk dat hier een model in zit.
7:09
Nou, je hoort eigenlijk, het is een combinatie van een, een voorbereiding samen met AI en dan de opdracht timeboxen. Ja, ja, ja. En je hebt een uur. Nou, grappig toch? Ja.
7:21
[muziek] Amazon, dat is het echte nieuws van deze week, uh, heeft een eigen familie van taalmodellen gelanceerd. Uh, tekst, beeld en video. Vier modellen, van een klein eenvoudig model tot een groot en krachtig model.
7:34
En, uh, dat gaat dan over tekst. En dan zijn er daarnaast ook nog twee mediamodellen. Eentje heet Nova Canvas voor het creëren van afbeeldingen en Nova Reel voor het maken van korte video's.
7:44
Uhm, het indrukwekkendste model van deze allemaal, het, het krachtigste taalmodel, komt volgend jaar beschikbaar.
7:50
En ze zeggen: het kan grote hoeveelheden data verwerken, tot wel 225.000 woorden of 30 minuten video in één keer.
7:59
Ja, het maffe is, ik had een beetje zitten zoeken, want dit was dan wel best nieuws, want het is een grote partij. Diepe investering.
8:04
Amazon is vaak wel, uh, goed, die hebben genoeg kennis en hardware om iets bruuts neer te zetten. Ik kreeg een beetje de eerste reacties op wat dan, uh, mogelijk zou moeten zijn. Een soort Amazon Basics idee.
8:16
Namelijk, wat Amazon vaak doet, is de producten die zeer populair zijn, bluetooth speakers, noem maar wat, daar dan ook een Amazon Basics versie van uitbrengen. Ja, huismerkspul.
8:24
Ja, dan snoepen ze van twee walletjes natuurlijk. En als iemand statistieken heeft op wat de consument wil, is het Amazon zelf. Ja, ja, ja, ja. Dus die gaan gewoon producten maken die ze zien dat ze groot worden [slikt]
8:33
of al groot zijn. Het voelde, het grapje was een beetje, is niet mijn grapje, maar dat het een beetje de Amazon Basics van het, van het taalmodel is. Het was zo vet geweest als ze dit gewoon hadden gedaan. Amazon Basics.
8:42
[lacht] Amazon Basic één. Ja. Ja, ja, B1 en dan staat er stiekem voor Basic. Ik zou, zij zouden mijn hart gewonnen hebben. Maar oké, is niet gebeurd.
8:50
Nee, en wat opviel is dat er geen audio is, want je zei net in één regel tekst, beeld en video. Maar er is dus geen audio. Ja.
8:56
Dat is best een dingetje, want, ja, Whisper is een van de beste, mooiste toepassingen die OpenAI ook nog vrijgegeven heeft zelf, zelfs.
9:03
Maar goed, ik kan me ook wel voorstellen dat de eerste versie hiervan— ik bedoel, het feit dat ze een cirkel rond hebben gekregen, dat ze het uitrollen. Het is allemaal binnen Bedrock beschikbaar.
9:10
Het is Amazons Azure, zeg maar. Daar kan je straks gewoon zeggen: joh, uh, ik wil niet, uh, zoveel tokens betalen aan OpenAI. Doe mij maar die Amazon Basics versie, uh, voor de helft, want dit is een prijsvechter.
9:20
Ja, want dit is natuurlijk het ding: mensen gebruiken AWS om hun, uh- Exact...hun software op te hosten.
9:26
En dan is het idee dat je bij AWS heel makkelijk kan zeggen: nou, als het dit kost, dan doe maar Amazon Basic, want nu gebruik ik Claude en is het een dropdown die je verandert en dan heb je opeens heel veel korting.
9:36
Want Amazon heeft geen OpenAI, maar die heeft wel een deal met Anthropic. Ja. En dan zit in die dropdown straks ook hun eigen taalmodel. Dat is gewoon slim. Voor minder. Ja, ja, ja.
9:45
Uhm, wat ze ook zeggen is dat ze minder afhankelijk proberen te worden van Nvidia, uh, door eigen chips te maken.
9:54
Dat hebben ze ook aangekondigd, dat ze eigen chips, uh, maken en dat onder andere Anthropic die chips, deze specifieke chips, vorige week hadden we het er al even over, ook echt gaat gebruiken.
10:02
Uhm, en ze zeggen dat Apple heeft, uh, Apple heeft dus nu, die kwam, er kwam ook een dude van Apple, van Apple Intelligence, kwam het podium op tijdens een AWS Keynote. En dat is toch altijd een opvallend moment. Zeker.
10:14
Mensen van Apple komen niet opdagen op je feestje. Nee, je moet naar hen toe. Hier is een deal gesloten [lacht] op de achtergrond. Nou, laat zich natuurlijk raden wat voor deal dat is. Dat weten we natuurlijk niet.
10:23
Maar, ja, dit zijn allemaal schimmige deals op de achtergrond. Of schimmig? Nou ja, het zijn allemaal, uh, deals op de achtergrond, zoals dat Apple TV+ ook in Amazon Prime Video is gekomen.
10:32
Dus weet je, dit soort handjeklap zal wel- Ja...gegaan zijn op de achtergrond. Misschien krijgen ze gewoon korting. En het idee is dat, uhm, ze denken dat ze 50% kunnen besparen met hun eigen chips.
10:43
En Nvidia, zegt de CEO van Amazon, zal waarschijnlijk nog lang dominant blijven met 99% van de workload. Maar hij hoopt dat Amazon T-tranium, Trainium chips een goede niche kunnen veroveren voor specifieke toepassingen.
10:56
De omzet uit AI-diensten groeit volgens AWS met meer dan 100% per jaar en de Financial Times constateerde dat dit de, uh, strijd is die Amazon op dit moment aangaat met vooral Microsoft.
11:08
Ja, wat ik me dan nog kan voorstellen, is, da's eigenlijk omdat we het al even over Apple hadden, uh, wat Apple gedaan heeft met hun eigen chips, hè, wat een ARM-chip is met allemaal Apple-magie eromheen, de M-series en de A-series in de iPhones, is dat eigenlijk de programmeertaal Swift, die ze het liefst g-hebben dat jij gebruikt als ontwikkelaar, dat Swift is ontwikkeld met die chip in gedachten en die chip ontwikkeld is met Swift in gedachten.
11:31
Dat ik me ook kan voorstellen dat deze modellen van Amazon ontwikkeld worden met de chip in gedachten en de chips worden gemaakt in, uh, met het model in gedachten. Klinkt toch niet zo basic dan. Toch niet zo basic. Hmm.
11:41
[muziek]Er is een Europees AI bedrijf dat heet Helsing. Ik weet niet of jij weet wat zij maken. Ze maken attack drones. Gezellig. Misschien ken ik ze daarom niet. Ja, die, uh, maken onder andere de HX2.
11:53
Uh, die wordt al een tijdje ingezet in het geheim in Oekraïne, maar ze hebben hem nu onthuld voor het grote publiek.
11:59
Het is een AI-gestuurde drone en die kan tot 100 kilometer vliegen en doelen identificeren en volgen zonder een GPS-signaal of een dataverbinding.
12:09
En dat is belangrijk, want we weten dat het Russische, de Russen, uh, van die jammers heeft waardoor ze, uh, storingen veroorzaken waardoor GPS bijvoorbeeld niet werkt, waardoor het heel lastig is voor, uhm, voor drones om te vliegen.
12:22
Je moet dus of beeldherkenning doen van wat er op de grond gebeurt bijvoorbeeld, of iets anders. Naar de sterren kijken. Of naar de sterren kijken om te kijken- Iets van een patroon ergens. Ja.
12:32
Uh, het bedrijf claimt tienduizenden van deze drones per jaar te kunnen produceren.
12:36
Dat is belangrijk, want je wil ze in swarms laten vliegen tegen lagere kosten dan bestaande systemen, onder meer door het gebruik van 3D-printing. Hier nog een optimistische noot bij, Wytse [lacht].
12:46
Ik blijf even neutraal. Oké [lacht].
12:51
En tenslotte, er is een, in het nieuws, een research paper uitgekomen die jou opviel, Wytse, uh, met de belofte dat ze, uh, een taalmodel kunnen halveren in grootte, terwijl het maar 1% minder presteert.
13:03
Nou, het is wel vet, want ik ben meteen in een rabbit hole gedoken. Daar ging weer twee uur van mijn avond. Ja, maar dat snap ik ook wel na deze belofte. Ja, als mijn vriendin luistert als ik op mijn telefoon zit.
13:12
Ik, ik speel geen Pac-Man. Nee. Ik ben dit artikel aan het lezen [lacht]. Deze podca-- ja, de, Wytse zegt sorry. Dat is, ja. Ja. Ja.
13:19
Uhm, wat er gebeurt is, uh, in de biologie, ik maak even een sprongetje, heb je zoiets als synaptic pruning. Nou, pruning is eigenlijk bijknippen.
13:26
Zoals je een bonsai boompje kan bijknippen, zie je even iemand staan die met een klein schaartje dat bonsai boompje aan het prunen is. En synapsen zijn eigenlijk de verbindingen in jouw brein tussen neuronen.
13:37
En synaptic pruning is eigenlijk wat jouw lijf, jouw wezen sowieso al doet. Dingen die niet gebruikt worden op de lange termijn worden weg gepruned. Die knipt ie gewoon weg, jouw brein.
13:46
En, uh, dat zorgt er dus ook voor, zeker naarmate je ouder wordt, dat je, wat je niet gebruikt, dat verdwijnt en wat je gebruikt, dat blijft. Oké.
13:53
Uh, dus dan is het bijvoorbeeld handig om op een, dat weet ik nog wel, vroeger gingen, uh, mensen op een Nintendo DS heb je een spelletje speciaal voor oudere mensen om hun, uh, wiskunde op, op, uh- Ik ken helemaal dit.
14:04
Op te lauwen. Ja. Ja, dat is heel handig. De Japanse. Ja. Ja, ja, ja. Dat is heel cute. Met de Japanse professor. Ik weet precies wat je bedoelt. Nou, oké.
14:10
En dat is dan een beetje gebaseerd op dat idee van synaptic pruning. Want wat je niet gebruikt, dat, uh, verlies je. Nou, dat synaptic pruning kan je ook doen binnen taalmodellen.
14:18
Die taalmodellen zijn niet, uh, zi-zijn geen menselijke breinen, maar er zitten wel heel veel ideeën in die ook een beetje overeenkomen met ons brein.
14:27
Nou, wat kan je dan doen, is eigenlijk zo'n model pakken, een benchmark draaien en dan heb je de baseline, hè. Dus dat noemen ze dan een benchmark van het volledige model pre, pre-pruning.
14:37
En dan ga je stukjes weghalen en dan ga je iedere keer die benchmark weer draaien. En zolang die benchmark niet te veel daalt, blijf je wegknippen totdat je een groot gat ziet en dan plaats je dat weer terug.
14:47
En als je dan heel veel van die runs gaat doen, dan kan je natuurlijk op een gegeven moment achter komen welke onderdelen van dat model eigenlijk niet per se nodig zijn om in ieder geval op die specifieke benchmark.
14:57
Hè, je moet natuurlijk een suite aan benchmarks doen, want anders heb je straks een model wat alleen maar goed is in die benchmarks en verder niks meer kan. Ja.
15:02
Maar je moet meerdere benchmarks en dan kan je dus heel veel weghalen. Hoeveel kan je dan wegknippen? Ongevor de, ongeveer de helft, hè.
15:09
Dit gaat even voor de, voor de kenners onder ons om het Llama 3.1-model van Meta, de 8 biljoen versie, en dan terugknippen naar de helft en dan scoort ie 1.6% minder op die benchmarks. Wauw.
15:21
Dat is helemaal niet zo spannend. Dat is, o-, dit is eigenlijk, daarom wilde ik hem ook even in Poki benoemen, een gigantische sprong. Ja. En ik moet zeggen dat ik zelf,
15:30
uh, uh, geloof dat, uh, die, die taalmodellen zijn nog best wel jong. Het hele idee van een taalmodel is best wel jong.
15:36
Ik bedoel, GPT-3 is denk ik 2,5 gele- ik weet, ik vind het moeilijk qua tijd, covid jaren, ik snap het allemaal niet meer, maar ongeveer 2,5 jaar geleden hadden we volgens mij, uh, ChatGPT. Twee jaar geleden.
15:47
Twee jaar geleden. Ze zijn, ze waren volgens mij vorige week jarig. We hebben het niet gevierd. Cute. Uhm, maar goed, daarvoor en daarvoor dan GPT-2 en de rest. Het is allemaal nog hartstikke jong, zelfs in internettijd.
15:57
Uhm, dat betekent dat het eigenlijk nog heel veel laaghangend fruit is van hoe je dit kan optimaliseren, hè, want dan draai je het nu op GPU's die eigenlijk bedoeld zijn voor computergames.
16:05
Daar kan je specifieke chips voor maken. Uhm, je kunt, uh, kijken naar wat die modellen eigenlijk allemaal in zich hebben, wat je nog weg kan knippen. Wat zijn ze nu nog?
16:12
En je bent tering veel energie in het verbruiken en kan dat efficiënter doen. Ik denk dat- Ja. Iedereen wel interesseert. Zeker. Dat die bedrijven er minder energie voor gaan gebruiken.
16:21
Dus als jij die modellen kunt halveren in hun grootte, heb je de helft praktisch- Ja. Van de RAM, VRAM nodig- Ja. Om je modellen in te laden. Nou, op datacenterschaal is de helft gigantisch.
16:30
Daar zouden ze al op, uh, champagne poppen voor 5%. [lacht] Ja. Om eerlijk te zijn, dus 50% is gestoord.
16:36
Uhm, en nu is natuurlijk de vraag, uh, als het model van Meta, en dat is een serieuze partij in dit spel, eigenlijk nog modellen aan het uitbrengen is die je voor de helft kan wegprunen en met, met schade van 1.6%.
16:47
Wat zegt het dan over de andere frontier models? Hè, zijn ze in OpenAI ook zover? Is, zijn die mini modellen eigenlijk pruned models, hè?
16:54
Het is een beetje de vraag, uh, of deze optimalisaties bij een Anthropic en OpenAI eigenlijk al gedaan zijn en Meta heeft het gewoon niet gedaan. Ja.
17:02
Of is hier met dit onderzoek eigenlijk een enorme stap gemaakt om nog veel meer zaken aan taalmodellen te optimaliseren? En wat zijn de nadelen van optimaliseren op, op een mandje van, van benchmarks?
17:14
Want ik kan me voorstellen dat in, voor gewoon gebruik er dan opeens, uhm, je, je wel het nadeel ervan ondervindt dat je gewoon merkt: dit ding is echt veel minder goed dan hiervoor.
17:25
Kan niet helemaal plaatsen, maar ik merk het gewoon. Ja, wat we nu al wel wat hebben, hè. Ja. Als er weer een nieuwe Mini of een Turbo of zo uitkomt. Ja, precies. Dat je denkt: meeh, het is hem niet helemaal meer, man.
17:33
Ja, precies, dat ding, dat die modellen minder goed worden. Bij bijvoorbeeld programmeren hoor je dat heel snel als mensen dat vermoeden. Nou, in essentie. Ik bedoel, ik heb ook al reacties gelezen.
17:42
Mensen zeiden: is dit niet eigenlijk normaal wat finetunen is? Hè, want bij finetuning ga je zeggen: ik wil dat je op deze taak getuned wordt om specifiek die taak goed te kunnen. Ja.
17:50
Hè, dus je wordt heel goed in wiskunde en dat je geen poëzie meer kan schrijven. Ja. En je hebt nu van die coder modellen. Word je daar ook kleiner van, van finetunen? Nou, dat was het dus tot nu toe niet per se. Nee.
18:00
Dus dat is het interessante. Dat ik denk dat als je een finetune en een prune doet, dat je dan misschien bijvoorbeeld een heel klein- Ja. Programmeermodelletje kan krijgen. Ja.
18:07
Uh, die niks meer weet over de Koude Oorlog, maar wel, uh. Ja, is prima. Ja, dat is prima.
18:11
UhmIk denk dat het gevaar is een beetje taalmodellen zijn al vrij disharmonisch, oftewel die zijn ontzettend goed in taak A en dan een kind op taak B en een baby op taak C, waardoor ze vaak ook overschat worden.
18:25
Dus de harmonie in uhm de kwaliteit van het model was al vreemd. Grappig ding om te constateren dat je dus heel goed kan zijn in programmeren, maar heel slecht kan zijn in Sinterklaasgedichten.
18:35
Ja, en die disharmonie, dat disharmonisch profiel is eigenlijk een term uit de psychologie.
18:39
Wat bij mensen kan gebeuren is dat bijvoorbeeld een kind in een klas verbaal heel sterk is, maar eigenlijk niet zo goed een, een werkstukje kan maken.
18:46
En dat is voor een docent goed om te weten, want anders overschat je die leerling en die leerling komt er onder staat te staan als er een keer. Ik ben zelf ook redelijk disharmonisch.
18:53
Ik schrijf liever ook niet, maar goed. Dus ik herken mezelf wel een beetje in die taalmodellen.
18:57
Dat ik wel snap hoe het kan zijn om ESMC2 als average docent kwak uit te kunnen leggen, maar tegelijkertijd niet het aantal letters in het woord strawberry te kunnen tellen. Inmiddels wel, maar goed.
19:06
Uhm de vraag is inderdaad wordt dat niet bij dat prunen nou nog veel erger als het straks alleen maar. Ja, dit draait te gek op deze twintig benchmarks. Maar die lobotomie zeg maar.
19:16
En dat verwijderen van stukjes brein heeft er wel voor gezorgd dat die Sinterklaasgedichten ineens weg zijn. Precies. Maar het is tegelijkertijd ook een hele leuke manier.
19:25
Ja, leuk zolang het niet mensen zijn, maar taalmodellen waar je stukjes uitknipt om erachter te komen waar de magie dan zit. Bij Anthropic bijvoorbeeld hebben ze heel mooi blog over geschreven.
19:35
Die proberen erachter te komen waar de San Francisco Bridge zit. Of hoe heet het? De Golden Gate Bridge. Daar hebben we het wel eens over gehad, een half jaar geleden dat zij gingen zoeken in dat taalmodel.
19:43
Waar zit dan de Golden Gate Bridge eigenlijk opgeslagen in dat taalmodel?
19:47
En toen bleek dat er allemaal dingen op gingen lichten, op plekken die weinig met een brug te maken hadden, maar blijkbaar wel met een brug te maken hadden.
19:54
Want als we die uitzetten, dus een soort van temporary pruning, dan kon die ineens veel minder goed vertellen over de over de Golden Gate Bridge. Dus waar ik naartoe wil. Hoe kan dat dan? Dan.
20:04
Het woord brug staat er dan niet letterlijk in. Nee, want die taalmodellen zijn in essentie gewichten, oftewel getallen uh bij elkaar verzameld in statistiek. Die lichten dan op. Bedoel je?
20:14
Ja, maar het kan dus zo zijn omdat het best wel, uh net als ons brein een proces is van optimalisatie en compressie. Dat die Golden Gate Bridge ook deels opgeslagen zit in een eend.
20:23
Ik zeg nu echt iets heel sucs, maar je snapt een beetje waar ik naartoe wil. Dat het voor dat ding logisch is, maar uh voor ons heel moeilijk. Ja, omdat hij eigenlijk een soort metaforen gebruikt, hè.
20:32
Dus je zou kunnen zeggen net als de appel valt niet ver van de boom, lijkt een zoon op zijn vader. Dat dat taalmodel denkt oh, die twee patronen kan ik prima opslaan als een appel en een boom.
20:41
Ook al gaat het over een jongen en zijn zoon en zijn vader en zijn zoon.
20:45
En dat dat soort metaforische uh manier van nadenken over de realiteit, dat dat ook gevangen wordt in die taalmodellen omdat het patroon modellen zijn en niet feiten modellen, hè.
20:54
Daarom hebben we nu ook dat knopje gekregen dat je een websearch kan laten doen voor feiten. Welk weer is het? Maar voor patronen is hij ontzettend sterk.
21:03
Alleen de vraag is dan als jij een benchmark doet die specifieke dingen aanraakt, maar andere dingen niet. En dan op basis van die benchmark alles gaat wegknippen.
21:12
Heb je dus kans dat je iets heel moois hebt weggeknipt omdat je niet begreep omdat je benchmark dat niet testte waar het voor was. Pokie is inmiddels de best beluisterde podcast over AI van Nederland.
21:23
Ondanks dit uh, ja, hoe moet je dit zeggen? Het was wel weer. Ja, sorry. Lekker toegankelijk. Ik neem jullie als luisteraar erg serieus. Ja, precies. En dat be-, dat uh vinden jullie duidelijk leuk.
21:34
En dat doet ons heel erg goed, dat zoveel geluisterd wordt. En dat heeft een grappig bijverschijnsel, want dat betekent dat we aanvragen krijgen van adverteerders.
21:42
Uhm, maar we willen voor volgend jaar iets nieuws proberen. En dat is niet heel veel adverteerders langs laten komen, maar één partner te kiezen. Een exclusieve hoofdsponsor van de show.
21:51
En Pokie, dat weten we uit de reacties die mensen ons sturen, wordt, wordt geluisterd door bazen van allerlei bedrijven. Die verzekeraar bijvoorbeeld waar ik bij sprak, die kwam via, die luistert de podcast.
22:01
Maar allerlei beslissingsmakers uit het Nederlandse bedrijfsleven en van de overheid luisteren. En als je je naam daaraan wil verbinden en daarmee onze doelgroep wil bereiken, dan kan dat.
22:11
Dan heb je één kans voor komend jaar, want dan zijn we er ook in één keer klaar mee.
22:15
Als je dat wil en je bent er geïnteresseerd in, uh, dan kun je naar Pokie.show gaan en je gegevens achterlaten en dan praten wij verder. Goed, straks gaan wij het hebben over NotebookLM's productmanager.
22:27
Dat klinkt een beetje raar, maar die heeft een soort van ode geschreven aan het context window iets, hè. En daar wil ik het graag met je over hebben. Heel vet. Mijn eerste tip van de week.
22:38
[muziek] Die haalde ik uit de AI-report van deze week.
22:42
Een stukje over World Labs, een bedrijfje dat je in staat stelt om een willekeurige foto te uploaden en er dan, ja, het is niet fysiek erin te stappen, maar je kan in de foto komen om er doorheen te wandelen.
22:57
Dus het is een model dat gewone foto's omtovert tot 3D-werelden waarin je met je toetsenbord kunt of met je muis door je om je heen kijken en met toetsenbord bewegen, zeg maar, zoals in een game doorheen kunt lopen.
23:13
En dat werkt gewoon in je browser. Je kan ook allerlei cameratrucs toepassen, uh, waardoor het realistischer lijkt, zoals
23:21
scherpte-diepte effect in foto's toevoegen waarbij alleen objecten die op een bepaalde afstand, uhm, in beeld zijn scherp zijn. Of je kan spelen met verschillende belichtingen, special effects, allemaal in real time.
23:31
Het is allemaal nog niet perfect, maar wel, uh, veelbelovend. Dingetjes werken nog niet zoals. Je kan niet eindeloos door gegenereerde werelden verdwalen. Op een gegeven moment loop je tegen onzichtbare muren aan.
23:43
Maar dat mag allemaal de pret niet drukken, want het is natuurlijk een heel vet idee dat je een foto of nou ja, laat het een herinnering zijn die je hebt gehad om daar doorheen te klikken, zeg maar.
23:55
Wat ik ziek vond is die schilderijen van Van Gogh en dat je dan om kan draaien. Ja. Dan ga je achter je kijken. Dat is heel gek.
24:02
Ik bedoel en wat daar dan achter gebeurt, want er zitten een paar mooie Van Gogh demo's bij.Het is best wel plausibel. Het was niet dat. Het is geen realiteit, maar ik vind het een hele knappe bluf.
24:12
Het is grappig ook omdat die, als jij, als jij aan, weet ik veel, Midjourney zou vragen: hier is een plaatje, hoe ziet het aan de achterkant van de camera eruit?
24:20
Dan krijg je gewoon een ander plaatje en dan is die magie weg. Want het zijn twee losse plaatjes die geen connectie.
24:24
Maar het feit dat je hem zelf kan besturen en dan die camera om kan draaien, dat maakt opeens dat het magisch voelt. Dit bedrijf, uh, heeft grootse plannen. Ze hebben 230 miljoen aan investeringen opgehaald.
24:35
Het bedrijf wordt gewaardeerd op een miljard, want zo gaat dat tegenwoordig. En ze mikken zich vooral op professionele gebruikers, van gamemakers tot filmstudio's.
24:43
Want nu maken die bedrijven, ja, die geven heel veel geld uit aan het ontwikkelen van die virtuele werelden. En die ontwikkeltijd kunnen ze potentieel hiermee besparen.
24:50
Dat is dan het idee om erin te investeren en dat gaat met hun technologie, hopen zij, drastisch veranderen. Dat is een tip. Jazeker.
24:57
En dan nog los van het feit, even voor de fantasie van de luisteraar, dat je ook meer informatie gaat geven. Want nu geef je eigenlijk het beginpunt en hallucineer de rest er maar bij en dan kan je rondlopen.
25:07
Dat is al superspectaculair. Maar wat als je zou weten waarvan Gogh die, dat schilderij gemaakt heeft in die straat?
25:13
Als het een specifieke plek is om vervolgens daar foto's te maken, dat eraan te, en dan een beetje context mee te geven en te zeggen: joh, analyseer nou eens, fantaseer nou eens de boel erbij met een beetje input.
25:24
Dat is wat mij betreft een volgende hele gave stap. Misschien heb je wel tien foto's gemaakt zelf op vakantie. Stitch je even aan elkaar. Ja, ik ben zo benieuwd hoe vakantiefoto's eruit gaan zien over twee jaar.
25:35
Maar goed, misschien overschat ik dit. Misschien gaat dit toch minder snel dan- Eerste killer app voor de Vision Pro. Ja. Eindelijk. Ja, ja. Nou ja, dit was de AI-report van, uh, van, uh, afgelopen dinsdag.
25:45
We sturen hem twee keer per week. Als je dat nou wil krijgen, dan kun je gaan naar AI report punt email en dan krijg je twee keer per week dus het nieuws over AI in je mailbox. Goed, het hoofdonderwerp.
25:57
[muziek] Ik las een fantastisch artikel van Steven Johnson. Dat is een auteur van, uh, van boeken en die werkt dus inmiddels bij Google.
26:10
Dat is een vreemde overstap, want, uh, nou ja, meestal ga je bij Google werken als je, weet ik veel, programmeur bent of salesmedewerker om AdWords te verkopen, stel ik me zo voor.
26:19
Maar dit is dus een auteur die, uh, aan boord gehaald werd omdat hij al heel lang publiceert over twee second brain-achtige toepassingen. Dus het idee dat je slimmer met je, uh, geheugen kunt omgaan als schrijver.
26:35
Hij is de hele tijd bezig om na te denken over wat voor goede tools er zijn om beter te schrijven. Dus het is iemand die niet alleen schrijft, maar ook heel erg met het proces van schrijven bezig is. Ja.
26:44
En dat viel blijkbaar op bij Google. Die hebben hem een baan aangeboden en dat is, uh, de, hij is de soort van geestelijk vader van NotebookLM geworden. En NotebookLM hebben we het vaker over gehad.
26:54
Een tool waarbij je, uh, allerlei documenten erin kan gooien, zoals pdf's en YouTube-video's, uh, eindeloos tekstbestanden en eigenlijk met een heel groot maximum.
27:04
Hij heeft een heel groot geheugen wat hij kan raadplegen en, uh, dan kan hij dingen vinden die jij, uh, zoekt en dan geeft hij daar de, uh, voetnoten bij.
27:16
Dus het is niet een ding wat heel erg gaat filosoferen en creatief gaat nadenken. Nee, je vraagt dat ding en dan geeft hij daar feitelijke antwoorden op. Het is echt een soort research assistant. Precies.
27:25
En dat is fijn, want voor sommige dingen wil je creativiteit hebben en dan kun je Claude gebruiken en soms wil je gewoon dat shit klopt. En dan is dus NotebookLM fantastisch. Ja.
27:36
En het spreekt heel erg tot de verbeelding, uhm, sinds de, de audio overview feature waarbij een soort van podcast genereert tussen twee Amerikaanse hosts die praten over de artikelen die je hebt aangezet.
27:48
Nou, dat allemaal ter context. Hij heeft nu een verhaal geschreven, uhm, over, ik zal het linken in de shownotes.
27:56
Ik raad het zeker aan om het te lezen, maar het is niet nodig om, uh, om, om, uh, om dit stuk te gaan luisteren nu, waar ik het nu over wil hebben, want hij heeft bijna een soort van, ja, het is niet een literair stukje, maar het is een heel mooi geschreven stuk over AI waarbij hij metaforen gebruikt die, uh, die het heel erg tastbaar maken wat op dit moment gebeurt in de ontwikkeling van AI.
28:18
Hij vertelt bijvoorbeeld over een jongetje wat in de jaren 60 meen ik van zijn fiets valt en daarmee, uh, nou ja, een zware hersenschudding, uh, oplevert en die daarna nog wel een langetermijngeheugen heeft, maar zijn kortetermijngeheugen is weg.
28:35
Dus elke keer als hij opnieuw mensen ontmoette en dat is de rest van zijn leven helaas zo gegaan, dan was het alsof hij die persoon weer voor het eerst ontmoette. Alsof het een nieuwe persoon was.
28:44
Want als hij al in het langetermijngeheugen zat, dan herkende hij die persoon in ieder geval en wist hij ook van de geschiedenis. Hij was een beetje bevroren in tijd, zou ik maar zeggen.
28:52
En het was voor wetenschapper, voor wetenschappers een heel belangrijk moment, omdat zij daarvoor nog niet constateerden dat er een verschil was tussen korte termijn en lange termijn in de hersenen.
29:01
Dus dit heeft een, hij heeft een hele soort van, uh, reeks aan onderzoeken in werking gezet over, over, nou ja, dit concept van het brein.
29:10
En deze Steven Johnson maakt dus de vergelijking van deze gast en het kortetermijngeheugen en het langetermijngeheugen met de manier waarop taalmodellen werken.
29:17
Want hij zegt: eigenlijk hebben taalmodellen ook een kortetermijn- en een langetermijngeheugen.
29:21
Het langetermijngeheugen is die enorme set aan trainingsdata waar wij het de hele tijd over hebben en waar we in allerlei wedlopen zijn beland van bedrijven die met elkaar aan het strijden zijn om wie, uh, heeft de grootste, uh, set aan trainingsdata.
29:35
En jij bent het dan weer aan het prunen. Maar alsnog, het is het langetermijngeheugen. Ja, waar die, uh, lokale, waar het lokale wetsartikel uit 2019 in zat waar je het net over had.
29:43
Die zat erin, want 2019 is lang geleden. Precies. Uh, maar je hebt ook het kortetermijngeheugen en dat is het context. Ja, mooi. Mooi, mooi, mooi.
29:52
En, uh, hij zegt: hier is te weinig aandacht voor in de manier waarop wij in de maatschappij, in de media, maar ook bij technici praten over AI-ontwikkeling. Want het gaat de hele tijd over grotere modellen.
30:05
Maar ondertussen hebben we het niet over het steeds groter wordende context window. En dat is super relevant, want hij zegtHet succes van ChatGPT twee jaar geleden.
30:15
Wat ik ook al vet vind dat hij het daar überhaupt over mag hebben, want een Google medewerker. Ik heb nog nooit een Google medewerker het woord ChatGPT in de mond horen noemen, maar hij doet dat gewoon.
30:21
Wat ik alweer heel cool vind van Google. Maar oké. ChatGPT succes twee jaar geleden, hij zegt, is grotendeels te danken aan dat het context window groter werd, want ChatGPT's context window was vier, was 8.000 tokens.
30:38
Ja. En dat was alweer vier keer groter dan GPT3, wat we daarvoor nog in de playground. Anders paste het gesprek niet. Anders paste het gesprek niet.
30:48
En het feit dat het context window groter werd, maakte dus dat dat ding kon doorgaan op het wat je daarvoor had gezegd, uhm, en dat hij onthield wat je soort van eerder in het gesprek had gezegd, waardoor het een gesprek wordt.
31:04
Ja, want er is ook een bepaalde verhaallijn. Het narratief wordt niet gebroken. Dat gebeurt nog wel eens als je eruit loopt. Dat weten mensen, maar aan het begin heb je een redelijk lange verhaallijn. Maar ik had ik.
31:13
Tot dit artikel had ik niet, uh, had ik niet het besef dat dit zo. Ik dacht dat ChatGPT, uhm, zo anders voelde omdat het de interface had van chat.
31:23
Dus ik dacht: de reden waarom dit is doorgebroken ten opzichte van wat mensen al eerder op een playground, een soort van zijsite van OpenAI waar je GPT3, de voorganger van wat we in, in ChatGPT zijn gaan gebruiken, uhm, waar je al mee kon spelen, dat, dat zag er qua interface veel uitdagender uit.
31:42
En ik dacht: ze hebben het nu in een chatinterface stop en dat is nu waarom we het met z'n allen gaan gebruiken. Maar hij maakt een ander belangrijk onderscheid.
31:49
En dat is namelijk dat vergrote context window, waardoor het voelt als een echt gesprek. Wat, wat doorgaat zeg maar. Ja, wat daarin wel interessant is, als ik mag aanvullen, is dat- Jazeker.
31:58
Uhm, waar ik laatst achter kwam, dat wist ik niet, is dat GPT drieënhalf, wat ons openbaard werd als, uh, ChatGPT, dat het wel degelijk een finetune was van GPT3 om te kunnen chatten.
32:13
Dus wat ze hadden gedaan is hem extra punten gegeven voor gesprekken die liepen als een chatgesprek.
32:18
[Ilg] Dus wat, wat je daar voelde is al wel-- want toen wij ermee speelden, speelden in OpenAI, The Labs heette dat platform of whatever. Dan kon je tekst completion doen. Heel saai.
32:28
En dan plakte je een alinea erin en dan deed ie er nog een alinea bij. En toen zaten wij allebei al: wauw, dit kan echt brute Amazon reviews faken, weet je. Al zou het.
32:35
[Ilg] Maar dat was niet een chat met een inputveld zoals een WhatsApp.
32:39
En wat ik nou, wat ik jou nu eigenlijk hoor zeggen is: ja, leuk dat ze dat model gefinetuned hadden op betere gesprekken voeren, maar het is het feit dat het een ge-gesprek was en niet een eenmalige interactie.
32:50
Hè, ik zeg wat, jij zegt wat terug punt. Maar een, uh, train of thought, zeg maar. Juist.
32:55
En dat die, dat er ruimte is voor die train of thought door het vergroten van die context window is de eigenlijke revolutie van ChatGPT. Ja, precies.
33:02
En, en wat, wat, wat dan al, al onze hoofden heeft doen, uhm, ja, verwonderen over, o-over het wonder van ChatGPT komt dus mede hierdoor en dit is onderschat, zegt hij.
33:15
En, uh, die grotere context windows, die leiden ook tot minder hallucinaties. Want op het moment dat je het kortetermijngeheugen hebt om te raadplegen, dan is de, dat is dus wat NotebookLM de hele tijd doet.
33:29
Dat is één grote oefening in, uh, dingen, het context window intrekken- Ja...die je zelf hebt toegevoegd.
33:36
Als je dat, de dingen in je kortetermijngeheugen, net als bij een mens, zijn over het algemeen makkelijker te raadplegen en dichter bij de, uh, ja, dichter wat er gebeurd is en dus ook makkelijker te repliceren dan het langetermijngeheugen.
33:48
Die hallucinaties, met andere woorden, zitten hem in de lange term-, in het langetermijngeheugen van de AI. Ja, omdat het daar allemaal patronen liggen opgeslagen en geen feiten. Precies.
33:57
Dus dan begint hij ineens over een appel, terwijl jij wil praten over een zoon. Precies. En er is op een gegeven moment een soort meme geboren.
34:05
En, uh, dat werd, dat werd heel mooi gevat in een artikel wat op een gegeven moment in de New Yorker verscheen van iemand, van een, van een staff writer van de New Yorker die, uh, eigenlijk de AI's van dat moment vergeleek met een soort van blurry JPEG.
34:19
Ja, mooi. Ken je dat artikel? Mooie metafoor, ja.
34:21
Dus die, die schreef een heel artikel over dat AI moet je, uh, je, dat je je moet realiseren dat als je met zo'n taalmodel praat, dat het, dat je, dat je het moet zien als een, als een JPEG.
34:31
En een JPEG is een foto met heel veel compressiepotentieel en, w, dus dat die file kleiner wordt gemaakt dan dat hij uit de camera komt. En hoe doet hij dat? Dat is door delen weg te laten.
34:42
Door te bedenken: wat ziet het menselijk oog niet of valt minder op voor het menselijk oog. Dan halen we die dingen eruit, wordt die file kleiner.
34:49
En daardoor zie je ook dingen die niet echt zijn in die foto, als je heel precies wil zijn. Ja. Het is niet meer een realistische weergave van de werkelijkheid. En de, hij maakte die metafoor met hoe taalmodellen werken.
35:01
En dat is eigenlijk een meme geworden. Want mensen zijn, en dit hoor ik nog steeds iedere dag als ik met mensen over AI praat, mensen het gewoon niet vertrouwen.
35:09
En dat ze zeggen: het hallucineert, het is feitelijk niet juist. La, la, la. Dit is, dit is ingebed inmiddels in de manier waarop wij over- Misschien op zich niet gek, hè? Ik bedoel: het is een achterhaald verhaal. Ja.
35:19
Maar ik, ik ben het er wel mee eens dat het goed is om in eerste instantie te zeggen: ik vertrouw het niet. Het zou jammer zijn als je daardoor zegt: dan gaan we het ook nooit inzetten om de huisarts te ondersteunen. Ja.
35:30
Nooit. Nooit is lang, hè. Ja. Dus daarom wil ik hem even nuanceren. Nou en, en je kan het preciezer maken door onderscheid te maken tussen die- Ja...grotere modellen.
35:38
En dat we daar steeds beter in worden en dat dat nog steeds niet ervoor zorgt dat er niet gehallucineerd wordt.
35:43
En de constatering dat bij grotere context windows, het korteretermijngeheugen, dat als het korteretermijngeheugen groter en groter wordt en dat is nu aan de hand,
35:52
uh, dat we daarmee ook dichter op de feitelijkheden kunnen blijven. Zeker. En ik denk als ik hem mag aanvullen, je zou in essentie over drie plekken kunnen praten. Ik weet dan niet zo goed.
36:02
Ik denk dat je dan zou hebben het langetermijngeheugen, het kortetermijngeheugen en de bibliotheek waar die persoon op dat moment zit.
36:07
Als we het bij een mens houden, is hoe die systemen nu werken, bijvoorbeeld ook, uh, NotebookLM, is er is een taalmodel, dat is die blur JPEG, hè, dus een lossy compressie. Net als MP3 en JPEG.
36:18
Het is niet het originele nummer, maar ze bluffen een beetje en jij hebt het toch niet helemaal door. En het is leuk genoeg voor muziek, hè, maar het is niet een zipje. Als je die uitpakt komt hetzelfde boek er weer uit.
36:27
Nee. Een zipje, een zipje is, uh, niet lossy, die is lossless.
36:31
UhmNou, dan heb je een lossy, uh, langetermijngeheugen met daarbij een, uh, contextwindow kortetermijngeheugen waar je op dat moment informatie in kan stoppen en daar kan die mee aan de gang.
36:42
Maar dat contextwi-, die contextwindow is niet infinite. Daar past niet de hele bibliotheek in. Daar passen ook niet al jouw documenten in die jij in NotebookLM plakt.
36:50
Wat Google slim doet, hè, we hebben het vaak over het grapje rag, rag, raggen. Nou, als je gaat raggen, dan zegt Google: wacht even, voordat ik jouw vraag ga beantwoorden, kijk ik even naar jouw bronnenlijst.
37:00
Dan maak ik een gok, een geïnformeerde gok, welke van jouw bronnen relevant zijn voor jouw vraag.
37:05
Dan trek ik hoofdstukken en al, niet paragrafen, hoofdstukken en al, misschien wel het hele boek als het moet, het contextwindow in. Dan ga ik die vraag beantwoorden en dan krijg jij het antwoord.
37:14
En dat is eigenlijk alsof je bij een professor thuis zit die zegt: momentje, naar zijn boekenkast loopt, alle boekhoofdstukken begint te lezen die relevant zijn voor jouw vraag en dan jou, plus zijn hele ervaring, uh, van alles, uh, dus de langetermijnervaring, training, 40 jaar professor zijn, plus alle boeken die hem of haar in de kamer staan.
37:31
Dat vlug even lezen terwijl jij er zit. Supersnel lezen en dan antwoord geven. Juist. En dat is veel meer dan een lossy JPEG. Ja. Of een van de drie in deze trifecta. Ja, maar toch.
37:41
Als ik jou goed begrijp zeg je: hè, dat ding gaat alsnog zelf constateren van alles gelezen te hebben.
37:47
Nou, n-, hij gaat eigenlijk geïnformeerd proberen te bedenken welke stukken die heel snel eventjes gaat lezen voordat hij antwoord geeft op de vraag. Maar hij leest niet alles, is wat ik je hoor zeggen. Exact. Ja.
37:57
En nou, dat, dat is, oké. Dat is nog zo. Ja, en ik zou- Is zijn punt. Nou, en ik zou willen zeggen: is misschien al wel een beetje zo, want, uhm, dus ik zal hem, ik probeer hem, uh, houdbaar te maken. Hoe zeg je dat?
38:10
Dat deze metafoor niet een soort driedubbele driedimensionale supermetafoor wordt.
38:14
Kijk, die, die boekenkast met die 10.000 boeken erin die niet in het contextwindow passen in zijn geheel, die zijn wel geïndexeerd, dus daar zit een database overheen.
38:25
Daarom duurt het ook even als je die bestanden in NotebookLM zet. Ik moet zeggen, ze doen het supersnel, maar er worden heel snel een soort van compressie, die JPEGs van gemaakt, van die boeken in stukjes.
38:36
Chunks noemen ze dat. En die chunks, die stukjes van die boeken, die, dat zijn eigenlijk wel een soort van, uh, taalmodelgebaseerde samenvattingtjes. Een soort van, uh, uh, vage JPEG-segmentjes.
38:48
En op het moment dat jij een vraag stelt aan dat taalmodel, laten we zeggen NotebookLM, en dan moeten we eigenlijk zeggen aan die ensemble waar een taalmodel Gemini onderdeel van maakt, want we praten niet meer alleen met taalmodellen.
38:59
Dan gaat hij vragen aan die, ja, eigenlijk is dat conceptuele search machine die niet, waar je niet alleen maar een woordje aan hoeft te geven, maar een conceptje aan kan geven.
39:08
Die zegt dan: oh, ik weet wel welk boek dat is. Hè, dus er zit een modelletje tussen die eigenlijk zegt: ik weet wel welk boek dat is. Die gaat dan het juiste boek pakken voor je.
39:15
Ja, en dan als het contextwindow een beetje groot is. Nou, Gemini heeft gigantische contextwindows. Ja. Gooi dat hele boek maar lekker in die klont. Ja, maar, maar dit is de kern, Wytse, dat dit aan het gebeuren is.
39:24
Klopt. Want je hebt het nu nog over een soort van slim dingetje wat als een soort verkeerstoren dan gaat kijken: welk boek ga ik uit de bak, uit de kast pakken?
39:31
Maar hij zegt: het contextwindow is nu 1,5 miljoen woorden, 1,5 miljoen tokens. Dus dan, dat verwar ik nu even met elkaar, maar dat komt ongeveer overeen, toch? Is oké.
39:41
Hoeveel zou je zeggen wat er, wat het daadwerkelijk aan woorden is als het 1,5 miljoen tokens is? Uh, ik heb begrepen tokens is woorden keer 1,5. Ja, precies.
39:48
Nou, oké, uhm, maar- Op grote getallen, hè, dus 1 miljoen is 1,5 miljoen. Ja. Prima. Maar 1 miljoen, uh, of, uh, maar er zijn, uh, uh, plannen al aangekondigd voor, uh, een, uh, nieuwe versie van Gemini die 7 miljoen.
40:02
Ja, voor jouw beeld in de discussies, uh, de discussies in de, uh, in het vakgebied, uh, AI machine learning is nu: is this the end of rag?
40:12
Dus- Ja, precies, dan heb je het helemaal niet meer nodig, dat, dat, die verkeerstoren. Gooi lekker die hele bioscoop erin. Want je gooit die hele kast erin. Bibliotheek bedoel ik. Ja. Ja. Nou, en dit is dus aan de hand.
40:21
En hij zegt: wat ik nu al kan doen is, weet je, dit gaat over Steven Johnson, die daadwerkelijk 14 boeken heeft geschreven.
40:29
Hij kan zijn 14 boeken, alle artikelen die hij ooit heeft geschreven, alle blogposts die hij ooit heeft geschreven, alle interviews die hij ooit heeft gedaan en alle onderzoeksnotities die hij heeft bijgehouden voor al die media die de output waren, kan hij allemaal upload-- en die kunnen nu al in NotebookLM.
40:46
Ja, ik wil wel de opmerking erbij maken dat, ik bedoel, de reden dat het contextwindow zo klein is bij de meeste modellen en zo klein was toen ze begonnen, is omdat het niet gratis is om het contextwindow te vergroten.
40:56
Nee. Dus je zou je ook nog voor kunnen stellen, dat is waar wij al langer op anticiperen en dat het gaat gebeuren, is de €500 per maand taalmodellen, hè, de, uh, Anthropic, uh, uh, Claude, uh, Ultimate, uh, Master.
41:11
Die is 500. Daar kan, uh, 100 miljoen tokens in de tokenwindow.
41:15
Ik roep maar wat geks, maar dat soort getallen gaan in de IT vaak van het- Maar het zal me wel dat dat duurder gaat kosten of dat dat duurder gaat zijn en dat het technisch, misschien, dat, het gaat mij gewoon eventjes erom: het is mogelijk om je hele corpus als, in je contextwindow mee te geven.
41:31
Ja, je bedoelt jouw hele levenswerk? Ja. Ja. En hij maakt dus, hij maakt hier een punt van. En volgens mij is het heel belangrijk dat hier een punt van gemaakt wordt.
41:39
Want hij zegt dus: ik heb macht aan wel boeken geschreven, maar heel eerlijk gezegd, als ik op een boekentour ga, dan weet ik heel vaak niet meer wat ik nou precies in mijn onderzoek voorbij heb zien komen en wat nou daadwerkelijk in het boek terechtgekomen.
41:51
Want het boek is iets wat, nou, om het maar bij prunen te houden. Je begint met heel veel woorden, dan wordt het minder en dan wordt het een boek. Ja.
41:58
En, uh, als ik op een boekentour ga, dan wil ik soms iets vertellen waarvan ik eigenlijk helemaal niet meer weet of het überhaupt in een boek staat of dat het gewoon in mijn research voorbij is gekomen.
42:06
Point in case is dat hij dus dit artikel aan het schrijven was, constateerde: het zou lekker zijn als ik een metafoor zou hebben tussen kortetermijn- en langetermijngeheugen.
42:16
In zijn NotebookLM ging zoeken en het verhaal van dat jongetje tegenkwam die van zijn fiets- Wauw. Viel. Ja.
42:22
En dan doet het er dus niet toe of dat in een boek heeft gestaan van zichzelf of dat hij dat is tegengekomen als onderdeel van zijn onderzoeksnotities. Hij heeft het voorbij zien komen.
42:30
Het is onderdeel geweest van zijn research. Hij heeft daar iets mee gedaan en kan dat vervolgens hergebruiken omdat dat ding kan constateren: dit is relevant, wat in jouw geheugen zit.
42:41
En hij zegt dus eigenlijk met, uhmMet, met een groter wordend context window krijg ik opeens, uhm, mijn soort van mijn intellectuele denkwijze, zo noemt hij het,
42:57
uhm, kan die AI eigenlijk beter reproduceren dan bijna ikzelf. Want ik, ik was niet bij deze, bij dit ding.
43:05
En ik ben zelf nodig, want ik ben tot de conclusie gekomen dat het een leuk verhaaltje is over die jongen die, die valt. En natuurlijk mist die AI een soort persoonlijke geschiedenis, emotionele geschiedenis.
43:16
Maar het is ook weer niet ondenkbaar dat je dagboeken gaat toevoegen hieraan.
43:20
Of dat je, m-, ja, uiteindelijk, ik, ik, ik denk natuurlijk: w-wat wordt het moment dat je daadwerkelijk je gezichtsveld de hele tijd gaat opnemen en dat toe gaan voegen als context, dat daadwerkelijk alle gesprekken die je voert kan toevoegen als co-, aan context, dat, dat echt je hele leven in het context window past.
43:41
Maar zelfs als we daar niet naartoe gaan, dan nog kun je zeggen: oké, alles wat ik doe voor werk of, uh, alles wat ik lees in mijn leven, laat dan een soort van daartoe, is als, als door enorme bronnen aan informatie.
43:54
Stel je kan dat allemaal in een context window krijgen. Wat kun je dan doen? En, uh, hij zegt eigenlijk: dit is een soort van nieuwe vorm van mens-machine samenwerking
44:06
waar we nog maar beginnen te begrijpen wat voor effecten dat potentieel kan hebben. Ja, want als ik jou nu eigenlijk zo hoor, want ik begin nu een beetje door te krijgen waarom jij dit effect zo gaaf vindt.
44:17
Ja, nee, ik voel hem, ik voel hem. Is dat, laten we zeggen jouw digital twin of jouw digital ghost, hè. Dus alles wat van jou in woord bestaat, digitaal gedigitaliseerd of niet, kan later ook nog.
44:27
Dat is een aantal tokens, gemiddeld, hè. En voor een mens die ontzettend veel leest en ontzettend veel kletst, zijn dat meer tokens dan voor een gemiddeld mens. Ja.
44:36
Maar mijn vraag is namelijk tot nu toe altijd geweest: wanneer past er een boek in de context window? Toen was het: hoeveel boeken passen er in de context window? En jij zegt nu, er loopt nu een grafiekje ergens- Ja.
44:47
die zegt: average, the token, the amount of tokens of an average researcher. Ja, en wanneer past die eigenlijk in een token window? En nog even los van,
44:57
ik denk namelijk dat die discussie, is het een puur token window of is het eigenlijk ook rag, whatever. Weet je, als het voelt- Als het werkt.
45:03
dat jij een needle in the haystack, want die is wel belangrijk, hè, dat je een, dat je een specifiek voorbeeld van een jongetje en een mooie metafoor die je ooit hebt gehoord of een, of zelf hebt verteld wat je niet meer weet, kunt vinden.
45:14
Hè, dus niet een blurry JPEG, maar feiten. En misschien zelfs een quote uit een e-mail van jou van zeventien jaar geleden. Dus dat is een vrij scherpe JPEG, is een zipje.
45:23
Dat je die, dat jij erin past als mens met al jouw artefacten en al jouw, uh, digitale, uhm, identiteit, dat is wel een groot ding. Maar hij zegt, jij, jij zegt nu: zoek de needle in the haystack. En dat is de soort van,
45:38
uh, de test die onderzoekers nu al heel lang gebruiken om te kijken of dat ding daadwerkelijk goed kan vinden wat jij zoekt, wat verstopt is in hele grote hoeveelheden informatie. Dit is een soort test voor AI-modellen.
45:52
Ja. Maar hij zegt: ik wil dat dat ding de hele fucking haystack, uh, kan vinden.
46:00
Waarmee hij bedoelt: hij had een, uh, een boek geschreven over een, uhm, nou doet er verder niet toe, maar hij had een soort van, uh, stukje geschreven, uh, zoals een auteur dat doet in een, in een spannend boek, waarbij een stukje geschreven waar die cruciale, uh, kennis, uh, onthoudt aan de lezer om het spannend te maken.
46:24
Dus hij beschrijft een hele kleurrijke scène met iets wat je tegenkomt, wat, wat, uh, wat de, uh, protago-protagonist in het verhaal tegenkomt als hij een bepaalde ruimte binnenloopt en vertelt dan heel kleurrijk over wat hij ziet en ook wat hij hoort.
46:40
En dan vraagt hij aan die, uh, aan NotebookLM: uh, wat komt hij tegen? Wat, wat is, wat is de betekenis hiervan?
46:48
En dan, uh, begrijpt dat ding dus dat, uh, later in het boek, w-wordt dan onthuld dat er een bommelding, uh, in het pand was en dat het geluid wat hij hoorde, de tikkende klok, het geluid van de bom was.
47:03
Dat komt later, wordt dat, uh, duidelijk. En hij zegt dus: dit is niet de needle in the haystack.
47:09
Dit is, hij begrijpt, hij begrijpt gewoon als een mens wat ik verderop heb bedoeld met deze soort van, ja, het is niet een metafoor, het is een hele beeldende beschrijving van iets, maar hij begrijpt het concept van dat dat later een bommelding is.
47:25
Hij, hij probeert te zeggen: dit is niet meer zoeken naar de naald, het is, je, je, we moeten het gaan beschouwen als de hele haystack en dat gaan accepteren.
47:34
Ik denk dat nu, nu, uhm, uh, hoe zeg je dat, wringen we die, uh, naald een beetje uit.
47:39
Maar het idee van die nie-, de, de idee van de needle in de haystack is om te testen of de hele haystack erin zit, hè, dus wat je doet: een paar needles zoeken en dan, zodat je zeker weet dat dat ding niet aan het bluffen is.
47:49
De blauwe M&M's. Ja, want v-vroeger was het zo met, wat mensen zeiden: moet je voorstellen als je een taalmodel zou trainen op jou, hè, dan zou je een taalmodel trainen op Alexander.
48:00
Maar dan maak je dus een blurry JPEG van Alexander. Precies wat je niet wil. Ja. Jij wil een, uh, een zip van Alexander waar alles in zit. Nou, exact dit. En hij zegt dus: dit is iets wat gaat gebeuren.
48:13
Want hij zegt dus: we, we kunnen ons niet voorstellen waar, zeg maar, hoe gaat dit, als dit kan, dit grote context window en daar kan alles in zitten, uh, wat voor jou relevant is op dat moment.
48:23
Dan kun je dus gaan nadenken over nieuwe toepassingen voor AI. En hij zegt dus bijvoorbeeld als jij het hebt over die ziplus of die zip, die, die loslusmetafoor, als je de hele, als jij alles kan, als jij
48:35
mijn NotebookLM kan gebruiken waarin mijn NotebookLM alle teksten staat die ik ooit niet alleen geschreven heb, maar ook gelezen heb.
48:43
En jij kan daar toegang toe krijgen tot alles wat ik besloten heb ooit te lezen, dan is dat potentieel wat waardEn hij zegt: dit zou best als een soort nieuwe inkomstenstroom gezien kunnen worden.
48:57
Dat, niet als vervanging van expertise, maar eigenlijk de, de, de weg ernaartoe te, te kopen. Je, je koopt, het is als The Matrix, weet je wel, dat je zo kung fu kan inpluggen. Het is dat. Send me the tank program. Ja.
49:12
Maar ik denk dat als ik, een leuk, ik heb een leuke anekdote, die komt ook bij Google vandaan. Zij hebben YouTube, dat is een van hun, uh, dingen.
49:18
En, uh, ik had een video gezien vorige week van een YouTube creator en die was heel erg boos. Dat vind ik altijd interessant.
49:23
Niet omdat ik rage bait aan het klikken ben, maar dit was gewoon iemand die boos was, maar op AI. Dus ik dacht: nou, daar moet ik even naar kijken. Als mensen boos aan het worden zijn op AI, dan gaat Wietse wel opletten.
49:33
Nou, wat he-, je hebt een YouTube Creators dashboard. Dus als jij YouTuber bent en je bent groot, dan heb je een creators dashboard waarop jij alle comments kunt zien.
49:40
Uh, en dat is een soort inbox voor jouw eigen YouTube-kanaal. Anders moet je onder je eigen video's gaan scrollen op zoek naar reacties.
49:46
Niet handig, dus je hebt een unified inbox voor al jouw video's tegelijk en daar komen alle reacties op binnen.
49:51
Daar is al controversie op geweest, omdat daar een influencer filter op zit, zodat je alleen de reacties krijgt van mensen met meer dan 10.000 volgers.
49:57
Zodat je alleen reageert op jouw mede homies die ook cool zijn op YouTube. Maar goed, die feature is ook wel weer logisch, want je wil niet een reactie missen van iemand met 20 miljoen volgers en die soort van negeren.
50:06
Ja. Maar er zit een nieuwe feature in. Als jij in de bèta creators program van YouTube zit, dan staan er al reacties klaar. De reacties staan al klaar. Je hoeft alleen maar- Te posten.
50:17
Ja, en hij is heel erg geschrokken, deze jongen, want het is een jongen die maakt video's over Dungeons and Dragons. Die doet best wel diepe analyses van goede Dungeons and Dragons games spelen.
50:26
Nou, dat is een hele eigen, uh, wereld, een hele subcultuur. Uh, en die mensen daar zijn streng, want Dungeons and Dragons is een serieus spel. Dat is geen grapje. Ja, ik meen het. Ik ben ook een beetje boos.
50:35
Nee, maar ik, ik heb het één keer gespeeld. Die ziet een reactie klaarstaan. Die klikt erop. Die ziet de reactie klaarstaan. Verrassing. Van hemzelf, wat natuurlijk een heel vreemde ervaring is.
50:44
En het is een reactie waar hij het mee eens is. Een hele goede inhoudelijke reactie waar hij van da- dacht: eigenlijk kan ik nu gewoon drukken op post.
50:52
Maar even voor de helderheid: dat is een reactie vanuit zijn account op iemand anders video. Nee. Of een comment. Dus iemand reageert.
50:59
Ah, dus onder zijn eigen video's commenten mensen en dan reacties op die comments, die staan klaar. Oké, gotcha. En die vond hij goed. AI generated draft comments. Ja.
51:08
Een experimental feature in de YouTube creators omgeving. Ja, ja, ja. En hij zei: dit is echt een hele goede reactie. En waar was hij boos? Nou, omdat hij zei: waarom is deze reactie zo goed? Waar komt dit vandaan?
51:22
Dit is niet getraind op enkel alle reacties die ik tot nu toe heb gegeven. Dit is getraind op mij. Dit is getraind op een transcript van alles wat ik ooit heb gezegd in YouTube video's. Ja, ja, ja, ja.
51:30
Jullie zijn een digital twin. Ja. Jullie hebben al een digital twin van mij gemaakt. Hij legt het nog wel voor. Dat is nog wel vriendelijk. Dus hij mocht hem nog.
51:38
[lacht] Hij staat, hij is geframed als draft en dan kan je hem zelf een beetje aanvullen. En hij zei- Het is echt zo waarschijnlijk. Ze hebben een digital twin van hem gemaakt.
51:46
Ja, en hij, het is een jongen die verder niet zoveel verstand heeft van AI, dus die zei: ja, er is een model gefinetuned op mij.
51:52
Nou ja, jij en ik, daar gaat deze discussie vandaag ook over, weten: nee jongen, jouw transcript zit in de context window en hij zoekt de juiste video's erbij en dan pakt hij de, wat we net hebben gezegd.
52:01
Ja, eigenlijk nog best simpel.
52:03
Ja, en de makers van NotebookLM, Google, hebben in hun YouTube platform, ook Google, een feature gemaakt die eigenlijk reacties aan het bluffen is, maar aan het bluffen is op basis van een kopie van jou. Ja.
52:15
En, uh, zijn discussie in die video is ook dat hij zei: het is wel een goede reactie. Doet het er nu eigenlijk toe? Waarop ik, uh, begon na te denken toen ik die video had gezien. Ik krijg best wel veel mail. Jij ook.
52:27
Allemaal lieve mensen die, uh, opmerkingen hebben of soms ook vragen over AI en, uh, wat we in Pokie hebben besproken. Ik vind dat best wel overweldigend soms.
52:37
Uh, dit is niet per se om mensen te ontmoedigen, maar weet wel het kan even duren. Waarop een vriend van mij zei: haha, daar moet jij dan toch AI voor inzetten, want daar heb jij het toch altijd over?
52:45
En toen zei ik: nou, dat voelt niet prettig, want dan ga ik AI antwoorden geven. Mhmm. En toen zei hij: hoezo, dat voelt niet prettig? Kan je dat ding niet trainen op al jouw eerdere podcast afleveringen? Ja.
52:54
Kan je dat ding niet jouw mail een beetje laten doornemen, dan een draft neerzetten voor jou.
52:58
En, ik bedoel, nu geef je eigenlijk of laat of geen antwoord en dan zou jij met je digital twin een antwoord geven met Wietse approved. Ja, straks wordt het een daad van agressie als je die comment niet plaatst.
53:09
Hoezo communiceer je niet met je achterban? En hij is Wietse approved, hè. Ja, ja, ja, ja. Ik heb die draft gezien. Ik vond hem oké en ik heb hem gestuurd.
53:17
Nou ja, en ik, ik, ik merkte bij mezelf ook dat ik dacht: oké, dit voelt als een beetje een rare tussentijd waarin nu iedereen een beetje stigma heeft rondom AI reacties sturen.
53:26
Maar ja, als, als die Dungeons and Dragons gozer, hij zei: negen van de tien van de drafts die klaarstaan is troep, maar deze gaf mij de shivers.
53:35
Ja, dit is grappig, want dit is eigenlijk, dit is weer een ander hoofdstuk wat je opentrekt, want dit is een soort van, uh, digital twins en, uhm, dat is iets wat op YouTube natuurlijk, dit, dit voorbeeld gaat dan over, dat is dan het equivalent van de YouTube BN'er.
53:49
Maar, maar je zou ook kunnen zeggen: dit geldt eigenlijk, dit geldt voor iedereen, want waarschijnlijk gaat er op je werk, gaat er ook een digital twin van jou komen over een tijdje.
53:59
Als de, als we, als de cultuur dit allemaal toelaat. Noem het jouw copilot. Ja, precies. Ja.
54:04
Nou, en in dit stuk zegt hij dan dus ook die, die bedrijfsbeslissingen die, of, hij zegt het: het gaat over een tijdje bizar zijn om niet bedrijfsbesi-beslissingen langs een soort van reeks van digital twins te trekken.
54:21
Ja, hoe jij de aflevering begon, hè, met de agents bij die verzekeringsmaatschappij die consensus vinden over een bepaald onderwerp. Ja, ik snap je.
54:26
En hij zegt dus: dit wordt gewoon een plek aan tafel bij bedrijven, uh, dat als je belangrijke beslissingen gaat nemen, dat je dan eigenlijk,
54:36
je hebt heel erg je best gedaan om de belangrijkste documenten van je bedrijf te cureren en die in die context window te zetten.
54:43
Uhm, en dat kan dus heel groot zijn, kan alsnog heel veel zijn, maar waarvan je zegt: dit is, hier, m-de-deze, dit, it, it needs to pass this testEn, uh,
54:56
dat hij zegt: de succesvolle organisaties zullen, uh, niet diegene zijn met de krachtigste modellen, maar met de best samengestelde context. Want die krachtige modellen, dat is, uh, een soort commodity.
55:10
Maar die context die je, uh, verzamelt als bedrijf, dat is waar de, dat is waar de waarde zit. Nou, of dit nou waar is of niet, het is een verschuiving van het, van de aandacht en ik denk dat die,
55:24
uh, dat die heel, uh, uh, terecht is en, en, en ook echt noopt tot nadenken.
55:29
Want dit, dit zou dus kunnen betekenen dat je als bedrijf bijna een soort van, uh, ja, professionele archivarissen moet hebben of zo, die je kennisbank helpen beter geschikt te maken voor dit soort toe-, voor dit soort toepassingen.
55:44
Het is de big data belofte van jaren geleden, maar dan waargemaakt. Ja.
55:48
En dan, ik denk dat, hè, want of, ik vind het eigenlijk in dat opzicht wel interessant, dat, we hadden het vorige week over die model, uh, context protocol. Daar zit het woord context ook in.
55:59
In context window zit dat ook.
56:01
Ik denk dat onze discussie, ons verhaal hier vooral gaat over: je hebt een blurry JPEG van het internet of van de wereld, namelijk het foundational basismodel, hè, GPT-4o, Claude, noem ze allemaal maar op.
56:13
Maar dan ga jij, terwijl je die vraag stelt, korte termijn meegeven. Maar die korte termijn, dat woord kort klinkt klein, maar dat is niet zo, die kan steeds groter. Ja.
56:23
En, hè, mijn nuance daarbij is dat ik zeg: je kunt zelfs een systeempje maken en, uh, die het, die vluchten boeken erbij vindt die nodig zijn, zolang niet alle boeken erin passen, hè. Ja.
56:31
Dus ik denk eigenlijk dat we met wat slimme trucs er al zijn, hè. Ja. Dus dit is niet eens meer een toekomstverhaal. Alleen, uh, dan is de vraag vooral, uh, wat stop je in die context window?
56:43
Want je zou ku-, je zou kunnen zeggen, ik heb hier veel discussies over met, uh, programmeurs. Dan zeg ik: ja, dan, uh, kan jullie hele codebase erin. Zeggen ze: moet je niet doen, man. Hoezo niet?
56:53
Daar zijn we niet per se trots op, hè vriend. Dat is een codebase van achttien jaar oud. Wij willen helemaal niet dat dat ding dat gaat nadoen.
57:01
Uh, jij kan ook zeggen: ik ben een schrijver, ik gooi mijn eerste boeken erin. Wat bedoel je met ding niet nadoen? Want dan gaat ie in de zo, de slechte elementen ook blijven. Zolang jij dat niet hebt gelabeld. Ja.
57:12
Je kan het labelen op datum en zeggen: uh, only use code examples from recent times, hè. Ja, ja. Dan heb je al iets opgelost. Maar als jij een schrijver bent, ga je je middelbare schoolthesis erbij plakken?
57:23
Ik zou zeggen bijna van niet. Of je moet uitleggen: joh, uh, ik heb, je hebt een soort recency bias. Ja, fair enough. Maar, uh, ik wil alleen maar zeggen. Dit is dan wat hij bedoelt met dat labelen. Ja.
57:32
Dat is, dat is die kennisbank optimaliseren. Ja, die moet wel, uh, het taalkundig. Of waardig geschat worden.
57:37
Ja, misschien zeg je zelfs: joh, uh, er zit hier wat, uh, uh, data in, die mag je wel gebruiken, maar alleen maar, uh, als een historisch iets en niet gaan proberen dat na te doen.
57:46
Maar zoals wij de laatste drie briefs geschreven hebben voor een bedrijf, dat mag jij zeker nadoen. Mhmm.
57:51
Hè, dus ik, daarin zit voor mij is nu de vraag een beetje aan het worden: hoe augmenten we die basismodellen, die generic models, met een context? Hè, hoe we dat technisch ook doen, doet er even niet toe.
58:01
Een context die ervoor zorgt dat we die stap gaan maken. De belofte van AI namelijk, uh, dit ding is slim. Nou, het is zo slim als de context die jij kan meegeven. Ik zit ook te denken wat het betekent voor uitgevers.
58:13
Want we, we, we, zeg maar, we hebben kleine, uhm,
58:17
we, we hebben het een paar keer wel gehad over dat er van die juridische startups zijn waarbij dan de, het, het, het werk in een advocatenkantoor bijvoorbeeld gevat wordt in een taalmodel, zodat, uh, nou ja, weet ik veel, uh, de, de comments die een of ander, uh, juridisch medewerker in de kantlijn zet, dat dat onderdeel is van, uh, ja, dat dat ding daarvan leert en daar, en dan dat kan repliceren bij nieuwe documenten, om maar een voorbeeld te noemen.
58:46
Ja. Of, uhm, we weten van, uh, dat, maar ik heb op een gegeven moment zo'n demonstratie gezien van Microsoft die dan zegt: je kan nu hier LexisNexis bij aanzetten. Ja.
58:56
Dus dat je, dat dat ding op-opeens toegang krijgt tot, echt als The Matrix, toegang krijgt tot een data, een proprietary database die niet in de standaard language modeling staat.
59:07
En voor de luisteraars beeld wat daar op de achtergrond gebeurt, want dat weet ik best wel goed. Hij zoekt gewoon in die database en die records voegt hij toe aan de context window en dan geeft hij pas antwoord.
59:16
Ja, precies. Maar dat is prima. Ja. Je hoeft niet die hele dekse database ineens in die context. Die gooi je erbij wanneer nodig. Ja.
59:21
En dat laatste trucje, net als die model context protocol wat we vorige week zeiden, dat lijntje naar buiten naar al die databases toe, dat is nu wat ervoor gaat zorgen dat het echt interessant gaat worden.
59:32
Maar ik denk dan dus ook, want ik, uhm, voor, uh, ik had, ik had één. Ik heb dat Never split the difference, dat onderhandelingsboek, toegevoegd om te, om te onderhandelen over iets
59:44
en dan gaat hij dus keurig die principes proberen toe te passen. Uhm, maar uiteindelijk wat ik hem zie doen is toch een soort van extractie uit, hij, hij maakt een soort extractie van het boek.
59:55
Hij, hij gaat dan zeggen: nou, als je onderhandelt, dan doe je dit en dit en dit en dit. Uhm, en dan doet hij misschien één voorbeeld erbij of zo, maar het blijft best wel een beperkt prompt.
1:00:05
Dus ik dacht al: ja, jezus, als ik dit ding nou moet gaan zitten optimaliseren voor onderhandelen. Er zijn, zeg maar, als ik het gewoon sec vraag: onderhandel voor me, dan is het gewoon echt bagger wat eruit komt. Ja.
1:00:15
Als ik een boek toevoeg, dan maakt hij eigenlijk een veel te simpele samenvatting van dat boek, waardoor nog steeds die onderhandeling echt niet zo heel veel beter gaat.
1:00:23
Maar hierdoor werd ik wel aan het denken gezet dat ik dacht: ja, dit is een soort van, alleen al dit, gewoon door de lens van onderhandelen kijken en dan waarschijnlijk binnen onderhandelen zijn er weer best duizend subcategorieën.
1:00:32
Onderhandelen over keukens, onderhandelen over auto's, onderhandelen over bedrijven verkopen.
1:00:37
Dat er een soort van de, de context window die je erin hebt, dat dat gaat bepalen hoe, uh, hoe goed dat ding gaat zijn en dat we zoveel toepassingen nog gaan krijgen.
1:00:46
Ja, ik moet zeggen dat ik ook, want alles is nu nog toch een beetje cowboy wat we aan het doen zijn, hè, met, je moet een goede prompt hebben. Als je een slechte prompt hebt, komt er crap uit hetzelfde model.
1:00:54
Bij een betere prompt komt er iets fantastisch uit. Ja. Is de grote leerles voor de meeste mensen die nu een cursus prompt engineer volgen.
1:01:00
Uhm, ik vraag tegenwoordigIk vroeg laatst: hoe kan ik op een, uh, uh, prettige manier, uh, nou, ik moest een of andere boodschap overbrengen naar iemand, maar ik vond het best wel spannend.
1:01:09
En toen kwam er zo'n laf gemiddeld antwoord, zelfs uit Claude, de nieuwste Claude, dat ik dacht: o ja, zo was het. Het voelde een beetje ChatGPT van twee jaar geleden. Ik denk: wat doe ik nou verkeerd?
1:01:18
Dus ik zei: oké, je mag best wel bouwen op bestaande ideeën over hoe je communiceert met mensen. Geef mij nou eens de boeken die ik aan jou toe moet voegen. [lacht] Ja, kreeg ik een hele lijst.
1:01:27
Ik zoek die boeken op, hè, netjes ePubje opengebroken, gekocht en opengebroken, uh, erin gegooid en toen zei ik: nou, hier is het boek, gaan we verder praten.
1:01:36
Maar als je dat dus kan automatiseren, hè, en je in die gevallen, hè, want precies wat jij zegt, als, als je, misschien krijg je wel, uh, waarschijnlijk hoe OpenAI een stukje van zijn geld gaat verdienen.
1:01:46
Ik wil graag het boek toevoegen. Ja. Klik hier ter instant order. Ja, precies. € 8,-, dan ligt ie erbij. Precies. Ik pak die ePub wel.
1:01:52
Ja, maar voor uitgevers ook, hè, wat, uh, wat, uh, wat, wat kranten kunnen gaan verdienen aan, uh, en, en ook boekenuitgevers. Het feit dat je gewoon boeken erbij kan klikken in je kennis.
1:02:03
Het wordt gewoon echt als The Matrix. Maar eigenlijk is het misschien, als we hem aansluiten op vorige week, die model control protocol, model context protocol.
1:02:11
Stel dat het protocolletje, dat bruggetje wordt toegevoegd en dat er ook een payment feature in het protocol geschreven wordt. Geen probleem. Ja, ja. En die dan zegt- Micropayments.
1:02:19
Ja, en dan zegt ie, uh, à la Blendle, à la Blendle. Sorry man, uh, gaat, zegt ie: joh, volgens mij wil jij een boek over non-violent communication erbij. Ja. Ik kan die wel een uur kost huren. Ja.
1:02:30
Ja, dan mag hij een uurtje erbij in de context window. Ja. En hebben zij een uitgeversdealtje, hè, en dan kan je hem huren voor 10 cent. God, krijgen we toch weer context, of krijgen we toch weer micropayments.
1:02:41
Mijn leven zal rond zijn. Ik hoop het. [lacht] zal rond zijn, jongen. Ik, uh, dank u voor het luisteren. Mijn, uh, hoofd is weer, uh, verrijkt, Wietse.
1:02:53
Ik dank jou voor je mooie, uh, inbreng, want het is een interessant artikel. Ik ga hem ook nog eens lezen. Ja, doe dat zeker, het is de moeite waard. Wij danken Sam Hengeveld voor de edit.
1:03:01
Als je een lezing wil over AI van Wietse of van mij, dan kan dat. Mail naar lezing@pokkie.show. Vergeet je niet te abonneren op de nieuwsbrief.
1:03:08
Daarvoor ga je naar AIreport.email en als je deze show wil sponsoren dan ga je dus naar pokkie.show. Tot volgende week. Tot volgende week.
1:03:18
[afsluitend muziek]