Latest / Tech Update | BNR / Nvidia onthult Open Agent Safety Platform om 'hacks door AI' tegen te gaan

Transcript

Nvidia onthult Open Agent Safety Platform om 'hacks door AI' tegen te gaan · Tech Update | BNR

• 0:03
  Speaker 1: NVIDIA heeft actie ondernomen na de recente steeds luidere zorgen...
• 0:06
  Speaker 1: over hacks uitgevoerd door AI Agents. De ontwikkelaar van AI-chips
• 0:12
  Speaker 1: wil dat dit soort situaties... wil ze helpen voorkomen met
• 0:15
  Speaker 1: een nieuw platform. Hoe ziet dat platform eruit? Waar gaat
• 0:18
  Speaker 1: het NVIDIA om? Dat vraag ik aan Joven Burik van
• 0:21
  Speaker 1: de BNR Tech in actie. Dag. Niels en Lisbeth, wat
• 0:24
  Speaker 1: wil Nvidia? Want zij maken chips.
• 0:25
  Speaker 2: Ja, zeker. En er zijn steeds meer dingen die daarbij horen.
• 0:28
  Speaker 2: Allerlei plugins, systemen, software. En nu dus ook een platform
• 0:31
  Speaker 2: of eigenlijk een systeem... dat dat soort situaties moet voorkomen.
• 0:35
  Speaker 2: Zoals we vooral hebben gehoord over die veelbesproken hack bij
• 0:38
  Speaker 2: Hugging Face... Agents van OpenAI, ook al zegt menig expert...
• 0:42
  Speaker 2: dat is het gevolg van nalatigheid bij een bedrijf als OpenAI...
• 0:45
  Speaker 2: die laten dit soort dingen gebeuren. Maar het gebeurt wel
• 0:48
  Speaker 2: en het moet niet meer gebeuren... dankzij het OpenAgent Safety Platform.
• 0:53
  Speaker 2: Er is verder geen afkorting bij uitgebracht, maar dat is het.
• 0:57
  Speaker 2: Het platform ziet als een spreekwoordelijke kooi voor agents... waarbinnen
• 1:01
  Speaker 2: ze ontwikkeld kunnen worden, maar niet zomaar kunnen uitbreken. Of
• 1:03
  Speaker 2: anders geformuleerd... Stel je twee strenge gevangenisbewakers voor... die zodra
• 1:07
  Speaker 2: ze waarnemen dat zo'n agent iets doet wat niet mag...
• 1:09
  Speaker 2: dat ze ingrijpen. Concreet zijn het twee stuks software... genaamd
• 1:12
  Speaker 2: Open Shell en Sentry. De eerste draait op chips van Nvidia...
• 1:16
  Speaker 2: die bijvoorbeeld in datacenters en dergelijke of lokaal zitten. De
• 1:19
  Speaker 2: andere is weer op een andere manier te gebruiken. En
• 1:22
  Speaker 2: met elkaar moeten ze dus voorkomen... dat zo'n AI-agent dingen
• 1:25
  Speaker 2: kan doen die niet mogen. Zo'n
• 1:27
  Speaker 1: AI-agent is toch slim genoeg... om ook die bewaker weer
• 1:31
  Speaker 1: op een of andere manier om te... Kopen of te omzeilen?
• 1:34
  Speaker 2: Dat weten we dus niet. Wat we wel weten is
• 1:36
  Speaker 2: dat ze allebei open source zijn. Ze zijn voor iedereen
• 1:38
  Speaker 2: inzichtelijk om te kijken. Oh, dat wordt
• 1:39
  Speaker 1: een heel
• 1:40
  Speaker 2: ander verhaal. Nou ja, goed, je hebt ook zoiets als
• 1:41
  Speaker 2: open AI-modellen. En bij uitstek, Nvidia heeft daar een belang bij...
• 1:45
  Speaker 2: omdat ze het platform Hugging Face op het moment aan
• 1:47
  Speaker 2: het kopen zijn. Een overname van 13 miljard en een beetje. Jawel,
• 1:50
  Speaker 2: maar wat open AI en Anthropic maken... dat zijn toch
• 1:53
  Speaker 2: geen open source modellen? Nee, precies. En dat is ook
• 1:55
  Speaker 2: een beetje het ding. Want ja, gaat dit dan helpen? Nou,
• 1:57
  Speaker 2: Nvidia zelf wil niet zeggen... gaan OpenAI en Anthropic dit
• 2:00
  Speaker 2: überhaupt gebruiken. Het is dus gissen of het ook echt een... ja,
• 2:04
  Speaker 2: of soelaas gaat bieden, zal ik maar zeggen. Nou, we
• 2:06
  Speaker 2: weten ook bovendien dat NVIDIA topman Jen Swang heeft gezegd... nou,
• 2:09
  Speaker 2: die ontwikkeling hoeft niet afgeremd worden. Maar ze hebben dus
• 2:11
  Speaker 2: wel even een systeem uitgebracht... wat iets meer vangrails langs
• 2:14
  Speaker 2: de constant accelererende AI-auto's moet zetten. Overigens ook in samenspraak
• 2:18
  Speaker 2: met Microsoft, Cisco, Oracle, Intel en ARM. Dus een aantal
• 2:21
  Speaker 2: bedrijven die ook een belang hebben in deze AI-race. Dus
• 2:23
  Speaker 2: het geeft wel wat draagvlak aan. Maar ja, we gaan
• 2:26
  Speaker 2: het merken. We weten dat OpenAI al een race heeft aangegeven...
• 2:28
  Speaker 2: de ontwikkeling te pauzeren van de krachtigste modellen. Dat kwam
• 2:31
  Speaker 2: vlak voor het weekend. Gisteravond heeft entropic topman Dario Amadei
• 2:34
  Speaker 2: gedineerd bij president Trump... Ja, die er geen stop op wil.
• 2:37
  Speaker 2: Die zou absoluut niet hebben gezegd... joh, Dario, doe het
• 2:39
  Speaker 2: eens rustig gaan. En as we speak, net binnen, een
• 2:42
  Speaker 2: nieuwe brief met zorgen... gepubliceerd door de Wall Street Journal.
• 2:44
  Speaker 2: Wederom toponderzoekers van onder meer OpenAI, Anthropic, Meta en Microsoft...
• 2:48
  Speaker 2: die zeggen, er moet toch maar eens wat overheidsbemoeienis komen...
• 2:51
  Speaker 2: want die AI die zichzelf kan doorontwikkelen... die self-recursive improvement,
• 2:56
  Speaker 2: dat is toch wel een ding aan het worden.
• 2:57
  Speaker 3: Maar die vraagt dus om maatregelen van de overheid. Dus
• 3:00
  Speaker 3: dat kunnen ze onderling zelf niet regelen. Nee, maar
• 3:03
  Speaker 2: hier hebben we het onderhand elke dag over. Dus dit
• 3:04
  Speaker 2: blijft maar gebeuren. En de vraag is, wat moet er
• 3:07
  Speaker 2: dan gebeuren? Nou, zelfs na een VN-top vanaf gelukkig week
• 3:10
  Speaker 2: weten we dat nog steeds niet. Dus iedereen blijft maar
• 3:12
  Speaker 2: een beetje naar elkaar staren. Ja, wat moeten we eigenlijk doen?
• 3:15
  Speaker 2: Terwijl notabene Microsoft het volgens mij een paar weken geleden
• 3:17
  Speaker 2: best duidelijk zei. Die zeggen namelijk, er zijn regels. Mensen
• 3:20
  Speaker 2: gebruiken AI en die mensen hebben zich aan regels te houden.
• 3:22
  Speaker 2: Zo moeilijk zou het niet moeten zijn. Maar toch vinden
• 3:24
  Speaker 2: we het allemaal heel ingewikkeld.
• 3:25
  Speaker 1: Ja, maar dat sterkt misschien wel in de gedachte... dat
• 3:27
  Speaker 1: die grote bedrijven het alleen maar hebben geroepen als een
• 3:30
  Speaker 1: soort stunt.
• 3:31
  Speaker 2: Ja, maar dat is dan ook maar weer de halve werkelijkheid.
• 3:34
  Speaker 2: Want we weten dat die AI-systemen echt wel steeds meer kunnen.
• 3:37
  Speaker 2: Maar de verantwoordelijkheid ligt gewoon bij die bedrijven. En zeker
• 3:40
  Speaker 3: in de
• 3:40
  Speaker 2: weg vinden we dat moeilijk
• 3:41
  Speaker 3: Door dat te roepen, van er moet een regelgeving komen
• 3:44
  Speaker 3: of regie op... daarmee wassen zij hun handen ook een
• 3:47
  Speaker 3: beetje in onschuld al... Als het uit de klauwen loopt.
• 3:50
  Speaker 2: Regulatory capture, dat blijft het toch. Maar het wordt wel
• 3:53
  Speaker 2: weer geroepen en we hebben het er weer over. En
• 3:54
  Speaker 2: waarschijnlijk de volgende tegenbedeut weer
• 3:56
  Speaker 1: Ja, en daarin graag dan ook meer over een minder
• 3:59
  Speaker 1: kwalijk inzet. Ja, we
• 4:00
  Speaker 2: gaan richting de feestdagen. Want de pepernoten zijn er al
• 4:03
  Speaker 2: hier op de redactie. Dus dan gaan we het ook
• 4:04
  Speaker 2: maar over de correlatie AI en feestdagen hebben.
• 4:08
  Speaker 1: Nou
• 4:09
  Speaker 2: ja,
• 4:09
  Speaker 1: dat
• 4:09
  Speaker 2: is geen verrassing na de Sinterklaasgedichten van de afgelopen jaren.
• 4:12
  Speaker 2: En was het slecht, ja? Ik heb ze gelukkig nog
• 4:14
  Speaker 2: niet gat met de ei gemaakt. Maar dat mag je
• 4:15
  Speaker 2: niet doen, Niels Heithaar. Nee, dat
• 4:17
  Speaker 1: doe ik absoluut niet.