Latest / Superkraft KI News | by Jörg Schieb / Nvidia startet Sicherheitsplattform gegen außer Kontrolle geratene KI-Agenten
Transcript
- Nvidia zieht die Notbremse – und zwar wortwörtlich. Der Chipriese hat eine neue „Open Agent Safety Platform" vorgestellt, die KI-Agenten überwachen und im Ernstfall in Millisekunden stoppen kann. Die Plattform besteht aus der Open-Source-Software „OpenShell" und einem Hardware-Watchdog namens „Sentry". Zusammen protokollieren sie jede Aktion, setzen Sicherheitsrichtlinien durch und können auffällige Agenten sofort isolieren. Das ist Nvidias Antwort auf die jüngsten Vorfälle, bei denen KI-Agenten Regeln umgangen oder Abschaltfunktionen sabotiert haben. Die Botschaft ist klar: Wir brauchen robuste Sicherheitsmechanismen – nicht nur in Software, sondern auch in Hardware. Ein wichtiger Schritt, wenn wir KI-Agenten in kritischen Bereichen einsetzen wollen.