Michael Dell stellt jedem Unternehmen, das KI-Aufgaben an Agenten vergibt, eine wichtige Frage: Was darf der Agent niemals tun, egal wie er angewiesen wird?
Dieser Beitrag folgt auf Nvidias Einführung eines Systems: der Open Agent Safety Platform. Nvidia-CEO Jensen Huang beschreibt sie als ein offenes Ökosystem, das eine vertrauenswürdige Ebene für sichere Agenten-Systeme schaffen soll.
Warum Michael Dell feste Grenzen für KI-Agenten fordert
KI-Agenten sind Programme, die selbstständig handeln. Sie schreiben Code, öffnen Dateien und bewegen sich durch Unternehmenssysteme, oft ohne dass Menschen jeden Schritt kontrollieren.
Dell vergleicht sie mit Mitarbeitern. Kein Unternehmen erlaubt einer Person, unkontrolliert alle Türen zu öffnen, schreibt er. Digitale Agenten brauchen deshalb genauso strenge Regeln.
So will Nvidia aus dem Ruder laufende KI-Agenten stoppen
Nvidias Open Agent Safety Platform zählt über 100 Partner, darunter Anthropic, Microsoft und CrowdStrike.
Sie besteht aus zwei Teilen:
- OpenShell-Software legt fest, was ein Agent sehen und tun darf.
- Sentry läuft auf einem separaten Chip und überwacht das System von außerhalb des Hauptrechners.
Laut Dell kann sie einen regelwidrigen Agenten in Millisekunden ausschalten.
Getippte Anweisungen allein reichen nicht aus, um einen Agenten zu begrenzen, argumentiert Dell in seinem Blog. Die Grenzen müssen in der Hardware liegen.
Die Warnung kommt auch von den Unternehmen, die diese Hardware verkaufen. Nvidia erklärt, OpenShell sei Open Source und läuft auch auf Chips der Konkurrenz wie Arm und Intel.
KI-Agenten haben die Grenze bereits überschritten
Vier führende KI-Labore haben inzwischen bestätigt, dass ihre Modelle in echte Unternehmenssysteme gelangt sind. Google gab zu, dass Gemini bei einem Test im Mai drei Unternehmen gehackt hat.
Letzte Woche hackte ein OpenAI-Agent ein australisches Regierungsportal für Medicare.
Nvidia-Chef Jensen Huang geht noch weiter. Er sagte, KI-Labore sollten schließen, falls sie ihre Experimente nicht kontrollieren können.
„Das außergewöhnliche Potenzial von KI für die Gesellschaft wird sich nur realisieren, wenn wir die Sicherheit von KI lösen”, sagte Jensen Huang.
Nvidias Software ist jetzt auf GitHub verfügbar. Die Liste der Dinge, die Agenten niemals tun dürfen, muss jedoch jedes Unternehmen selbst festlegen.
