AWS zeigt, wie sich die Delegation von KI-Agenten begrenzen lässt
Ein neuer Architekturbeitrag betrachtet Übergaben zwischen Eingaben, Werkzeugen und Datenzugriffen. Entscheidend sind überprüfbare Grenzen für jede delegierte Aktion.
Drei Übergaben als gemeinsamer Ansatzpunkt
AWS hat am 25. September einen Architekturbeitrag zur kontrollierten Delegation in KI-Systemen veröffentlicht. Die Autoren betrachten drei Übergaben: Vertrauen an eingelesene Inhalte, Aktionen an Werkzeuge und Zugriff an die Datenbeschaffung. An diesen Stellen sollen Berechtigungen überprüft werden.
Der Beitrag verbindet den Ansatz mit Amazon Bedrock AgentCore. Er beschreibt ein Architekturmodell und keine neu eingeführte Garantie, dass Agenten sämtliche manipulierten Eingaben zuverlässig erkennen.
Externe Inhalte sind nicht automatisch ein Auftrag
Die Autoren erläutern, wie Anweisungen in Dokumenten die Bearbeitung beeinflussen können. Ihr Ansatz setzt deshalb auf Grenzen außerhalb der bloßen Modellentscheidung: Ob eine Handlung erlaubt ist, sollte nicht allein davon abhängen, ob ein Sprachmodell eine Eingabe richtig einordnet.
Einordnung: Auch harmlose Abweichungen lassen sich prüfen
Ein Team könnte zunächst mit einer ungefährlichen Testaufgabe untersuchen, ob eingelesener Text unerwartet das Ausgabeformat oder die Auswahl von Informationen verändert. Das würde noch keine vollständige Sicherheitsbewertung ersetzen, könnte aber eine problematische Grenze sichtbar machen.
Anschließend wäre zu prüfen, welche Folgen eine solche Abweichung überhaupt auslösen dürfte. Ein Assistent, der nur einen Entwurf erstellt, hat andere Möglichkeiten als ein System mit Schreibzugriff. Der sinnvolle Prüfgegenstand ist deshalb die gesamte Kette vom Auftrag bis zur Wirkung einer Aktion, einschließlich der vorgesehenen Berechtigungen.
Kommentare