NarrateAI: AWS beschreibt mehrstufige Prüfung von KI-Geschäftszahlen

Prüfungen während der Antwortgenerierung

AWS hat am 25. September einen vertiefenden Technikbericht zu NarrateAI veröffentlicht. Der interne Assistent unterstützt die Auswertung von Geschäftsinformationen. Im Mittelpunkt stehen diesmal Verfahren zur Qualitätssicherung, nicht der erstmalige Start des Systems.

Beschrieben werden unter anderem eine Verarbeitung abhängig vom Datenumfang, Ausweichmöglichkeiten bei Modellengpässen und die Prüfung einzelner Absätze während ihrer Entstehung. Für Zahlen sieht der Ansatz zunächst einen direkten Abgleich und bei Bedarf eine weitergehende inhaltliche Überprüfung vor.

Eine Genauigkeitsangabe mit begrenztem Geltungsbereich

AWS nennt für die beschriebene Lösung eine numerische Genauigkeit von ungefähr 99 Prozent. Das ist eine Anbieterangabe zu diesem Einsatz und keine allgemeine Garantie für Amazon Bedrock oder beliebige Geschäftsdaten. Numerische Richtigkeit allein bestätigt außerdem nicht jede Interpretation, die ein Text mit einer Zahl verbindet.

Einordnung: Die passende Zahl braucht den passenden Bezug

Eine Kennzahl kann korrekt aus einer Tabelle übernommen sein und dennoch im falschen Zusammenhang stehen. Umsatz eines Monats und kumulierter Jahresumsatz sind beispielsweise unterschiedliche Größen. Für einen brauchbaren Bericht müssen Zeitraum, Einheit und Bezugsgruppe mit der Zahl verbunden bleiben.

Bei einem eigenen Vergleich wäre daher sinnvoll, bewusst ähnlich bezeichnete Kennzahlen und verschiedene Zeiträume einzubeziehen. Entscheidend ist nicht nur, ob ein Zahlenwert irgendwo in den Daten vorkommt, sondern ob er die gestellte Frage beantwortet.

Der Technikbericht macht Qualitätssicherung als Teil des gesamten Antwortablaufs sichtbar. Für andere Teams ist vor allem das Prinzip übertragbar, Prüfungen an konkrete Fehlerarten zu knüpfen. Wie gut diese wirken, muss mit den eigenen Daten und fachlichen Abnahmekriterien ermittelt werden.

Quellen

• Originalquelle: AWS