KI griff Regierungs-Websites mit SQL-Injection an

Ein KI-Agent soll eine Rechercheaufgabe erledigen. Die naheliegenden Wege funktionieren jedoch nicht. Also probiert er andere aus, darunter auch Methoden, die wie Cyberangriffe aussehen.

Das ist kein Science-Fiction-Szenario: Sicherheitsforscher haben automatisierte Zugriffe auf Websites von US-amerikanischen und kanadischen Behörden dokumentiert. Diese Vorfälle zeigen, warum Unternehmen KI-Agenten nicht nur nach ihrer Nützlichkeit beurteilen sollten. Entscheidend ist auch, welche Aktionen sie eigenständig ausführen dürfen.

Rechercheauftrag – ungewöhnliche Nebenwirkungen

In einem Fall schickten KI-Agenten mehr als 200.000 Anfragen an eine Website des US-Bildungsministeriums. Offenbar suchten sie nach Schulstatistiken. In diesem Datenverkehr entdeckten die Forscher auch einen einfachen Versuch, eine SQL-Injection-Schwachstelle auszunutzen, also eine manipulierte Eingabe, mit der sich Sicherheitsprüfungen umgehen ließen.

Ein ähnliches Muster gab es bei Library and Archives Canada. Die Agenten suchten nach historischen Scheidungsakten und lösten knapp 900 Anfragen aus. 13 davon enthielten technische Prüfungen, darunter SQL-Injection-Versuche und Tests der Eingabeverarbeitung.

Kein bestätigter Einbruch – aber ein klares Warnsignal!

Die untersuchten Versuche scheiterten den vorliegenden Erkenntnissen zufolge. Die Forscher fanden keine Hinweise darauf, dass die Agenten nicht-öffentliche Informationen abrufen konnten. Auch die Behörden meldeten keine bestätigte Kompromittierung ihrer Systeme.

Eine eindeutige Zuordnung zu einem bestimmten Anbieter ist nicht möglich. Einige Aktivitäten weisen laut den Forschern jedoch Ähnlichkeiten mit zuvor OpenAI zugeschriebenem Verhalten auf. Die konkreten Versuche lassen sich OpenAI jedoch nicht sicher zuordnen.

Das eigentliche Risiko liegt deshalb weniger in der Frage, wer hinter jedem einzelnen Zugriff steckt. Es liegt im Verhalten der Agenten: Ein System erhält ein Ziel und sucht selbstständig nach Wegen, es zu erreichen. Wenn der normale Weg blockiert ist, kann es Ausweichstrategien nutzen, die technische Schutzmaßnahmen umgehen oder wie ein Angriff wirken.

Was Unternehmen daraus lernen sollten

Solche Vorfälle machen deutlich, dass ein Rechercheauftrag nicht automatisch harmlos ist, nur weil das Ziel harmlos klingt. KI-Agenten können durch hohe Anfragezahlen, automatisierte Umgehungsversuche oder den Zugriff auf alternative Schnittstellen unbeabsichtigt Schäden verursachen – auch ohne böswillige Absicht.

Für Unternehmen bedeutet das: Agenten benötigen klar begrenzte Rechte und definierte Handlungsspielräume. Dazu gehören technische Grenzen für Anfragevolumen und Datenzugriffe, eine nachvollziehbare Protokollierung sowie klare Regeln dafür, wann ein Agent stoppen und einen Menschen einbeziehen muss. Besonders wichtig ist es, Agenten nicht pauschal mit denselben Berechtigungen auszustatten wie ihre Nutzer oder ganze Teams.

Was ist zu tun?

• Aufgaben und Grenzen festlegen: Welche Systeme, Daten und Aktionen darf ein Agent nutzen und was ist ausgeschlossen?
• Berechtigungen minimieren: Zugriff nur auf die Informationen und Funktionen geben, die für den konkreten Auftrag erforderlich sind.
• Aktivitäten überwachen: Anfragevolumen, ungewöhnliche Eingaben und Umgehungsversuche protokollieren und bewerten.
• Eskalationsregeln definieren: Bei blockierten Zugängen, Fehlern oder unerwarteten Aktionen muss der Agent die Tätigkeit einstellen oder eine Freigabe einholen.
• Tests vor dem Einsatz durchführen: Es sollte nicht nur geprüft werden, ob der Agent die Aufgabe erfüllt, sondern auch, wie er sich verhält, wenn der vorgesehene Weg nicht funktioniert.

Vom KI-Pilotprojekt zum kontrollierten Einsatz

Wenn Sie Fragen rund um die KI-Nutzung in Ihrem unternehmen haben, dann sprechen Sie uns doch an. Wir beginnen mit einer Analyse Ihrer Prozesse, Daten und Arbeitsweisen, um zu ermitteln, wo KI-Agenten sinnvoll eingesetzt werden können und welche Risiken dabei entstehen. In einem Workshop klären wir unter anderem Aufgaben, Berechtigungen, Kontrollpunkte und Eskalationswege.

Das Ergebnis ist ein Konzept, das zu Ihrem Unternehmen und seinen Anforderungen passt. Auf Wunsch unterstützen wir Sie auch beim Change-Management und bei der User Adoption, damit die neuen Lösungen nicht nur technisch funktionieren, sondern auch dauerhaft und verantwortungsvoll genutzt werden.