Wenn KI dein Unternehmen hackt – warum Sicherheit beim KI-Einsatz nicht verhandelbar ist

Die Falle ist cleverer, als du denkst: Präparierte Custom GPTs locken Mitarbeiter auf Phishing-Seiten, während KI-Werkzeuge im Unternehmen selbst zum Datenleck werden.

Sicher, du hast schon von Custom GPTs gehört. Das sind die genialen, angepassten ChatGPT-Versionen, mit denen sich der Kundenservice optimieren, Daten schneller aufbereiten und Texte generieren lassen. Eine großartige Sache. Aber Achtung: Sie sind auch eine gigantische Angriffsfläche – und das ist nur die eine Seite des Problems.

Im Oktober 2026 haben Sicherheitsforscher von Huntress eine Kampagne aufgedeckt, die zeigt, wie gefährlich die unkontrollierte Nutzung von KI-Tools sein kann. Angreifer hatten Custom GPTs mit Namen wie „Plus 5.6” erstellt und über Google-Anzeigen verbreitet. Das Ziel war es, Nutzer auf gefälschte Seiten zu locken, wo die Custom GPTs über PowerShell-Befehle einen Fernzugriffstrojaner installieren sollten. Die Täter waren dabei auffallend raffiniert, denn sie nutzten die Glaubwürdigkeit von OpenAI-Domains, um ihre Opfer zu täuschen.

Das Problem: Diese Angreifer brauchten nicht einmal Exploit-Zero-Days oder komplexe Technologie. Sie brauchten nur Vertrauen. Und genau darin steckt die echte Gefahr.

Obwohl Custom GPTs am 11. Dezember 2026 im neuen Gewand daher kommen und Plugins heißen, ändert das nach unserem Kenntnisstand nichts an den hier beschriebenen Problematiken.

Warum Custom GPTs plötzlich zum Sicherheitsrisiko werden

Custom GPTs klingen nach der perfekten Lösung: Du passt ChatGPT an deine Anforderungen an, integrierst dein Wissen und deine Dateien – und schon haben deine Mitarbeiter:innen einen intelligenten Assistenten. Da OpenAI das Ganze hostet, muss es sicher sein, oder?

Nein, das ist genau der Punkt, den viele Geschäftsführer und IT-Leiter – von den Mitarbeitern einmal ganz abgesehen – nicht tiefgründig genug hinterfragen.

Die Realität sieht wie folgt aus: Aktuelle Sicherheitsforschung zeigt, dass etwa 95 % der Custom GPTs unzureichende Sicherheitsmaßnahmen haben. Noch schlimmer: Über 98,8 % sind anfällig für Prompt-Injection-Angriffe, bei denen Angreifer die Anweisungen des GPTs extrahieren können. Deine proprietären Hinweise, dein Know-how, deine Firmendaten – alles in der Hand Fremder. Die anderen 1,2 %? Die fallen bei etwas mehr Aufwand ebenfalls durch das Raster. Kein einziger Custom GPT hat sich als sicher erwiesen.

Die Huntress-Kampagne zeigt jedoch, dass es nicht nur um die Kompromittierung deiner GPTs geht. Es geht auch darum, dass Angreifer deine Mitarbeiter als Werkzeug nutzen, um ins Unternehmen zu gelangen. Genau das ist hier passiert. Ein Mitarbeiter der Personalabteilung klickte auf eine Anzeige für einen „hilfreich aussehenden Custom GPT“, landete auf einer gefälschten Cloudflare-Verifizierungsseite – und schon saß ein Trojaner mit Fernzugriff, Audio- und Kamera-Zugriff, voller Systemkontrolle und der Fähigkeit, weitere Malware nachzuladen auf seinem Desktop.

Das Tückische daran ist, dass der gesamte Infektionsprozess teilweise im Arbeitsspeicher abläuft oder dass legitime, signierte Programme als Tarnung genutzt werden. EDR-Systeme erkennen das oft nicht sofort. Wenn die Persistenz einmal hergestellt ist (Registry-Einträge, geplante Aufgaben), wird es für dein SOC (Security Operations Center, ein üblicherweise ausgelagertes Team von IT-Sicherheitsexperten) zur Sisyphusarbeit, das wieder aus deinem Unternehmensnetzwerk zu entfernen.

Die versteckte Gefahr: KI als Datenleck im eigenen Haus

Aber hier wird es noch wichtiger für dich: Das externe Sicherheitsrisiko ist nicht das Schlimmste. Am schlimmsten ist es, wenn Unternehmen KI-Tools nutzen, ohne zu wissen, was mit ihren Daten passiert.

Ich habe das selbst schon erlebt – und das, obwohl kein konkreter Angriff stattgefunden hat. Ein mittelständischer Personalvermittler wollte die Bewerbungsunterlagen seiner Kunden mit ChatGPT aufbereiten – eigentlich eine coole Idee, um schneller professionelle Lebensläufe zu erstellen. Doch niemand fragte: „Wo landen diese Daten eigentlich? Wer hat Zugriff? Werden sie zum Training von KI-Modellen genutzt?”

Das Ergebnis war mehr als schmerzhaft: Persönliche Daten der Kandidaten – Kontaktinformationen, Qualifikationen und teilweise sogar Gesundheitsinformationen – wurden über die KI-APIs gesendet und befanden sich damit außerhalb der Kontrolle des Unternehmens. Im schlimmsten Fall konnten diese Daten von Dritten abgegriffen oder zum Training genutzt werden. Ein Datenschutzskandal der Marke „Hätten wir vorher drüber nachdenken sollen“.

Das Kernproblem ist, dass Unternehmen KI-Tools verwenden, als wären es neutrale Werkzeuge. Sie sind es nicht. Jeder KI-Einsatz ist eine Vorgabe zur Datenverarbeitung, in der Regel völlig außer Haus – und daher muss man wissen, was man tut.

Die fehlenden Elemente: Bewusstsein und Governance

Hier ist die unbequeme Wahrheit: Es handelt sich nicht nur um ein technisches oder ein Security-Problem. Es ist auch kein reines Awareness-Problem, das sich durch eine Schulung lösen lässt. Es ist ein Governance-Problem.

Governance bedeutet, Fragen zu stellen, bevor die Tür (in die falsche Richtung) aufgeht.

• Welcher Geschäftsprozess soll mithilfe von KI verbessert werden?
• Welche Daten fließen in die KI?
• Wem gehören diese Daten?
• Was macht die KI damit (Training, Speicherung, Verarbeitung)?
• Sind die Daten verschlüsselt?
• Ist dafür eine rechtliche Grundlage vorhanden (DSGVO, KI-Verordnung)?
• Wer trägt die Verantwortung, wenn es schiefgeht?

Viele Mittelständler machen das nicht. Sie laden einen Custom GPT aus dem Store, trainieren ihn mit internen Dokumenten und merken erst zu spät, dass sie gerade ihre Betriebsräte, Gehälter oder Kundenverträge einer Cloud-Anwendung anvertraut haben, deren Datenschutzpraktiken sie nicht kennen.

Die EU-KI-Verordnung (AI Act) ist seit August 2026 in der Transparenz- und Dokumentationspflicht voll wirksam. Das heißt: Du musst dokumentieren, welche KI-Systeme du nutzt, wie sie funktionieren und welche Risiken sie mit sich bringen. Verstöße können bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes kosten.

Die DSGVO war die erste Welle. NIS-2 und die KI-Verordnung sind die zweite. Und sie überlappen sich. Eine Datenschutz-Folgenabschätzung (DSFA) nach DSGVO ist oft gleichzeitig eine Risikoabschätzung nach AI Act.

Das bedeutet konkret für dich: Bevor du einen Custom GPT mit Kundendaten trainierst, musst du:

1. Feststellen: Welche Daten gehen rein? (Kundennamen, E-Mails, Vertragsdetails?)
2. Bewerten: Ist das ein hohes oder niedriges Risiko?
3. Dokumentieren: Was hast du überlegt? Welche Maßnahmen hast du getroffen?
4. Überwachen: Wie überprüfst du, dass die KI sich verhält, wie sie soll?
5. Reagieren: Wenn der GPT kompromittiert wird oder Daten lecken – was dann?

Wie Sicherheit und Datenschutz zusammenhängen – und warum Change Management entscheidend ist

Deine Mitarbeiter sind nicht blöd, wenn sie auf so einen GPT klicken. Sie sind nur nicht geschult. Sie wissen nicht, dass:

• Nicht alle Custom GPTs seriös sind.
• eine schöne Google-Anzeige nicht bedeutet, dass das Tool vertrauenswürdig ist.
• ein PowerShell-Prompt „zur Verifizierung” nichts mit legitimen Websites zu tun hat.
• Sie mit bestimmten KI-Tools automatisch sensible Daten weitergeben.

Das heißt konkret:

• Schulung: Deine Team-Mitarbeitenden brauchen ein Verständnis dafür, was KI kann und wo die Grenzen sind.
• Richtlinien: Es reicht nicht, Custom GPTs zu erlauben. Du brauchst klare Regeln: Welche GPTs sind erlaubt? Welche Daten dürfen verwendet werden?
• Monitoring: Welche KI-Tools nutzen deine Mitarbeitenden wirklich? Das musst du sehen.
• Kommunikation: Wenn etwas schiefgeht – wie bei der Huntress-Kampagne –, musst du schnell und transparent reagieren können.

Das Ganze ist also kein reines IT-Security-Thema. Hier spielt die Zusammenarbeit zwischen den Abteilungen IT, HR, Recht, den verschiedenen Fachbereichen und der Geschäftsleitung eine Rolle. Es umfasst nicht nur eine IT-Governance, sondern die Governance der Zusammenarbeit im Unternehmen.

Praktische Warnsignale – Was du jetzt überprüfen solltest

Bei der Analyse der Kampagne hat Huntress folgende Indikatoren für eine Infektion identifiziert. Diese Informationen sind aber auch sehr hilfreich, um allgemein zu verstehen, was schiefläuft:

• PowerShell startet msiexec.exe im stillen Modus. Das ist typisch für Malware-Installationen, nicht für legitime Prozesse.
• Signierte Anwendungen starten aus ungewöhnlichen Pfaden (z. B. %LOCALAPPDATA%\Programs). Das ist ein klassisches Tarnungsmuster.
• Registry-Einträge und geplante Aufgaben mit seltsam vertrauten Namen: Angreifer verwenden oft harmlos klingende Namen wie „Canon Configuration Reader” oder „Stardock Config Service”.
• Verschlüsselte Dateisysteme in Temp-Ordnern: Das war besonders raffiniert. Die Angreifer bauten ein eigenes Archiv mit 1 128 Einträgen, um Persistenz und weitere Payloads zu verstecken.

Für dich als Geschäftsführer oder IT-Leitung bedeutet das:

Was ist zu tun? Der Fahrplan

Die Antwort kann nicht lauten, alle Custom GPTs oder KI generell zu verbieten. Ihre Nutzung erfordert jedoch Struktur und Wissen.

Dein Maßnahmenplan:

1. Bestandsaufnahme: Welche KI-Tools nutzen wir bereits? Welche sind geplant? Welche Daten verarbeiten sie?
2. Risikoklassifizierung: Handelt es sich um Hochrisiko-Systeme (z. B. HR-Tools, Kundenanalysen) oder um Low-Risk-Systeme (z. B. Textformatierung)?
3. Governance etablieren: Es müssen klare Richtlinien für den KI-Einsatz erstellt werden: Wer darf was, mit welchen Daten und zu welchem Zweck?
4. Technische Maßnahmen:
   • Zugriffsschutz auf KI-APIs
   • Logging der KI-Nutzung
   • Regelmäßige Sicherheitsprüfungen
   • Segmentierung sensibler Daten
5. Schulung und Change Management:
   • Awareness-Kampagnen für Mitarbeiter
   • Regelmäßiges Training zu neuen Bedrohungen
   • Klare Kommunikation über erlaubte und verbotene Tools
6. Compliance-Dokumentation:
   • DSFA für KI-Projekte mit hohem Risiko
   • AI-Act-Compliance bis zum 2. Dezember 2027
   • DSGVO-konforme Verarbeitungsverträge mit KI-Anbietern

Unser Vorgehen

Ja, ein solches Governance-Projekt inklusive Change-Management, User Adoption und IT-Härtung ist komplex. Und ja, es braucht Zeit. Aber es ist nicht optional, sondern aufgrund des Cyber Resilience Acts seit dem 11.09. Pflicht – und es schützt dein Unternehmen.

Wenn du Fragen hast oder Beratung oder Projektunterstützung benötigst, sind wir für dich da. Unser Vorgehen ist klar und nachvollziehbar. Zunächst erstellen wir ein Konzept, in dem wir die Unternehmensprozesse und die IT-Landschaft betrachten, den digitalen Reifegrad und die aktuellen KI-Einsätze ermitteln und gemeinsam Chancen und Risiken ausloten.

In Workshops mit den Fachbereichen durchlaufen wir einen strukturierten Fragenkatalog. Wo soll KI eingesetzt werden? Welche Daten sind betroffen? Welche Governance-Regeln brauchen wir? Welche technischen Maßnahmen sind nötig?

Das Ergebnis ist ein Governance-Konzept, das genau zu deinem Unternehmen passt – kein generischer „Best Practice“-Plan, sondern eine maßgeschneiderte Lösung.

Wir unterstützen euch auch beim Change Management: Wir schulen eure Mitarbeitenden, kommunizieren die neuen Regeln klar und – ganz wichtig – passen kontinuierlich an, wenn sich die Bedrohungslage ändert.

Unser Ziel: KI nutzen, ohne die Kontrolle zu verlieren. Das ist möglich. Es braucht aber einen Plan.