Branchenmodul: IT und Software

Worum es geht

In IT-Betrieben ist KI Werkzeug und manchmal Produkt zugleich: Code-Assistenten schreiben mit, Chat-Assistenten beantworten Tickets, und in eigene Software werden KI-Funktionen eingebaut. Die Risiken sind konkret: Zugangsdaten, die im Prompt landen, Code mit unklarer Lizenz, Sicherheitslücken aus generiertem Code und Kundendaten, die den Betrieb verlassen. Dieses Modul zeigt, worauf es im Alltag ankommt.

Wo KI im IT-Betrieb steckt

• Code-Assistenten in der Entwicklungsumgebung (Copilot, Cursor, Claude Code, Codeium und andere).
• Chat-Assistenten für Fehlersuche, Dokumentation, Skripte, Konfigurationen, Kundenantworten.
• Ticket- und Supportsysteme mit Antwortvorschlägen und Zusammenfassungen.
• Monitoring, Security- und Cloud-Tools mit KI-Auswertung.
• Eigene Produkte mit eingebauten Sprachmodellen oder Automatisierungen.

Zugangsdaten und Kundendaten

Der häufigste Vorfall in IT-Betrieben: Ein Log, eine Konfigurationsdatei oder ein Stacktrace wird in einen Chat kopiert, und darin stehen API-Schlüssel, Passwörter, Tokens, interne Hostnamen oder Kundendaten.

Regeln:

• Vor jedem Prompt Zugangsdaten, Schlüssel, Tokens, Verbindungszeichenfolgen und personenbezogene Daten entfernen oder durch Platzhalter ersetzen. Ist ein Geheimnis versehentlich im Prompt gelandet, gilt es als kompromittiert: sofort rotieren und melden.
• Kundendaten aus Tickets, Datenbanken, Backups und Logs gehören nur in Systeme, die der Betrieb freigegeben hat und mit denen ein Auftragsverarbeitungsvertrag besteht. Für die Daten Ihrer Kunden sind Sie meist Auftragsverarbeiter: Ihr Vertrag mit dem Kunden regelt, welche Unterauftragsverarbeiter (auch KI-Anbieter) erlaubt sind. Ein neuer KI-Dienst kann eine vertragliche Zustimmung des Kunden erfordern.
• Quellcode des Betriebs und der Kunden ist Geschäftsgeheimnis. Er wird nur mit Werkzeugen verarbeitet, deren Vertrag die Nutzung für Training ausschließt und die im Inventar freigegeben sind.

Generierter Code: Qualität, Sicherheit, Lizenz

• Sicherheit: Generierter Code enthält regelmäßig Schwachstellen (fehlende Eingabeprüfung, unsichere Standardwerte, veraltete Bibliotheken, hartkodierte Geheimnisse). Er wird wie fremder Code behandelt: Review, Tests, statische Analyse, Abhängigkeiten prüfen. Ein Assistent kann auch nicht existierende Pakete vorschlagen; solche Namen werden gezielt von Angreifern registriert.
• Lizenz: Assistenten können Code reproduzieren, der unter einer Lizenz steht, die mit Ihrem Projekt nicht vereinbar ist (etwa Copyleft). Größere übernommene Fragmente werden auf Herkunft geprüft; Filter der Anbieter werden aktiviert, wo vorhanden. Rein KI-erzeugter Code ist zudem meist nicht urheberrechtlich schutzfähig, was für Kundenverträge über „exklusive Rechte“ eine Rolle spielt.
• Verantwortung: Wer Code einbaut, steht dafür ein. „Das hat die KI geschrieben“ ist keine Fehlerursache, sondern eine fehlende Prüfung.
• Agenten mit Zugriff: Werkzeuge, die selbständig Dateien ändern, Befehle ausführen oder auf Systeme zugreifen, laufen nur mit den minimal nötigen Rechten, nie mit Produktionszugängen ohne Freigabe, und mit nachvollziehbaren Änderungen (Versionskontrolle, Review).

Manipulation durch Eingaben

Sprachmodelle folgen Anweisungen, die in ihren Eingaben stehen, auch wenn diese aus fremden Quellen stammen (Prompt Injection): eine Webseite, ein Ticket, ein Dokument, eine E-Mail. Ein Assistent, der Tickets liest und Aktionen ausführen darf, kann so zu Datenabfluss oder ungewollten Aktionen gebracht werden. Regel: Systeme, die fremde Inhalte verarbeiten und handeln dürfen, bekommen enge Rechte, Freigabeschritte durch Menschen und Protokolle. Inhalte aus fremden Quellen sind Daten, keine Befehle.

Wenn Sie KI in eigene Produkte einbauen

Wer ein KI-System entwickelt, anbietet oder unter eigenem Namen in Verkehr bringt, kann Anbieterpflichten der KI-Verordnung treffen, die über Art. 4 hinausgehen: Transparenzpflichten (Kunden müssen wissen, dass sie mit KI interagieren; künstlich erzeugte Inhalte werden kenntlich gemacht), Verbote bestimmter Praktiken und, je nach Einsatzzweck, Hochrisiko-Pflichten (etwa bei Personalauswahl, Kreditvergabe, kritischer Infrastruktur). Vor dem Einbau einer KI-Funktion in ein Produkt wird mit der Ansprechperson geklärt, welche Pflichten gelten und wie die Funktion dokumentiert wird.

Fünf Regeln für den IT-Alltag

1. Keine Geheimnisse und keine Kundendaten in Prompts; versehentlich eingegebene Schlüssel sofort rotieren und melden.
2. Generierten Code reviewen, testen, auf Schwachstellen, Pakete und Lizenzen prüfen.
3. KI-Werkzeuge nur aus dem Inventar; Kundenverträge zu Unterauftragsverarbeitern beachten.
4. Agenten und Automatisierungen mit minimalen Rechten, Freigaben und Protokoll.
5. KI in eigenen Produkten vorher rechtlich einordnen (Transparenz, Hochrisiko).

Beispiele

Support: Ein Ticket enthält den Datenbank-Dump eines Kunden. Er wird nicht in den Chat-Assistenten kopiert; der Kollege nutzt das freigegebene System oder arbeitet ohne KI.

Entwicklung: Der Assistent schlägt ein Paket vor, das es im Registry nicht gibt. Beim Prüfen fällt es auf; ein gleichnamiges Paket wäre eine Woche später von Dritten registriert worden.

Betrieb: Beim Debuggen landet ein Cloud-Zugangsschlüssel im Prompt. Der Schlüssel wird innerhalb von Minuten rotiert und der Vorfall der Ansprechperson gemeldet.

Produkt: Eine neue Funktion soll Bewerbungen für Kunden vorsortieren. Das ist ein Hochrisiko-Einsatz; vor der Entwicklung wird geklärt, welche Pflichten gelten und ob der Betrieb sie erfüllen kann.

Was Sie mitnehmen

• Prompts sind Datenabflüsse: keine Geheimnisse, keine Kundendaten, Vorfälle melden.
• Generierter Code ist fremder Code: prüfen, testen, Lizenz klären.
• Für KI in eigenen Produkten gelten zusätzliche Pflichten; vorher einordnen.