Exkurs: Warum professionelle KI-Systeme zusätzliche Sicherheitsmaßnahmen benötigen
ℹ️ Exkurs
Dieser Abschnitt dient der fachlichen Vertiefung. Für die Entwicklung eines
eigenen KI-Assistenten musst du die technischen Details zu Prompt
Injection und Guardrails, die hier behandelt
werden, nicht im Detail kennen. Wichtig ist vor allem zu verstehen, dass ein
guter System Prompt allein kein KI-System vollständig
absichern kann. Professionelle Anwendungen setzen deshalb mehrere
Sicherheitsmechanismen ein, die auf unterschiedlichen Ebenen zusammenwirken.
Auf der vorherigen Seite haben wir gesehen, dass Root
Instructions und System Prompts das Verhalten
eines KI-Assistenten steuern.
Dennoch handelt es sich dabei nicht um Programmierung im klassischen Sinn,
sondern um Anweisungen in natürlicher Sprache.
Für das Sprachmodell bestehen die Root Instructions, der
System Prompt und die Nutzereingaben
zunächst aus Text. Das Modell verarbeitet diese Anweisungen gemeinsam und
erzeugt auf Grundlage der im Training erlernten Muster eine Antwort.
Dabei werden unterschiedliche Arten von Anweisungen vom KI-System in der
Regel unterschiedlich stark gewichtet. Root Instructions und System Prompts
besitzen meist eine höhere Priorität als Nutzereingaben. Dennoch kann es
vorkommen, dass übergeordnete Regeln nicht wie beabsichtigt befolgt werden.
Was ist Prompt Injection?
Geschickt formulierte Nutzereingaben können versuchen, die vom System
vorgesehenen Anweisungen zu beeinflussen, umzudeuten oder ihre Wirkung
abzuschwächen.
Solche Angriffe bezeichnet man als Prompt Injection.
🤔 Denkanstoß
Sprachmodelle sind darauf trainiert, möglichst passende und hilfreiche
Antworten auf Eingaben zu erzeugen. Sie besitzen jedoch keine eigenen
Gefühle und kein eigenes Verständnis von Sicherheit. Deshalb können
geschickt formulierte Eingaben gelegentlich dazu führen, dass ein Modell
Anweisungen anders interpretiert als beabsichtigt.
Guardrails als zusätzliche Sicherheitsschicht
Gute Root Instructions und ein klar formulierter System Prompt reichen allein
nicht aus, um ein KI-System vollständig abzusichern. Professionelle
KI-Anwendungen nutzen deshalb zusätzliche technische Sicherheitsmaßnahmen.
Dazu gehören beispielsweise Eingabe- und Ausgabefilter,
Zugriffsbeschränkungen, Moderationsmodelle und weitere Kontrollmechanismen.
💬 Vereinfacht gesagt
Ein Teil der Guardrails lässt sich vereinfacht wie ein
Türsteher vorstellen. Ein Eingangsfilter prüft Anfragen,
bevor sie das Sprachmodell erreichen. Ein Ausgangsfilter kann anschließend
kontrollieren, ob die erzeugte Antwort gegen bestimmte Sicherheitsregeln
verstößt. Gefährliche Anleitungen, beleidigende Inhalte oder Aufforderungen
zur Preisgabe sensibler personenbezogener Daten können so erkannt und
abgefangen werden. Gerade für professionelle Anwendungen ist das sehr
wichtig.
Diese zusätzlichen Schutzmechanismen werden häufig auch als
Guardrails bezeichnet.
Guardrails bilden zusätzliche Schutzschichten vor oder nach dem eigentlichen
Sprachmodell. Sie prüfen beispielsweise Anfragen oder Antworten auf mögliche
Sicherheitsrisiken.
Zu Guardrails gehören beispielsweise klassische Filter, festgelegte Regeln,
Zugriffsbeschränkungen oder spezialisierte KI-Moderationsmodelle. Nicht alle
dieser Schutzmechanismen basieren selbst auf Künstlicher Intelligenz. Viele
werden durch klassische Software oder fest programmierte Regeln umgesetzt.
KI-Moderationsmodelle beantworten die ursprüngliche Anfrage in der Regel
nicht selbst. Stattdessen bewerten oder klassifizieren sie Inhalte anhand
bestimmter Sicherheitskategorien.
Ein Beispiel sind Schutzfilter für biologische und chemische Risiken.
Anthropic setzt hierfür sogenannte „Classifier Guards“ ein,
die Anfragen und Antworten auf bestimmte sicherheitsrelevante Inhalte im
Bereich Biologie und Chemie prüfen.
Menschliche Kontrolle (Human-in-the-Loop)
Bei besonders kritischen Anwendungen verlassen sich Unternehmen nicht allein
auf System Prompts und Guardrails. Stattdessen wird bei besonders kritischen
Entscheidungen zusätzlich ein Mensch in den Entscheidungsprozess einbezogen.
Dieses Prinzip wird als Human-in-the-Loop (HITL) bezeichnet.
📝 Beispiel
Eine KI analysiert ein Röntgenbild und erkennt möglicherweise Anzeichen einer
Lungenentzündung. Bevor eine Diagnose gestellt oder eine Behandlung
eingeleitet wird, überprüft jedoch eine Ärztin oder ein Arzt den Vorschlag
der KI und trifft die endgültige Entscheidung. Dieses Prinzip bezeichnet man
als Human-in-the-Loop.
Human-in-the-Loop bildet eine weitere Sicherheitsebene. Gerade bei
medizinischen, rechtlichen oder finanziellen Entscheidungen sowie bei
sicherheitskritischen Anwendungen ist die abschließende Prüfung durch einen
Menschen häufig unverzichtbar.
💡 Merke
Root Instructions und System Prompts steuern das Verhalten eines KI-Assistenten
mit sprachlichen Anweisungen. Guardrails ergänzen diese Vorgaben um weitere
technische Schutzmechanismen. In besonders kritischen Anwendungen kommt
zusätzlich das Prinzip des Human-in-the-Loop zum Einsatz.
Auch die menschliche Kontrolle bietet jedoch keinen vollständigen Schutz.
Erst mehrere aufeinander abgestimmte Schutzebenen erhöhen die Sicherheit.
Nachdem wir nun die Möglichkeiten und Grenzen solcher Regeln
kennengelernt haben, schauen wir uns als Nächstes an, wie sich klare Regeln
für einen System Prompt formulieren lassen.