Exkurs: Warum professionelle KI-Systeme zusätzliche Sicherheitsmaßnahmen benötigen
ℹ️ Exkurs
Dieser Abschnitt dient der fachlichen Vertiefung. Für die Entwicklung eines eigenen KI-Assistenten musst du die technischen Details zu Prompt Injection und Guardrails, die hier behandelt werden, nicht im Detail kennen. Wichtig ist vor allem zu verstehen, dass ein guter System Prompt allein kein KI-System vollständig absichern kann. Professionelle Anwendungen setzen deshalb mehrere Sicherheitsmechanismen ein, die auf unterschiedlichen Ebenen zusammenwirken.
Auf der vorherigen Seite haben wir gesehen, dass Root Instructions und System Prompts das Verhalten eines KI-Assistenten steuern.
Dennoch handelt es sich dabei nicht um Programmierung im klassischen Sinn, sondern um Anweisungen in natürlicher Sprache.
Für das Sprachmodell bestehen die Root Instructions, der System Prompt und die Nutzereingaben zunächst aus Text. Das Modell verarbeitet diese Anweisungen gemeinsam und erzeugt auf Grundlage der im Training erlernten Muster eine Antwort.
Dabei werden unterschiedliche Arten von Anweisungen vom KI-System in der Regel unterschiedlich stark gewichtet. Root Instructions und System Prompts besitzen meist eine höhere Priorität als Nutzereingaben. Dennoch kann es vorkommen, dass übergeordnete Regeln nicht wie beabsichtigt befolgt werden.
Was ist Prompt Injection?
Geschickt formulierte Nutzereingaben können versuchen, die vom System vorgesehenen Anweisungen zu beeinflussen, umzudeuten oder ihre Wirkung abzuschwächen.
Solche Angriffe bezeichnet man als Prompt Injection.
🤔 Denkanstoß
Sprachmodelle sind darauf trainiert, möglichst passende und hilfreiche Antworten auf Eingaben zu erzeugen. Sie besitzen jedoch keine eigenen Gefühle und kein eigenes Verständnis von Sicherheit. Deshalb können geschickt formulierte Eingaben gelegentlich dazu führen, dass ein Modell Anweisungen anders interpretiert als beabsichtigt.
Guardrails als zusätzliche Sicherheitsschicht
Gute Root Instructions und ein klar formulierter System Prompt reichen allein nicht aus, um ein KI-System vollständig abzusichern. Professionelle KI-Anwendungen nutzen deshalb zusätzliche technische Sicherheitsmaßnahmen. Dazu gehören beispielsweise Eingabe- und Ausgabefilter, Zugriffsbeschränkungen, Moderationsmodelle und weitere Kontrollmechanismen.
💬 Vereinfacht gesagt
Ein Teil der Guardrails lässt sich vereinfacht wie ein Türsteher vorstellen. Ein Eingangsfilter prüft Anfragen, bevor sie das Sprachmodell erreichen. Ein Ausgangsfilter kann anschließend kontrollieren, ob die erzeugte Antwort gegen bestimmte Sicherheitsregeln verstößt. Gefährliche Anleitungen, beleidigende Inhalte oder Aufforderungen zur Preisgabe sensibler personenbezogener Daten können so erkannt und abgefangen werden. Gerade für professionelle Anwendungen ist das sehr wichtig.
Diese zusätzlichen Schutzmechanismen werden häufig auch als Guardrails bezeichnet.
Zu Guardrails gehören beispielsweise klassische Filter, festgelegte Regeln, Zugriffsbeschränkungen oder spezialisierte KI-Moderationsmodelle. Nicht alle dieser Schutzmechanismen basieren selbst auf Künstlicher Intelligenz. Viele werden durch klassische Software oder fest programmierte Regeln umgesetzt.
KI-Moderationsmodelle beantworten die ursprüngliche Anfrage in der Regel nicht selbst. Stattdessen bewerten oder klassifizieren sie Inhalte anhand bestimmter Sicherheitskategorien.
Ein Beispiel sind Schutzfilter für biologische und chemische Risiken. Anthropic setzt hierfür sogenannte „Classifier Guards“ ein, die Anfragen und Antworten auf bestimmte sicherheitsrelevante Inhalte im Bereich Biologie und Chemie prüfen.
Menschliche Kontrolle (Human-in-the-Loop)
Bei besonders kritischen Anwendungen verlassen sich Unternehmen nicht allein auf System Prompts und Guardrails. Stattdessen wird bei besonders kritischen Entscheidungen zusätzlich ein Mensch in den Entscheidungsprozess einbezogen. Dieses Prinzip wird als Human-in-the-Loop (HITL) bezeichnet.
📝 Beispiel
Eine KI analysiert ein Röntgenbild und erkennt möglicherweise Anzeichen einer Lungenentzündung. Bevor eine Diagnose gestellt oder eine Behandlung eingeleitet wird, überprüft jedoch eine Ärztin oder ein Arzt den Vorschlag der KI und trifft die endgültige Entscheidung. Dieses Prinzip bezeichnet man als Human-in-the-Loop.
Human-in-the-Loop bildet eine weitere Sicherheitsebene. Gerade bei medizinischen, rechtlichen oder finanziellen Entscheidungen sowie bei sicherheitskritischen Anwendungen ist die abschließende Prüfung durch einen Menschen häufig unverzichtbar.
💡 Merke
Root Instructions und System Prompts steuern das Verhalten eines KI-Assistenten mit sprachlichen Anweisungen. Guardrails ergänzen diese Vorgaben um weitere technische Schutzmechanismen. In besonders kritischen Anwendungen kommt zusätzlich das Prinzip des Human-in-the-Loop zum Einsatz. Auch die menschliche Kontrolle bietet jedoch keinen vollständigen Schutz. Erst mehrere aufeinander abgestimmte Schutzebenen erhöhen die Sicherheit.
Nachdem wir nun die Möglichkeiten und Grenzen solcher Regeln kennengelernt haben, schauen wir uns als Nächstes an, wie sich klare Regeln für einen System Prompt formulieren lassen.