Prompt Injection

Prompt Injection ist ein Angriff, bei dem jemand einem KI-System über versteckte oder eingeschleuste Anweisungen ein unerwünschtes Verhalten unterschiebt. Solche Anweisungen können etwa in einer Webseite oder einem Dokument stecken, das das Modell verarbeitet. Das Modell folgt ihnen dann womöglich, statt deinen eigentlichen Auftrag zu erfüllen. Besonders riskant ist das bei Systemen, die selbstständig auf Werkzeuge oder Daten zugreifen.