Eine Halluzination ist eine Antwort eines KI-Modells, die überzeugend klingt, aber falsch oder frei erfunden ist. Das passiert, weil Sprachmodelle wahrscheinliche Texte erzeugen und nicht prüfen, ob eine Aussage wahr ist.
Bedeutung in der Praxis
Halluzinationen sind ein zentrales Risiko beim Einsatz von KI. Gegenmaßnahmen sind RAG mit Quellenangabe, klare Vorgaben im Prompt, Prüfung durch Menschen und der Verzicht auf KI-Entscheidungen ohne Kontrolle bei kritischen Vorgängen wie Preisen oder Verträgen.
Beispiel
Ein Assistent nennt eine Funktion, die das ERP-System gar nicht bietet. Erst die Prüfung der genannten Quelle zeigt, dass sie nicht existiert.
Abgrenzung
Ein normaler Fehler entsteht durch falsche Daten oder Programmierung. Eine Halluzination entsteht aus der Arbeitsweise des Modells selbst und ist nicht vollständig vermeidbar.