RAG (Retrieval-Augmented Generation) ist ein Verfahren, bei dem ein Sprachmodell vor der Antwort passende Informationen aus einer eigenen Wissensquelle abruft, zum Beispiel aus Handbüchern, Verträgen oder Datenbanken, und diese in die Antwort einbezieht.
Bedeutung in der Praxis
RAG zerlegt Dokumente in Abschnitte, wandelt sie in Embeddings um, speichert sie und sucht bei einer Frage die passendsten Abschnitte. Das Modell formuliert die Antwort auf dieser Grundlage und kann Quellen nennen. Das verringert Halluzinationen und macht Antworten aktueller, ohne das Modell neu zu trainieren.
Beispiel
Ein Support-Assistent beantwortet Fragen zum ERP-Handbuch. Er findet die passenden Abschnitte, fasst sie zusammen und verlinkt die Quelle.
Abgrenzung
Fine-Tuning verändert das Modell selbst. RAG lässt das Modell unverändert und gibt ihm bei jeder Frage passende Informationen mit.