Retrieval-Augmented Generation: Antworten mit Quelle

Retrieval-Augmented Generation (RAG) ist ein Verfahren, bei dem ein Sprachmodell vor der Antwort passende Textstellen aus einer eigenen Wissensbasis erhält und seine Antwort auf diese Stellen stützt. Das Modell wird dabei nicht verändert; es bekommt die richtigen Quellen zur Laufzeit mitgeliefert.

Welches Problem RAG löst

Ein Sprachmodell kennt nur, was in seinen Trainingsdaten stand. Über die Preisliste eines Maschinenbauers oder die Urlaubsregelung einer Steuerkanzlei weiß es nichts. Gefragt, antwortet es trotzdem – plausibel und häufig falsch. Zwei Wege führen aus diesem Problem: Man trainiert das Modell mit eigenen Daten nach, wie es der Artikel Fine-Tuning von Sprachmodellen beschreibt, oder man gibt ihm die Fakten im Moment der Frage mit.

Der zweite Weg ist günstiger, schneller umgesetzt und bleibt aktuell, weil neue Dokumente einfach in die Basis aufgenommen werden, statt ein neues Training auszulösen. Und er liefert etwas, das ein trainiertes Modell nicht kann: eine nachprüfbare Fundstelle.

Wie Retrieval-Augmented Generation funktioniert

• Aufbereitung: Dokumente werden in Abschnitte von einigen hundert Wörtern zerlegt. Zu jedem Abschnitt wird ein Vektor berechnet – eine Zahlenreihe, die den Inhalt semantisch beschreibt. Diese Vektoren landen in einer Datenbank, etwa PostgreSQL mit der Erweiterung pgvector.
• Suche: Trifft eine Frage ein, wird auch sie in einen Vektor umgerechnet. Die Datenbank liefert die Abschnitte, deren Vektoren der Frage am nächsten liegen. Meist wird das mit klassischer Stichwortsuche kombiniert, weil Artikelnummern und Eigennamen semantisch schlecht abgebildet werden.
• Antwort: Die gefundenen Abschnitte gehen zusammen mit der Frage an das Sprachmodell. Die Anweisung lautet sinngemäß: Beantworte die Frage ausschließlich anhand dieser Quellen und nenne, woher die Information stammt.

Das Ergebnis ist eine Antwort mit Fußnote. Wer sie liest, kann nachschlagen, ob die Quelle das wirklich hergibt.

RAG oder Nachtraining?

• Wissen aktuell halten: hier reicht das Einspielen neuer Dokumente, dort braucht es ein neues Training.
• Nachvollziehbarkeit: hier wird die Quelle mitgeliefert, dort steckt das Wissen unsichtbar im Modell.
• Stil oder Format ändern: hier kaum, dort gut.
• Einstieg: hier gering, dort aufwendig – Daten, Rechenzeit, Auswertung.
• Nötige Datenmenge: hier ab wenigen Dokumenten, dort hunderte bis tausende Beispiele.

Für die meisten Anwendungen im Mittelstand – Fragen zu eigenen Dokumenten, Antwortentwürfe im Kundendienst, interne Nachschlagewerke – ist die Wissensbasis die richtige Wahl. Das Nachtraining ergänzt sie, wenn das Modell einen bestimmten Tonfall oder ein festes Ausgabeformat lernen soll.

Typische Einsätze in Unternehmen

• Interner Wissensassistent: Mitarbeiter fragen nach Abläufen, Regeln und Zuständigkeiten, statt in Ordnern zu suchen. Die Antwort verweist auf das Dokument.
• Kundendienst: Der Erstentwurf einer Antwort stützt sich auf Handbuch, Vertragsbedingungen und den bisherigen Ticketverlauf.
• Vertrieb: Angebotsvorlagen, Referenzprojekte und technische Datenblätter werden beim Schreiben eines Angebots automatisch herangezogen.
• Handelnde Systeme: Ein KI-Agent nutzt die Wissensbasis als Langzeitgedächtnis, um Regeln und Fakten nachzuschlagen, bevor er handelt.

Wir arbeiten selbst so: Unsere eigene Wissensbasis führt 63 dokumentierte Prozeduren und die Beschreibungen von 169 angebundenen Systemen, und jede Antwort daraus nennt das Dokument, aus dem sie stammt.

Woran RAG in der Praxis scheitert

Die Technik hinter Retrieval-Augmented Generation ist ausgereift; die Fehler liegen fast immer in den Daten.

• Schlechte Zerlegung: Wird eine Tabelle mitten durchgeschnitten, fehlt dem Modell die Spaltenüberschrift. Abschnitte müssen an Absätzen, Überschriften und Tabellen ausgerichtet werden.
• Veraltete Dokumente: Liegen drei Fassungen einer Preisliste in der Basis, gewinnt manchmal die falsche. Versionierung und ein Gültigkeitsdatum je Dokument sind Pflicht.
• Zu viele Treffer: Werden dem Modell zwanzig Abschnitte übergeben, verliert es den Faden. Fünf gute Treffer schlagen zwanzig mittelmäßige.
• Fehlende Quellenpflicht: Ohne die Anweisung, sich auf die Quellen zu beschränken, ergänzt das Modell aus dem Gedächtnis – genau dort entstehen Halluzinationen bei Sprachmodellen.

Die Qualität misst man nicht nach Gefühl, sondern mit einem Fragenkatalog: echte Fragen mit bekannter richtiger Antwort, die nach jeder Änderung an Zerlegung, Suche oder Anweisung neu durchlaufen werden.

Retrieval-Augmented Generation im Betrieb

Retrieval-Augmented Generation verschiebt keine Daten in das Modell, aber es schickt bei jeder Frage die gefundenen Abschnitte dorthin. Enthalten die Dokumente personenbezogene Daten, ist das eine Verarbeitung im Sinne des Datenschutzrechts; die Anforderungen dazu stehen im Artikel DSGVO und KI. Drei Fragen sind vor dem Betrieb zu klären: Wo läuft die Vektordatenbank, wo läuft das Modell, und welcher Vertrag deckt den Anbieter ab.

Wir setzen solche Systeme mit einer eingefrorenen Fragenmenge auf, die zugleich als Maßstab für die Abnahme dient, und lassen Datenbank und Dokumente beim Auftraggeber. Für sensible Bestände laufen Modell und Suche auf eigener Hardware oder bei einem Anbieter in der EU. Wie das Vorhaben insgesamt abläuft, beschreibt die Leistung KI-Implementierung für den Mittelstand.