Fine-Tuning von Sprachmodellen: wann es sich lohnt

Fine-Tuning ist das Nachtrainieren eines bereits vortrainierten Sprachmodells mit eigenen Beispielen, damit es eine Aufgabe, einen Stil oder ein festes Ausgabeformat zuverlässiger beherrscht. Das Modell lernt dabei kein neues Wissen, sondern Verhalten: wie es antworten soll. Für Fakten ist eine Wissensbasis das bessere Werkzeug.

Was Fine-Tuning ist

Ein Sprachmodell trägt nach dem Vortraining Milliarden gelernter Gewichte. Beim Nachtrainieren werden diese Gewichte mit einem vergleichsweise kleinen Datensatz aus Beispielpaaren – Eingabe und gewünschte Ausgabe – weiter angepasst. Verbreitet sind sparsame Verfahren wie LoRA, bei denen nicht das ganze Modell verändert wird, sondern nur eine kleine Zahl zusätzlicher Parameter. Das senkt Rechenaufwand und Speicherbedarf und erlaubt es, mehrere Anpassungen desselben Grundmodells nebeneinander zu betreiben.

Das Ergebnis ist ein Modell, das die Beispiele verinnerlicht hat. Es formuliert im Stil des Datensatzes, hält die dort vorkommenden Formate ein und trifft in der trainierten Aufgabe Entscheidungen, die den Beispielen ähneln. Was im Datensatz nicht vorkam, kann es danach nicht besser als vorher.

Wann Fine-Tuning sich lohnt

• Festes Ausgabeformat: Das Modell soll immer dasselbe Schema liefern – die Felder einer Buchung, die Struktur eines Prüfberichts – und hält sich allein über die Anweisung nur unzuverlässig daran.
• Eigener Tonfall: Kundenantworten sollen klingen wie das Unternehmen, nicht wie ein allgemeiner Assistent. Einige hundert freigegebene Antworten ergeben ein Modell, das den Ton trifft.
• Fachsprache und Klassifikation: Begriffe einer Branche oder interne Kategorien sollen sicher zugeordnet werden, obwohl sie im Vortraining kaum vorkamen.
• Kleinere Modelle: Ein kleines, selbst betriebenes Modell soll eine eng umrissene Aufgabe so gut lösen wie ein großes. Das Nachtraining ist der Weg dahin.
• Kürzere Anweisungen: Besteht die Anweisung aus zwanzig Regeln und zehn Beispielen und wird bei jedem Aufruf mitgeschickt, kann das Nachtraining diese Regeln ins Modell verlagern und den Aufwand je Aufruf senken.

Wann es die falsche Antwort ist

Fine-Tuning ersetzt keine Wissensbasis. Wer möchte, dass das Modell die aktuelle Preisliste oder die Regelung aus dem Handbuch kennt, sollte diese Dokumente zur Laufzeit mitgeben – der Weg, den Retrieval-Augmented Generation beschreibt. Drei Gründe sprechen dafür: Fakten ändern sich, und ein Training lässt sich nicht täglich wiederholen. Ein Modell, das Fakten gelernt hat, nennt keine Quelle. Und es erfindet weiterhin – es erfindet nur im gelernten Stil, wie der Artikel über Halluzinationen bei Sprachmodellen zeigt.

Ebenso ungeeignet ist das Nachtraining als erster Schritt. Bevor trainiert wird, sollte ausgereizt sein, was Prompt Engineering und Beispiele in der Anweisung leisten. In vielen Vorhaben reicht das – und es kostet einen Nachmittag statt einer Projektphase.

Ablauf eines Nachtrainings

1. Ziel und Messgröße festlegen: Was soll besser werden, und woran wird es gemessen? Ohne Testdatensatz mit bekannten Antworten lässt sich ein Erfolg nicht nachweisen.
2. Daten sammeln und bereinigen: Beispielpaare aus dem echten Betrieb – freigegebene Antworten, korrekt zugeordnete Belege, geprüfte Einordnungen. Fehlerhafte Beispiele werden mittrainiert, also gehören sie heraus.
3. Aufteilen: Ein Teil der Daten bleibt als Testmenge unangetastet.
4. Trainieren: auf eigener Hardware oder beim Anbieter, je nach Modell und Datenschutzlage.
5. Auswerten: Testmenge durchlaufen und das Ergebnis mit dem Ausgangsmodell und mit der reinen Anweisungslösung vergleichen. Ist der Gewinn klein, war der Aufwand es nicht wert.
6. Ausrollen und beobachten: zunächst im Schattenbetrieb, dann produktiv; die Testmenge bleibt der Maßstab für jede spätere Version.

Trainingsdaten: Menge und Qualität

Die Qualität der Beispiele zählt mehr als ihre Zahl. Ein Datensatz aus einigen hundert sauberen, einheitlichen Beispielen schlägt tausende ungeprüfte. Einheitlich heißt: gleiches Format, gleicher Tonfall, gleiche Entscheidungsregeln. Widersprechen sich Beispiele – dieselbe Eingabe, zwei verschiedene Antworten –, lernt das Modell Zufall. Deshalb lohnt es sich, den Datensatz vor dem Training von einem Fachmitarbeiter durchsehen zu lassen.

Für den Aufbau eignen sich Systeme, in denen Menschen ohnehin Entwürfe freigeben: Jede Freigabe wird zu einem Beispiel, jede Korrektur zu einem besseren. Wer diese Rückmeldungen von Anfang an mitschreibt, hat den Datensatz nach einigen Monaten Betrieb bereits im Haus.

Kosten, Risiken, Datenschutz

Der Aufwand besteht aus Datenaufbereitung, Rechenzeit und Auswertung – der erste Posten ist meist der größte. Hinzu kommt die Pflege: Wechselt der Anbieter das Basismodell, muss neu trainiert werden.

Zwei Risiken sind für Fine-Tuning spezifisch. Erstens das Überanpassen: Das Modell lernt die Trainingsbeispiele auswendig und verschlechtert sich bei allem anderen, erkennbar an guten Trainings- und schlechten Testwerten. Zweitens der Datenschutz: Was einmal in ein Modell trainiert wurde, lässt sich daraus nicht wieder löschen. Personenbezogene Daten gehören deshalb nicht in Trainingsdaten; die Regeln dazu stehen im Artikel DSGVO und KI.

Ob sich der Weg für einen konkreten Fall lohnt, klären wir in einem kurzen Vergleich auf derselben Testmenge: Anweisungslösung gegen nachtrainiertes Modell. Häufiger als erwartet gewinnt die einfachere Variante, und dann sagen wir das auch. Diese Einschätzung gehört zur KI-Beratung für den Mittelstand.