Mängelhaftung im KI-Projekt: wann ein Ergebnis fehlerhaft ist

Die Mängelhaftung entscheidet im KI-Projekt darüber, wann ein Ergebnis als fehlerhaft gilt und wer nachbessern muss. Da ein Modell nicht für jede Eingabe dieselbe Ausgabe liefert, taugt der Einzelfall nicht als Maßstab. Vertraglich zählt allein die vereinbarte Beschaffenheit nach § 633 BGB, in der Praxis also ein eingefrorener Prüfbestand mit vereinbarten Schwellen.

Der eingefrorene Prüfbestand als vereinbarte Beschaffenheit

§ 633 BGB fragt zuerst danach, was die Parteien vereinbart haben, und erst danach nach dem vorausgesetzten und dem gewöhnlichen Gebrauch. Bei einem System, dessen Ausgabe statistisch zustande kommt, trägt nur die erste Stufe: Ohne festgehaltenen Maßstab bleibt offen, ob eine Antwort noch im erwarteten Rahmen liegt oder schon daneben.

Belastbar wird dieser Maßstab aus vier Angaben, die zusammen in die Anlage des Vertrags gehören:

• Prüfbestand. Echte Vorgänge aus dem Betrieb, gemeinsam ausgewählt, mit der bekannten richtigen Antwort versehen und ab der Freigabe unverändert.
• Messgröße. Was gezählt wird — richtig zugeordnete Vorgänge, gefundene Positionen, offen gebliebene Anfragen.
• Schwelle. Ab welchem Wert die Messgröße als erfüllt gilt, getrennt nach Fallgruppen, wenn diese unterschiedlich schwer sind.
• Verhalten bei Unsicherheit. Wie sich das System verhält, wenn ihm die Grundlage für eine Antwort fehlt: den Vorgang an einen Menschen übergeben, eine Rückfrage stellen, den Fall kennzeichnen.

Wie diese Größen in den Vertragstext gelangen, beschreibt der Artikel Leistungsbeschreibung.

Ist eine falsche Antwort schon ein Mangel?

Nein, sofern eine Schwelle vereinbart wurde. Wer einen Anteil richtig bearbeiteter Vorgänge zusagt, sagt damit zugleich, dass der Rest abweichen darf; ein einzelner falscher Ausgabewert verletzt den Vertrag also nicht. Fehlerhaft wird das Werk erst, wenn die Messung über den Prüfbestand unter die vereinbarte Schwelle rutscht.

Anders liegt es bei Abweichungen, die mit der Quote nichts zu tun haben: Unsichere Fälle werden nicht an einen Menschen übergeben, Entscheidungen nicht protokolliert, eine zugesagte Fallgruppe gar nicht verarbeitet, ausgeschlossene Inhalte trotzdem ausgegeben. Das sind Abweichungen von zugesagten Eigenschaften, unabhängig davon, wie gut die Trefferquote im Übrigen ausfällt. Warum frei erfundene Ausgaben dabei eine eigene Gruppe bilden, erklärt der Artikel Halluzinationen.

Mängelhaftung nach § 634 BGB im KI-Projekt

Steht die Abweichung fest, gilt die gesetzliche Reihenfolge: Nacherfüllung, nach fruchtlosem Fristablauf Selbstvornahme, dann Minderung, Rücktritt und Schadensersatz. Die Nacherfüllung geht vor und wird nicht zusätzlich vergütet. In einem KI-Vorhaben bedeutet sie meist zusätzliche Beispieldaten, eine geänderte Aufbereitung oder angepasste Regeln vor und nach dem Modellaufruf — selten ein anderes Modell.

Eine Besonderheit gehört ausdrücklich in den Vertrag: Nachbesserung ist hier ein Messvorgang und kein Sichttermin. Beide Seiten brauchen die Verabredung, dass nach der Korrektur erneut gegen denselben Prüfbestand gemessen wird und dieses Ergebnis über die Erledigung entscheidet. Fehlt sie, wird über Eindrücke diskutiert, und die Erledigung ist Verhandlungssache.

Wenn die Qualität auf neuen Daten fällt

Nach der Abnahme ändert sich die Wirklichkeit: neue Lieferanten, neue Formulare, andere Formulierungen der Kunden. Die Messwerte sinken, obwohl am System nichts geändert wurde. Ob darin eine Abweichung liegt, hängt davon ab, worauf sich die Zusage bezog.

• Liefert das System auf dem freigegebenen Prüfbestand weiterhin die vereinbarten Werte, liegt keine Abweichung vor, sondern eine veränderte Eingangslage.
• War die neue Fallgruppe von der Beschreibung erkennbar erfasst und wird trotzdem falsch verarbeitet, ist es eine Abweichung.
• Ist die Grenze strittig, entscheidet, was bei Vertragsschluss erkennbar war, nicht der Wunsch von heute.

Der erste Fall ist damit kein Gewährleistungsfall, sondern ein Änderungswunsch: Wer will, dass neue Fallgruppen mitlaufen, beauftragt die Erweiterung von Verarbeitung und Prüfbestand als Nachtrag. Weil solche Anpassungen dauerhaft anfallen, gehört der laufende Betrieb nicht in den Werkvertrag, sondern in eine eigene Vereinbarung — welche Form dafür passt, behandelt der Artikel Dienstvertrag.

Wie wir Mängelhaftung und Nachbesserung vereinbaren

Wir legen den Prüfbestand vor dem Start gemeinsam mit dem Fachbereich fest, frieren ihn ein und hinterlegen Messgröße, Schwelle und das Verhalten bei Unsicherheit im Angebot. Nach jeder Nachbesserung messen wir gegen denselben Bestand und legen das Protokoll vor. Fachliche Weisungen an unsere Entwickler laufen über unsere Projektleitung; Auswertungen, Datenbestände und Zugänge gehören dem Auftraggeber. Ändert sich die Eingangslage — neue Belegarten, neue Formulierungen, ein anderer Vorlieferant —, ist das kein Mangel, sondern ein neuer Fall; wir sagen das offen, statt es still nachzuziehen. Welche Leistungen dahinterstehen, zeigt die Seite KI-Implementierung.