Wo KI zuverlässig scheitert
Sprachmodelle liegen nicht zufällig falsch, sondern in Mustern. Die fünf Fehlerarten, bei denen die Antwort überzeugend klingt und trotzdem nicht stimmt.
Boaz Lichtenstein
Sprachmodelle irren nicht zufällig. Sie irren in Mustern, und wer die Muster kennt, erkennt die Fälle, in denen eine Antwort überzeugend klingt und trotzdem nicht stimmt. Fünf davon begegnen dir im Arbeitsalltag ständig.
1. Die erfundene Belegstelle
Das Modell nennt eine Studie, ein Urteil, einen Paragrafen, eine Seitenzahl — im richtigen Format, mit plausiblem Namen, und ohne dass es das gibt. Das ist der teuerste Fehler, weil er wie das Gegenteil eines Fehlers aussieht: wie ein Beleg. Regel: Jede Quelle, die du weitergibst, hast du selbst geöffnet.
2. Der Stand von gestern
Modelle haben einen Wissensstand, und der liegt in der Vergangenheit. Preise, Gesetzeslagen, Produktversionen, Personen in Ämtern — genau die Angaben, die sich ändern, sind die, bei denen ein Modell unbeirrt den alten Stand nennt. Bei allem Datierten gilt: selbst nachsehen, und zwar an der Primärquelle.
3. Das Rechnen
Ein Sprachmodell rechnet nicht, es setzt Zahlen fort, die plausibel aussehen. Bei drei Positionen geht das gut, bei Prozenten über mehrere Schritte oft nicht. Wer Zahlen braucht, lässt sich den Rechenweg ausgeben und prüft ihn — oder rechnet selbst und nutzt das Modell für die Erklärung.
4. Die Gefälligkeit
Widerspruch kostet ein Modell nichts, Zustimmung auch nicht — und Zustimmung kommt häufiger. Wer eine Annahme in die Frage einbaut, bekommt sie meist bestätigt. Die Gegenprobe ist einfach: Frag denselben Fall einmal mit der gegenteiligen Annahme. Weichen die Antworten in derselben Richtung ab wie deine Fragen, hast du kein Urteil, sondern ein Echo.
5. Der fehlende Kontext, den es errät
Fehlt eine Angabe, fragt ein Modell selten nach. Es füllt die Lücke mit dem Durchschnitt — mit dem üblichen Fall, der Standardgröße, der verbreiteten Praxis. Bei Nischen liegt der Durchschnitt fast immer falsch. Deshalb die Grenze aus der Prompt-Station: Lücken sollen als Lücken erscheinen, nicht als Annahme.
Die Konsequenz für die Praxis
Sortiere Aufgaben danach, wie teuer ein unentdeckter Fehler wäre. Beim Umformulieren einer Mail ist er billig — beim Rechtsverweis, bei der Kalkulation und bei der Aussage nach außen ist er teuer. Für die teure Seite gilt: Das Modell darf entwerfen, prüfen musst du. Das ist keine Skepsis gegen die Technik, sondern dieselbe Arbeitsteilung, die man mit einem sehr schnellen, sehr belesenen und gelegentlich selbstsicheren Praktikanten auch hätte.