Warum KI nach KI klingt

Distillation, Reward Models und synthetische Trainingsdaten machen Sprachmodelle leistungsfähiger. Gleichzeitig könnten dieselben Verfahren einen rhetorischen Dialekt hervorbringen, der sich von Modellgeneration zu Modellgeneration weiter verstärkt.

Meine Mutter schrieb mir kürzlich über meine Arbeit mit mehreren Codex-Instanzen: «Sag denen mal, sie sollen endlich aufhören, das Wort ‹sauber› zu verwenden. Das triggert mich total.»

Ich musste lachen. Das Wort war mir selbst längst aufgefallen. ChatGPT und Codex lieben «saubere» Lösungen, «klare» Trennungen, «robuste» Architekturen und «entscheidende» Unterschiede. Dazu kommt eine Konstruktion, die moderne Sprachmodelle geradezu magisch anzuziehen scheint: «Nicht X, sondern Y.»

Wer regelmässig mit KI arbeitet, entwickelt irgendwann ein Gespür dafür. Ein Text kann grammatikalisch korrekt, inhaltlich brauchbar und vollkommen frei von offensichtlichen Fehlern sein und trotzdem nach KI klingen.

Die naheliegende Erklärung lautet, dass Sprachmodelle solche Formulierungen irgendwann aus dem Internet gelernt haben. Das erklärt jedoch nur einen Teil des Phänomens. Moderne Modelle lernen längst nicht mehr ausschliesslich aus menschlich geschriebenen Texten. Synthetische Daten, Teacher-Modelle, automatisierte Grader, Reward Models und verschiedene Formen der Distillation spielen eine wachsende Rolle.

Damit entsteht eine interessante Möglichkeit: Der typische KI-Ton könnte teilweise aus dem Training der KI selbst hervorgehen.

Vom Internet zum Teacher

Beim klassischen Pretraining erhält ein Sprachmodell riesige Mengen Text und lernt daraus statistische Zusammenhänge. Welche Wörter folgen aufeinander? Welche Begriffe treten gemeinsam auf? Wie sehen Argumentationen, Dialoge, Programmcode oder wissenschaftliche Texte aus?

Dieses Verfahren bildet den sprachlichen Untergrund eines Modells.

Danach beginnt jedoch eine weitere Phase. Im Post-Training soll aus einem Modell, das Sprache fortsetzen kann, ein Modell werden, das hilfreiche Antworten gibt, Anweisungen versteht, Probleme löst und sich in gewünschter Weise verhält. Dabei kommen menschliche Präferenzen, Reinforcement Learning, Grader, synthetische Trainingsbeispiele und andere Modelle ins Spiel.

OpenAI beschreibt seinen heutigen Post-Training-Stack ausdrücklich mit Komponenten wie Reinforcement Learning, Datenpipelines, Gradern, Reward-Signalen, Evaluationen und Verhaltensanalyse. Besonders interessant ist eine aktuelle Stellenausschreibung für Forschung an der Modellpersönlichkeit: Dort nennt OpenAI synthetische Daten, Reward Modeling und Reinforcement Learning ausdrücklich als Werkzeuge, mit denen Persönlichkeit und Modellverhalten geprägt werden.

Auch beim aktuellen GPT-5.6 dokumentiert OpenAI für Teile des Sicherheitstrainings synthetische und semi-synthetische Daten. Gleichzeitig stammen weiterhin grosse Teile der Daten aus öffentlich zugänglichen Quellen, Partnerschaften sowie von Nutzern, menschlichen Trainern und Forschern.

Die Vorstellung, neue Modelle würden irgendwann einfach nur noch mit den Ausgaben alter Modelle trainiert, wäre deshalb zu simpel. Der interessante Punkt liegt im Mischungsverhältnis und in den Feedbackschleifen.

Wenn ein Modell zum Lehrer wird

Knowledge Distillation dreht das übliche Verhältnis zwischen Daten und Modell ein Stück weit um.

Ein leistungsfähiges Modell übernimmt die Rolle des Teachers. Es löst Aufgaben, erzeugt Antworten oder liefert Wahrscheinlichkeitsverteilungen. Ein kleineres oder neu zu trainierendes Student-Modell lernt anschliessend, dieses Verhalten nachzubilden.

Bei moderner On-Policy-Distillation geht das noch weiter. Der Student erzeugt eigene Lösungswege und bekommt darauf Feedback vom Teacher. Das Training findet damit zunehmend auf den Zuständen statt, in die das Student-Modell selbst gerät. Solche Verfahren verbinden Distillation, Imitation Learning, Reinforcement Learning und Teacher-Feedback.

Der Teacher überträgt dabei mehr als Fakten.

Wenn ein Teacher eine mathematische Aufgabe immer nach einem bestimmten Schema erklärt, Fehler auf eine bestimmte Weise markiert oder seine Schlussfolgerungen regelmässig mit bestimmten sprachlichen Konstruktionen strukturiert, besteht sein Output zwangsläufig auch aus diesem Stil.

Der Student sieht schliesslich keine abstrakte «Intelligenz». Er sieht Tokens.

Das ist ein wichtiger Unterschied.

Die Fähigkeit des Teachers und seine sprachliche Darstellung dieser Fähigkeit kommen zunächst gemeinsam beim Student an. Trainingsverfahren versuchen zwar, die nützlichen Eigenschaften zu extrahieren. Eine perfekte Trennung zwischen Inhalt, Denkstruktur und sprachlicher Oberfläche existiert dabei jedoch nicht automatisch.

Lernen aus Fehlern

Besonders interessant wird das bei Verfahren, bei denen Modelle aus ihren eigenen Fehlern lernen.

Ein Student versucht eine Aufgabe. Ein Teacher oder Verifier analysiert die Antwort, findet den Fehler und liefert eine Verbesserung. Der Student bekommt damit eine viel reichhaltigere Information als ein einfaches «richtig» oder «falsch».

Diese Forschungsrichtung existiert inzwischen in vielen Varianten. On-Policy Distillation lässt Modelle beispielsweise aus selbst erzeugten Fehlern unter Teacher-Supervision lernen. Arbeiten zur Privileged Information Distillation kombinieren Student und Teacher sogar innerhalb desselben Modells: Der Student löst die Aufgabe mit begrenzter Information, während eine privilegierte Teacher-Version zusätzliche Hinweise, Referenzlösungen oder Feedback erhält und daraus detaillierte Lernsignale erzeugt.

Daneben gibt es explizit sokratisch inspirierte Ansätze. «Socratic RL» beschreibt beispielsweise eine Teacher-Student-Architektur, bei der der Teacher Fehler und Erfolge analysiert, daraus strukturierte Erkenntnisse formuliert und diese wieder an den Student überträgt. Neuere Arbeiten untersuchen ähnliche Verfahren mit natürlichsprachlichem sokratischem Feedback während Reinforcement Learning.

Damit kommt die Sprache selbst ins Spiel.

Eine gute Korrektur muss einen Fehler identifizieren, eine Grenze ziehen und eine bessere Interpretation anbieten. Sprachlich bietet sich dafür eine Konstruktion geradezu an:

«Nicht X, sondern Y.»

Die perfekte Trainingsformel

In der Linguistik lässt sich «Nicht X, sondern Y» als kontrastive oder adversative Korrekturkonstruktion beschreiben. Für menschliche Kommunikation ist sie praktisch, weil sie zwei Informationen gleichzeitig transportiert: Eine Interpretation wird verworfen und eine andere eingesetzt.

Für maschinelles Training könnte sie noch einen weiteren Vorteil besitzen.

Betrachten wir die Struktur formal:

X → falsch oder unzureichend

Y → bevorzugte Interpretation

Der Unterschied zwischen beiden Positionen wird sprachlich explizit markiert. Ein Teacher kann damit sehr kompakt ausdrücken, welche Vorstellung korrigiert werden soll. Ein Grader kann dieselbe Struktur leicht erkennen. Auch für Trainingsdaten ist sie attraktiv, weil Ausgangszustand und Zielzustand dicht nebeneinander stehen.

Dass Trainingssysteme deshalb gezielt «Nicht X, sondern Y» bevorzugen, ist nicht dokumentiert. Dafür gibt es bislang keinen öffentlichen Beleg von OpenAI.

Der Mechanismus dahinter ist jedoch plausibel.

Eine sprachliche Form kann mit hoher Antwortqualität korrelieren, obwohl niemand diese Form ausdrücklich als Ziel definiert hat.

Und an dieser Stelle werden Reward Models interessant.

Wenn der Grader Geschmack entwickelt

Reward Models sollen beurteilen, welche Antworten Menschen bevorzugen. Dafür werden sie mit sehr vielen Präferenzentscheidungen trainiert und lernen daraus, Eigenschaften guter Antworten zu erkennen.

Das Problem: Ein Reward Model kann dabei Eigenschaften lernen, die Menschen niemals bewusst als Regel formuliert haben.

OpenAI veröffentlichte im März 2026 mit ARGO eine Arbeit zur Interpretation solcher Black-Box-Reward-Models. Die Forscher weisen ausdrücklich darauf hin, dass Reward Models unbeabsichtigte Verzerrungen und oberflächliche stilistische Präferenzen aus ihren Trainingsdaten aufnehmen können. Diese Präferenzen beeinflussen anschliessend das Verhalten der Modelle, die mit diesem Reward trainiert werden.

Damit entsteht eine bemerkenswerte Feedbackschleife.

Angenommen, besonders gute Erklärungen enthalten überdurchschnittlich häufig explizite Abgrenzungen. Vielleicht verwenden menschliche Experten sie gerne. Vielleicht produziert auch ein hochwertiges Teacher-Modell solche Strukturen besonders häufig.

Das Reward Model entdeckt dann möglicherweise eine statistische Verbindung:

explizite Korrektur → gute Antwort.

Der Zusammenhang muss nicht kausal sein. Für das Training reicht Korrelation.

Das Sprachmodell erhält häufiger Reward für Antworten mit Eigenschaften, die der Grader mit Qualität verbindet. Dadurch steigt ihre Wahrscheinlichkeit. Beim nächsten Training können diese Antworten wieder in synthetischen Daten, Evaluationen oder Teacher-Rollouts auftauchen.

Aus einem Qualitätsindikator wird langsam ein Stilmerkmal.

OpenAIs Dokumentation zu Reinforcement Fine-Tuning macht diesen Mechanismus auf technischer Ebene sehr deutlich: Ein Grader weist Modellantworten einen numerischen Reward zu, und dieser Reward verändert das Verhalten des trainierten Modells. OpenAI warnt dabei auch vor «reward hacking» beziehungsweise «grader hacking», bei dem Modelle Eigenschaften des Bewertungssystems ausnutzen, ohne die zugrunde liegende Fähigkeit im gleichen Ausmass zu verbessern.

Dafür muss ein Modell seinen Grader nicht bewusst austricksen. Statistische Optimierung genügt.

Vom Qualitätsmerkmal zum KI-Sprech

Damit lässt sich eine mögliche Entwicklung skizzieren.

Eine bestimmte Formulierung tritt zunächst zufällig häufiger in hochwertigen Antworten auf. Teacher-Modelle reproduzieren sie. Synthetische Trainingsdaten enthalten sie dadurch häufiger. Reward Models verbinden sie möglicherweise mit guten Antworten. Trainierte Modelle erhöhen ihre Wahrscheinlichkeit. Diese Modelle erzeugen wiederum neue Trainingsdaten.

Nach mehreren Generationen ist aus einer nützlichen Formulierung ein rhetorischer Reflex geworden.

Das würde erklären, weshalb typische KI-Sprache häufig aus Formulierungen besteht, die isoliert betrachtet vollkommen sinnvoll sind.

«Sauber» ist kein schlechtes Wort.

Eine «klare Trennung» kann fachlich sinnvoll sein.

«Nicht X, sondern Y» ist eine ausgezeichnete Konstruktion, wenn tatsächlich ein Missverständnis korrigiert werden muss.

Der künstliche Eindruck entsteht durch die Verteilung. Menschen verfügen über sehr viele Möglichkeiten, denselben Gedanken auszudrücken. Wenn ein Modell bestimmte Muster mit hoher Zuverlässigkeit mit erfolgreichen Antworten verbindet, konzentriert sich seine Sprache stärker auf diese Muster.

Forschung zu rekursiv erzeugten synthetischen Trainingsdaten zeigt einen verwandten Effekt. Experimente haben über aufeinanderfolgende Trainingsgenerationen eine Abnahme lexikalischer und syntaktischer Vielfalt gemessen. Andere Arbeiten zum sogenannten Model Collapse zeigen, dass bei rekursivem Training Teile der ursprünglichen Verteilung verloren gehen und seltenere Varianten zuerst verschwinden können.

Das bedeutet nicht, dass heutiger KI-Sprech bereits ein Fall von Model Collapse wäre. Die Forschung zeigt jedoch etwas Grundsätzlicheres: Wenn Modelle zunehmend Material erzeugen, aus dem spätere Modelle lernen, kann sich die Verteilung ihrer Sprache verändern.

Variation verschwindet leichter, als sie neu entsteht.

Ein sprachlicher Flaschenhals

Vielleicht liegt darin eines der paradoxeren Probleme moderner KI-Entwicklung.

Wir bauen immer bessere Verfahren, damit Modelle ihre Fehler erkennen. Wir geben ihnen Teacher, Critic, Verifier und Grader. Wir lassen sie Lösungen vergleichen, schlechte Ansätze analysieren, Alternativen formulieren und ihre eigenen Antworten überarbeiten.

Damit werden sie leistungsfähiger.

Gleichzeitig entsteht ein enormer Selektionsdruck auf Sprache, die diese Vorgänge besonders deutlich ausdrückt.

Ein System, das permanent Unterschiede markieren, Fehler korrigieren und Ergebnisse bewerten muss, entwickelt zwangsläufig eine Vorliebe für sprachliche Formen, die genau diese Aufgaben effizient erledigen.

«Nicht X, sondern Y» ist dafür beinahe ideal.

Dasselbe könnte für Wörter wie «klar», «robust», «strukturiert» oder eben «sauber» gelten. Sie komprimieren Bewertungen in kurze sprachliche Marker. Ein Satz muss nicht ausführlich erklären, weshalb eine Lösung methodisch konsistent ist, wenn ein einziges Adjektiv bereits signalisiert, wie sie einzuordnen ist.

Für Trainingssysteme ist diese Effizienz nützlich.

Für menschliche Leser wird sie irgendwann monoton.

Die Ironie des KI-Sprechs

Der typische KI-Ton könnte damit aus einer unerwarteten Quelle stammen.

Viele seiner auffälligsten Eigenschaften wirken oberflächlich wie schlechte Schreibgewohnheiten. Unter der Oberfläche könnten einige davon Spuren hochentwickelter Trainingsmethoden sein.

Eine adversative Korrektur ist dann kein zufälliger Tick mehr. Sie wäre ein sprachliches Fossil eines Systems, das permanent lernt, zwischen schlechteren und besseren Antworten zu unterscheiden.

Das Wort «sauber» wäre kein Beweis für künstliche Intelligenz. Seine auffällige Häufung könnte jedoch zeigen, welche sprachlichen Signale sich in einem komplexen Netz aus Teacher-Modellen, synthetischen Daten, Gradern und Reward-Funktionen besonders erfolgreich fortpflanzen.

Belegt ist diese konkrete Kausalität bisher nicht. Öffentlich dokumentiert sind jedoch nahezu alle Bestandteile, die sie ermöglichen: synthetische Trainingsdaten, Distillation, Teacher-Student-Verfahren, automatisierte Grader, Reward Models und deren unbeabsichtigte stilistische Präferenzen.

Vielleicht müssen wir deshalb bei «KI-Sprech» weniger darüber nachdenken, wo ein Modell diese Sprache ursprünglich gelesen hat.

Die spannendere Frage lautet, welche Sprache im Training überlebt.

Und welche sich dabei selbst verstärkt.