Wie lässt sich die Qualität eines KI-Gesprächs messen?

Kurz gesagt

Im aktuellen Live-Chat läuft weder OnCoCo noch ein Qualitätsworker. Die Kategorien gehören zu einer historischen Prüfstrecke; die heutige Modellauswahl entstand durch menschliche Blindbewertung und Rückmeldungen werden erst nach dem Gespräch betrachtet.

Ein guter Satz ist noch kein gutes Gespräch

Ein Ratschlag kann passend sein, wenn jemand ausdrücklich nach einem nächsten Schritt fragt. Derselbe Ratschlag kann das Gespräch stören, wenn die Person gerade erst erzählen oder einen Gedanken sammeln möchte. Die Qualität liegt deshalb nicht allein im Satz, sondern auch in seinem Zeitpunkt und in dem, was unmittelbar davor vereinbart wurde.

Das gilt ebenso für Fragen, Beruhigung oder eine neue Sicht. Keine dieser Gesprächsbewegungen ist automatisch gut oder schlecht. Erst die Abfolge zeigt, ob die KI beim aktuellen Wunsch geblieben ist, eine Ablehnung respektiert und eine Korrektur wirklich übernommen hat.

Was OnCoCo 1.0 bereitstellt

OnCoCo 1.0 ist ein öffentliches, zweisprachiges Forschungsdataset der Technischen Hochschule Nürnberg. Es enthält 2.778 ursprünglich deutsch geschriebene, synthetische Beispieläußerungen aus der Onlineberatung und deren englische Übersetzungen. Die deutschen Beispiele wurden von Fachkräften und Studierenden erstellt; reale Klientendaten wurden nicht verwendet.

Das Kategoriensystem unterscheidet 38 Arten von Berateräußerungen und 28 Arten von Nutzeräußerungen. Darunter fallen zum Beispiel Reflexion, Nachfrage, Ratschlag, Bewertung, Ressource, Problemdarstellung oder die Rückmeldung zu einem Vorschlag. Die Kategorie beschreibt zunächst nur, was sprachlich geschieht. Sie bewertet noch nicht, ob es im konkreten Gespräch der richtige Zug war.

Wie sortiermal die Kategorien in der Entwicklung verwendete

Im sichtbaren Gespräch antwortet MiniMax M3 oder Aion 3.0 Mini. sortiermal hat weder das veröffentlichte OnCoCo-Klassifikationsmodell noch ein GECCo-Modell vor den Chat geschaltet. Frühere getrennte Qualitätsstrecken mit solchen Kategoriensystemen gehören zur Entwicklungshistorie und laufen nicht im aktuellen Antwortweg.

In der historischen Entwicklungsstrecke konnte ein nachgelagerter Worker einzelne Gesprächsakte markieren und zusätzlich zwölf von sortiermal definierte Sequenzrisiken prüfen. Dazu gehörten etwa Rat nach Ablehnung, eine Deutung als Tatsache, eine Fragenkaskade, eine verlorene Korrektur oder ein kleiner Schritt, aus dem ungefragt ein ganzer Plan wird. Diese Strecke ist heute nicht mit dem Live-Chat verbunden.

Was am 25. Juli tatsächlich getestet wurde

Am 25. Juli 2026 prüften vier automatisierte Worker-Tests die damalige Taxonomie, die Trennung von Nutzer- und Begleitercodes, das Entfernen unsicherer oder doppelter Einordnungen und die Speicherung gültiger Sequenzrisiken. Der damalige Projektcheck einschließlich TypeScript, PHP, Build sowie der damaligen Einzel- und Langdialog-Suiten lief danach ohne Fehler durch.

Ein zusätzlicher GPT-5-Mini-Smoke-Test enthielt absichtlich einen klaren Gesprächsbruch: Nach zwei ausdrücklichen Bitten, noch keinen Tipp zu geben, schlug der Begleiter sofort eine Methode vor. Die damalige Auswertung erkannte die Risiken „vorschneller Ratschlag“ und „Modus verfehlt“. Dieser Befund dokumentiert nur die damalige Prüfstrecke; Worker, Phoenix und GPT-5 Mini sind heute nicht Teil der Live-Antwort.

Was diese Tests noch nicht beweisen

Der historische Smoke-Test zeigte nur, dass Datenweg, Ausgabeschema, Filter und Risikocodes damals technisch zusammenarbeiteten. Er zeigte nicht, wie zuverlässig die Einordnung über viele unterschiedliche reale Gespräche hinweg war, und bewies weder eine psychologische Wirkung noch, dass GPT-5 Mini jede Gesprächsabsicht richtig verstand.

Der aktuelle Stand verzichtet deshalb auf eine automatische Qualitätsmaschine im Live-Chat. MiniMax M3 oder Aion 3.0 Mini antwortet direkt; menschliches Feedback wird erst danach betrachtet. Geändert wird nicht wegen eines einzelnen Beispiels, sondern erst, wenn dasselbe Problem in unterschiedlichen Gesprächen wiederkehrt.

Quellen und Einordnung

Die Studien untersuchen unterschiedliche Situationen. Ergebnisse zu menschlichem Zuhören lassen sich nicht automatisch auf KI übertragen.

Mehr hinter den Gesprächen