5 · Dokumentation

Belegzwang und Richter

Wie ein zweites Modell die Antworten liest, wie jede Textstelle geprüft wird und warum ohne Beleg kein Urteil entsteht.

Kein Beleg, kein Urteil. Das ist die Regel, die augenmerk von einer bloßen Marketingaussage unterscheidet, und sie gilt für jede Nennung, jede Stärke, jede Kritik.

Der Richter#

Nach jeder Antwort liest ein zweites Modell heraus, was darin über die Marken steht: Welche Marken werden genannt, an welcher Stelle im Text, in welcher Reihenfolge, mit welchem Urteil, mit welcher Quelle. Wir nennen dieses Modell den Richter. Kein Schritt prägt die Zahlen stärker.

Der Richter urteilt nicht frei. Er bekommt feste Regeln und muss zu jeder Nennung die wörtliche Textstelle liefern. Die Regeln stehen in der Anwendung unter „Wie wir messen“ im Wortlaut, mit der Fassung, in der sie gelten.

Der Richter ist ein anderes Modell als die gemessenen Systeme, mit einer bewusst gelassenen Ausnahme: Er stammt von einem der Anbieter, die wir auch messen, und bewertet dessen Antworten damit selbst. Das ist tragbar, weil der Richter keine Meinung abgibt, sondern Textstellen herauszieht, die anschließend zeichengenau gegen die gespeicherte Antwort geprüft werden. Ein Modell kann sich so nicht selbst begünstigen; es kann nur genau lesen.

Die Belegprüfung#

Der Richter gibt an, jede Aussage stehe wörtlich in der Antwort. Darauf verlassen wir uns nicht. Nach dem Aufruf prüfen wir jede Fundstelle zeichengenau gegen den gespeicherten Rohtext. Was sich dort nicht findet, verwerfen wir ganz, statt es abzuschwächen. Die Marke gilt dann als nicht genannt. Lieber eine Nennung zu wenig als eine erfundene.

Eine Nennung ohne Beleg wird gar nicht erst gespeichert. In der Antwortenansicht steht die Zahl der verworfenen Stellen offen dabei, und jede Markierung im Text ist eine geprüfte Textstelle. Findet sich eine gespeicherte Stelle nach einer Regeländerung nicht mehr, zeigen wir das als Fehlstelle, statt sie stillschweigend zu verschieben.

Im Prototyp, aus dem augenmerk entstanden ist, fanden sich 2.042 von 2.044 Belegen zeichengenau wieder; kein einziger war erfunden.

Aussagen, Themen, Markenbild#

Für Stärken und Schwächen reicht eine Nennung nicht. Fragen der Art „Was ist an X besonders positiv und negativ?“ fordern ein Urteil heraus, das die KI von sich aus selten abgibt: Von sich aus äußert sie fast keine Kritik. Herausgeforderte und beobachtete Aussagen sind zwei verschiedene Messungen. Deshalb zählen diese Fragen nie zur Präsenz; sie nennen die Marke im Fragetext.

Aus jeder Antwort auf eine solche Frage zieht der Richter Aussagen: je eine Textstelle, ein Thema und ein Urteil, Lob oder Kritik. Gespeichert wird das Thema, nicht eine Stimmungszahl. „Sentiment 0,73“ bringt niemanden weiter; „die KI nennt bei Ihnen Preis, Backzeit und Belag“ schon.

Zwei Dinge prüfen wir bei jeder Aussage:

1. Steht sie wirklich so in der Antwort? Dieselbe Belegprüfung wie bei Nennungen.
2. Nennt die Antwort dafür eine Quelle? Eine Aussage mit Quelle lässt sich an der Quelle angehen. Eine Aussage ohne Quelle stammt aus dem Modellwissen und ändert sich nur mit neuen Modellversionen. Eine negative Behauptung ohne Quelle steht im Verdacht, erfunden zu sein — für die Marke der wertvollste Befund.

Aussagen entstehen aus drei Fragearten: Stärken/Schwächen („Was ist an X besonders positiv und negativ?“), Wahrnehmung (die feste Frage zur eigenen Marke) und Kaufprüfung („Welche Nachteile hat X?“, „Für wen ist X nicht geeignet?“, „Ist X den Preis wert?“). Alle nennen die Marke und zählen nicht zur Präsenz.

Die Themenansicht ordnet die Aussagen in einer Matrix aus Themen und Marken und zeigt, wo eine Marke führt, wo nur sie kritisiert wird und wo sie fehlt. Je Marke geht eine urteilende Frage ein — für die Wettbewerber ihre Stärken/Schwächen-Frage, für die eigene Marke die Wahrnehmungsfrage, sofern es keine Stärken/Schwächen-Frage zu ihr gibt; sonst zählte sie doppelt. Das Markenbild fasst je Marke Eigenschaften, Einwände und das Umfeld zusammen, in dem sie genannt wird, und trägt die Kaufprüfung: was die KI antwortet, wenn jemand die Marke vor dem Kauf gegenprüft.

Prominenz#

Neben Lob und Kritik zählt, wie prominent eine Marke in einer Antwort steht: als erste Nennung, in einer Liste, beiläufig im Text. Der Richter hält die Position jeder Nennung fest; daraus entstehen Ø Platz und die Reihenfolge in Rangfragen. Siehe Präsenz und Position.

Fassungen#

Der Satz vor jeder Frage, die Regeln des Richters und die Regeln für Themen bilden zusammen eine Fassung der Methodik. Eine Fassung gilt ab ihrem Ablagedatum und wird nie überschrieben: Ältere Läufe wurden nach älteren Regeln bewertet, und nur so bleibt der Verlauf vergleichbar. Bessere Regeln lassen sich rückwirkend auf alle gespeicherten Rohantworten anwenden, weil diese unverändert vorliegen; die Neubewertung bekommt dann eine neue Fassung.

Was das nicht heißt#

Wir weisen nach, dass eine KI etwas gesagt hat, nicht, dass es stimmt. Ob eine Aussage zutrifft, kann nur die Marke selbst beurteilen; bei Aussagen mit Quelle hilft die genannte Quelle dabei.

Stand: 2026-09-16