6 · Dokumentation
Schwankungsbreite und Läufe
Warum eine einzelne Messung eine Stichprobe ist, wie wir die Unschärfe berechnen und wann eine Bewegung eine Bewegung ist.
Wer aus einer einzigen Messung einen Score bildet, misst zum Teil Zufall. augenmerk weist die Unschärfe zu jedem Projekt aus und meldet Veränderungen erst, wenn sie darüber liegen.
Dieselbe Frage, zwei Antworten
KI-Systeme antworten nicht jedes Mal gleich. Dieselbe Frage bringt an zwei Tagen zwei verschiedene Antworten, mit anderen Marken in anderer Reihenfolge. Gemessen im Reismarkt über drei Läufe, ohne dass sich an den Marken etwas geändert hatte:
| Marke | Lauf 1 | Lauf 2 | Lauf 3 | Spanne |
|---|---|---|---|---|
| Tilda | 67 % | 83 % | 78 % | 17 Punkte |
| Reishunger | 50 % | 69 % | 67 % | 19 Punkte |
| dennree | 56 % | 33 % | 52 % | 22 Punkte |
Die Zahl des Marktführers ist stabil, die aller anderen nicht. Das ist keine Schwäche der Messung, sondern Statistik: Die Streuung eines Anteils ist bei 50 % am größten und an den Rändern klein. Die Marken, die eine Messung brauchen, stehen in der Mitte.
Wie die Schwankungsbreite berechnet wird
Die Unschärfe hängt vor allem davon ab, wie viele zählende Fragen eine Zahl tragen. Aus den vorhandenen Fragen eines Projekts wird wiederholt gezogen und die Breite des 90-%-Bereichs gemessen. Gezogen werden Fragen, nicht Messungen: Eine Frage erzeugt in allen Kanälen eine Antwort, und die hängen zusammen.
Daraus folgt eine Faustregel, die die Anwendung verwendet: Bei acht zählenden Fragen liegt die Schwankungsbreite bei ±10 Prozentpunkten. Mit mehr Fragen sinkt sie mit der Wurzel der Fragenzahl; bei 32 zählenden Fragen sind es rund ±5 Punkte. Die Übersicht und die Wettbewerbsansicht nennen den Wert für das jeweilige Projekt.
| Zählende Fragen | Schwankungsbreite |
|---|---|
| 8 | ±10 Punkte |
| 13 | ±8 Punkte |
| 20 | ±6 Punkte |
| 32 | ±5 Punkte |
Das ist eine Hochrechnung und eher optimistisch, weil echte Fragen nicht unabhängig voneinander sind. Für Marken in der Mitte des Feldes kann die tatsächliche Streuung höher liegen. Deshalb gilt in der Anwendung zusätzlich: Segmentwerte zeigen wir erst ab drei Läufen, und unter etwa zwanzig Fragen entsteht kein Score, sondern eine Zahl mit ausgewiesener Unschärfe.
Wiederholung im Stundenabstand
Wie viel von der Schwankung ist Zufall im System, wie viel echte Veränderung? Ein Datensatz vom 21.09.2026 trennt beides: Dasselbe Reis-Projekt mit 14 zählenden Fragen auf zehn Kanälen (140 Antworten je Lauf) wurde in einer Nacht viermal gemessen, im Abstand von zwei Stunden. Zwischen den Läufen konnte sich in der Welt nichts geändert haben.
Der Gesamtwert ist stabil. Oryza lag in den vier Läufen bei 33,6 · 35,0 · 35,7 · 32,9 Prozent (Standardabweichung 1,1 Punkte), Tilda bei 66 bis 74, Reishunger bei 54 bis 61, Davert bei 51 bis 54. Auf 140 Antworten bewegt sich der Gesamtwert einer Marke in einer Nacht um ein bis drei Punkte. Die Faustregel oben (rund ±8 Punkte bei 14 Fragen) ist damit vorsichtig, nicht zu eng.
Die einzelne Antwort ist es nicht. Von 140 Paaren aus Frage und Kanal fielen 50 in den vier Wiederholungen unterschiedlich aus: Dieselbe Frage am selben Kanal nannte die Marke zwei Stunden später nicht mehr, oder umgekehrt. Mehr als jede dritte Antwort kippt. Am unruhigsten Claude (9 von 14 Paaren), ChatGPT mit Suche, Gemini mit und ohne Suche (je 7), am ruhigsten Google AI Overviews (1) und Perplexity (0). Wer eine Frage einmal stellt und daraus „genannt“ oder „nicht genannt“ macht, würfelt in einem Drittel der Fälle; der Mittelwert über viele Antworten würfelt nicht.
Kanalwerte tragen mehr Unschärfe als der Gesamtwert. Ein Kanalwert beruht auf so vielen Antworten, wie es zählende Fragen gibt, hier 14. Oryza lag in derselben Nacht bei Claude mit Suche zwischen 29 und 57 Prozent, bei Gemini mit Suche ebenso, bei OpenAI zwischen 57 und 79; bei Perplexity viermal auf 7. Die Kanäle mit Live-Suche streuen am stärksten, weil jede Suche andere Quellen zieht. Ein Kanalwert ist deshalb erst mit mehr Fragen oder über mehrere Läufe belastbar; die Anwendung weist ihn mit eigener Unschärfe aus.
Die Wochenbewegung war echt. Oryza stand am 7. September bei 43 Prozent, am 13. September bei 34 und in der Nacht bei 33 bis 36. Der Abstand zweier aufeinanderfolgender Läufe betrug in der Nacht im Mittel 1,7 Punkte, zwischen den Wochenläufen 9,7. Die Bewegung von 43 auf 34 lag über der Schwankungsbreite und war eine Veränderung, keine Tagesform; die Nacht bestätigt den neuen Stand dreifach.
Wann eine Bewegung eine Bewegung ist
Eine Veränderung der Präsenz seit dem letzten Lauf meldet augenmerk erst, wenn sie über der Schwankungsbreite liegt. Alles darunter ist Zufall zwischen zwei Läufen und erscheint nicht als Befund. Dasselbe gilt für Abstände in der Rangliste:
- Ein Platz gilt als sicher, wenn der Vorsprung auf den nächsten Namen über der Schwankungsbreite liegt. Liegt er darunter, meldet die Übersicht einen wackelnden Platz: Beim nächsten Lauf kann die Reihenfolge kippen, ohne dass sich wirklich etwas geändert hat.
- Ein Zuwachs gilt als echt, wenn der nächste Lauf ihn hält. Fällt der Wert zurück, war es ein Ausreißer.
- Stabil heißt: seit mehreren Läufen keine Bewegung über der Schwankungsbreite. Was man dann sieht, ist belastbar; Änderungen ab hier sind echte Änderungen.
Läufe
Ein Lauf misst alle aktiven Fragen eines Projekts auf allen Kanälen. Jede Antwort bleibt gespeichert, mit Zeitpunkt, Modell und Quellenliste. Die Präsenz über alle Läufe ist der belastbare Wert; der letzte Lauf zeigt die Richtung. Ein neuer Kunde in einem bereits gemessenen Markt bekommt die Historie rückwirkend, weil jede Antwort gespeichert bleibt.
Zwei Dinge unterbrechen einen Verlauf, und die Anwendung sagt das dazu:
- Eine umformulierte Frage ist eine neue Frage. Die Auswertung erkennt eine Frage an ihrem Wortlaut. Der alte Verlauf bleibt gespeichert, der neue beginnt beim nächsten Lauf.
- Ein Umbau des Fragensatzes verschiebt den Gesamtwert, wenn ein großer Teil der zählenden Fragen neu ist. Ein solcher Umbau sollte datiert und unter „Wie wir messen“ vermerkt werden.
Neu und erledigt
Nach jedem Lauf vergleicht die Anwendung die Befunde mit dem Stand des vorigen Laufs. Neue Befunde erscheinen als „neu“, verschwundene als „erledigt“ und bleiben einen Lauf lang sichtbar. Erledigt stellt die Messung fest, nicht der Nutzer: Sobald die Zahl hinter einem Befund sich bewegt, wandert er zu „Gelöst“. Siehe Befund-Katalog.
Stand: 2026-10-10