6 · Dokumentation

Schwankungsbreite und Läufe

Warum eine einzelne Messung eine Stichprobe ist, wie wir die Unschärfe berechnen und wann eine Bewegung eine Bewegung ist.

Wer aus einer einzigen Messung einen Score bildet, misst zum Teil Zufall. augenmerk weist die Unschärfe zu jedem Projekt aus und meldet Veränderungen erst, wenn sie darüber liegen.

Dieselbe Frage, zwei Antworten#

KI-Systeme antworten nicht jedes Mal gleich. Dieselbe Frage bringt an zwei Tagen zwei verschiedene Antworten, mit anderen Marken in anderer Reihenfolge. Gemessen im Reismarkt über drei Läufe, ohne dass sich an den Marken etwas geändert hatte:

Die Zahl des Marktführers ist stabil, die aller anderen nicht. Das ist keine Schwäche der Messung, sondern Statistik: Die Streuung eines Anteils ist bei 50 % am größten und an den Rändern klein. Die Marken, die eine Messung brauchen, stehen in der Mitte.

Wie die Schwankungsbreite berechnet wird#

Die Unschärfe hängt vor allem davon ab, wie viele zählende Fragen eine Zahl tragen. Aus den vorhandenen Fragen eines Projekts wird wiederholt gezogen und die Breite des 90-%-Bereichs gemessen. Gezogen werden Fragen, nicht Messungen: Eine Frage erzeugt in allen Kanälen eine Antwort, und die hängen zusammen.

Daraus folgt eine Faustregel, die die Anwendung verwendet: Bei acht zählenden Fragen liegt die Schwankungsbreite bei ±10 Prozentpunkten. Mit mehr Fragen sinkt sie mit der Wurzel der Fragenzahl; bei 32 zählenden Fragen sind es rund ±5 Punkte. Die Übersicht und die Wettbewerbsansicht nennen den Wert für das jeweilige Projekt.

Das ist eine Hochrechnung und eher optimistisch, weil echte Fragen nicht unabhängig voneinander sind. Für Marken in der Mitte des Feldes kann die tatsächliche Streuung höher liegen. Deshalb gilt in der Anwendung zusätzlich: Segmentwerte zeigen wir erst ab drei Läufen, und unter etwa zwanzig Fragen entsteht kein Score, sondern eine Zahl mit ausgewiesener Unschärfe.

Wann eine Bewegung eine Bewegung ist#

Eine Veränderung der Präsenz seit dem letzten Lauf meldet augenmerk erst, wenn sie über der Schwankungsbreite liegt. Alles darunter ist Zufall zwischen zwei Läufen und erscheint nicht als Befund. Dasselbe gilt für Abstände in der Rangliste:

• Ein Platz gilt als sicher, wenn der Vorsprung auf den nächsten Namen über der Schwankungsbreite liegt. Liegt er darunter, meldet die Übersicht einen wackelnden Platz: Beim nächsten Lauf kann die Reihenfolge kippen, ohne dass sich wirklich etwas geändert hat.
• Ein Zuwachs gilt als echt, wenn der nächste Lauf ihn hält. Fällt der Wert zurück, war es ein Ausreißer.
• Stabil heißt: seit mehreren Läufen keine Bewegung über der Schwankungsbreite. Was man dann sieht, ist belastbar; Änderungen ab hier sind echte Änderungen.

Läufe#

Ein Lauf misst alle aktiven Fragen eines Projekts auf allen Kanälen. Jede Antwort bleibt gespeichert, mit Zeitpunkt, Modell und Quellenliste. Die Präsenz über alle Läufe ist der belastbare Wert; der letzte Lauf zeigt die Richtung. Ein neuer Kunde in einem bereits gemessenen Markt bekommt die Historie rückwirkend, weil jede Antwort gespeichert bleibt.

Zwei Dinge unterbrechen einen Verlauf, und die Anwendung sagt das dazu:

• Eine umformulierte Frage ist eine neue Frage. Die Auswertung erkennt eine Frage an ihrem Wortlaut. Der alte Verlauf bleibt gespeichert, der neue beginnt beim nächsten Lauf.
• Ein Umbau des Fragensatzes verschiebt den Gesamtwert, wenn ein großer Teil der zählenden Fragen neu ist. Ein solcher Umbau sollte datiert und unter „Wie wir messen“ vermerkt werden.

Neu und erledigt#

Nach jedem Lauf vergleicht die Anwendung die Befunde mit dem Stand des vorigen Laufs. Neue Befunde erscheinen als „neu“, verschwundene als „erledigt“ und bleiben einen Lauf lang sichtbar. Erledigt stellt die Messung fest, nicht der Nutzer: Sobald die Zahl hinter einem Befund sich bewegt, wandert er zu „Gelöst“. Siehe Befund-Katalog.

Stand: 2026-09-16