Methode so sichtbar
wie das Ergebnis.

Jede Studie und jeder Test nennt am Anfang fünf Dinge. Fehlt eines davon, wird nicht veröffentlicht.

1. Frage

   Was genau untersucht wird, formuliert vor der Datenerhebung. Nachträglich passend gemachte Fragen sind ausgeschlossen.

2. Stichprobe

   Welche Suchanfragen oder Prompts, welche Systeme, welcher Markt und welche Sprache – mit Anzahl und Auswahlverfahren.

3. Zeitraum

   Wann gemessen wurde. Suchergebnisse und KI-Antworten ändern sich laufend, ein Ergebnis gilt zunächst nur für seinen Zeitraum.

4. Methode

   Wie die Daten erhoben, bereinigt, codiert und ausgewertet wurden – so genau, dass sich die Auswertung wiederholen lässt.

5. Grenzen

   Was die Daten nicht zeigen, welche Fehlerquellen bekannt sind und welche Schlüsse sie nicht tragen.

Nicht jedes Ergebnis ist gleich belastbar. Jede Veröffentlichung mit eigenen Daten trägt deshalb eine von vier Stufen. Guides und Einordnungen tragen keine.

1. Stufe 1

   Beobachtung

   Einzelfälle, systematisch dokumentiert. Zeigt, dass etwas vorkommt – nicht, wie oft.

2. Stufe 2

   Korrelation

   Auswertung großer Stichproben. Zeigt Zusammenhänge, aber keine Ursachen.

3. Stufe 3

   Experiment

   Kontrollierter Test mit Vergleichsgruppe. Prüft gezielt eine Ursache.

4. Stufe 4

   Repliziert

   Das Ergebnis wurde in einer unabhängigen Wiederholung bestätigt.

KI-Systeme antworten auf dieselbe Frage nicht immer gleich. Messungen berücksichtigen das:

• Abfragen werden wiederholt, statt einzelne Antworten als typisch zu behandeln.
• Zu jeder Abfrage werden System, Datum, Uhrzeit, Sprache, Markt und Anmeldestatus festgehalten.
• Jede Aussage über KI-Antworten lässt sich auf dokumentierte Prompt-Belege zurückführen (Kennung P-0001 ff.).
• Systeme werden anonymisiert, wenn ein Vergleich sonst missverständlich wäre – und das wird dann ausdrücklich gesagt.

• Rohdaten werden, wo rechtlich möglich, mit einem Codebuch veröffentlicht, das jede Variable erklärt.
• Der Titel einer Abbildung nennt den Befund, der Untertitel Maß, Einheit und Stichprobengröße.
• Zu jeder Abbildung gibt es eine Tabellenansicht. Diagramme haben nur eine Werteachse.
• Beispiel- und Platzhalterdaten sind immer gestrichelt markiert und nie Teil eines Befunds.

Jede Veröffentlichung hat eine feste Kennung (S-001 für Studien, T-001 für Tests, D-001 für Datensätze, G-001 für Guides) und eine Versionsnummer.

Fehler werden korrigiert, nicht still ersetzt: Jede Änderung erscheint mit Datum und Begründung im Änderungsprotokoll der jeweiligen Seite.

Promptability ist nicht kommerziell. Ergebnisse werden veröffentlicht, wie sie ausfallen – auch wenn sie eine verbreitete Annahme nicht bestätigen.