Die Frage vor dem Test
Ein Experiment verändert eine Intervention kontrolliert, um deren Wirkung auf ein vorab definiertes Outcome zu schätzen. Ein vollständig randomisiertes Design weist die Faktorstufen den experimentellen Einheiten zufällig zu; Balance verteilt Replikationen gleichmäßig.[1]
- Population: Für welche Einheiten soll die Wirkung gelten?
- Estimand: Zum Beispiel die absolute Differenz der 30-Tage-Erfolgswahrscheinlichkeit bei Zuweisung zu B versus A.
- Randomisierungseinheit: Person, Team, Standort oder Zeitfenster – dort, wo die Intervention unabhängig zugewiesen wird.
- Analyseeinheit: Muss Abhängigkeit durch wiederholte Messungen, Cluster oder Spillover respektieren.
- Entscheidung: Rollout nur bei ausreichender Wirkung, akzeptablen Guardrails und tragbarem Risiko.
Geprüftes Zwei-Gruppen-Beispiel
Allgemeines Lernbeispiel, kein APKV-Prozess: A erzielt 120/400=30,0%, B 148/400=37,0%. Die geschätzte absolute Wirkung ist +7,0 Prozentpunkte, das Risk Ratio 0,37/0,30=1,233. Der ungepoolte Standardfehler der Differenz ist √(0,30·0,70/400 + 0,37·0,63/400)=0,03329. Das approximative 95%-Intervall lautet 0,07±1,96·0,03329=[0,0048; 0,1352].
Unter H₀ gleicher Raten ist die gepoolte Rate 268/800=0,335; SE₀=√(0,335·0,665·(1/400+1/400))=0,03337, z=2,098 und der zweiseitige p-Wert ungefähr 0,036. Entscheidung: Wenn die vorab definierte minimal relevante Wirkung +4 Prozentpunkte beträgt und der Rollout ein Intervall vollständig oberhalb +4 verlangt, ist die Bedingung trotz p<0,05 nicht erfüllt. Die ASA warnt ausdrücklich davor, Entscheidungen allein an einer p-Wert-Schwelle festzumachen; p-Werte messen weder Effektgröße noch Wichtigkeit.[2]
Arithmetik und Holm-Schritte prüfen →Design-Canvas vor Datenblick
| Baustein | Vorab festlegen | Typischer Bruch |
|---|---|---|
| Intervention & Nicht-Ziel | Was ändert sich genau; welche Entscheidung bleibt menschlich? | Mehrere Änderungen zugleich, unklare Exposition. |
| Primäres Outcome | Definition, Nenner, Zeitfenster, Messsystem. | Nachträglich die günstigste Metrik wählen. |
| Einheit & Zuteilung | Randomisierungsebene, Verhältnis, Strata/Blöcke, Ausschlüsse vor Zuteilung. | Personen randomisieren, aber Team-Spillover ignorieren. |
| Analyse | Primärer Vergleich nach Zuweisung, Missingness, Cluster-SE, Transformationsregel. | Nur Complier analysieren und Randomisierung brechen. |
| Fehlerkontrolle | Hypothesenfamilie, α, Power, MDE, Interims-/Stop-Regeln. | Fortlaufend testen oder viele Segmente durchsuchen. |
| Guardrails | Schaden, Qualität, Fairness, Betriebskapazität; Stop- und Rollback-Schwellen. | Primärmetrik steigt, relevante Nebenwirkung bleibt unsichtbar. |
CONSORT 2025 verlangt für transparente randomisierte Studien unter anderem Randomisierungseinheit und Zuteilungsverhältnis, prädefinierte Outcomes, Analysezuordnung, Effektmaß mit Präzision und gegebenenfalls Multiplizitätsverfahren.[5] Das ist hier eine Qualitätscheckliste, keine Behauptung, dass jedes Produkt-Experiment eine klinische Studie sei.
A/A vor A/B: Pipeline prüfen, nicht Wirkung beweisen
- Beide Gruppen erhalten dieselbe Variante; die Zuteilungspipeline läuft wie im späteren Test.
- Prüfe ungefähr erwartete Gruppengrößen, Logging/Nenner, Vorperiodenmetriken, Ausfälle, Exposition und Clusterzuordnung.
- Ein einzelnes A/A-p>0,05 beweist keine fehlerfreie Pipeline; viele A/A-Metriken erzeugen selbst Zufallstreffer.
- Sample-Ratio-Mismatch, Zeitversatz oder gruppenabhängige Missingness sind Diagnoseanlässe, keine nachträglichen Ausschlussrezepte.
Mehrere Tests: Familie zuerst definieren
Bei fünf unabhängigen wahren Nullhypothesen und α=0,05 beträgt die Wahrscheinlichkeit mindestens eines Fehlalarms ohne Korrektur 1−0,95⁵≈22,6%. Bonferroni testet jede der fünf Hypothesen bei 0,01 und sichert über die allgemeine Ungleichung eine Familienfehlerkontrolle; NIST betont zugleich, dass kein Multiple-Comparison-Verfahren überall am besten ist.[3]
Holm-Schrittfolge bei α=0,05: Sortierte p-Werte [0,006; 0,012; 0,030; 0,20]. Vergleiche 0,006≤0,0125: verwerfen. Dann 0,012≤0,0167: verwerfen. Dann 0,030≤0,025: nicht verwerfen und stoppen; die letzten beiden bleiben unverworfen. Holms Originalarbeit zeigt starke Kontrolle der Wahrscheinlichkeit, mindestens eine wahre H₀ fälschlich zu verwerfen, und ist gegenüber einfachem Bonferroni nicht schwächer.[4]
FWER
Passend, wenn schon ein falscher positiver Schluss in der definierten Familie schwer wiegt. Bonferroni ist transparent; Holm meist die sinnvollere einfache Standardwahl.
FDR
Kann bei explorativen Discovery-Familien passender sein, wenn ein kontrollierter Anteil falscher Entdeckungen akzeptabel ist. Familie, Abhängigkeit und Folgevalidierung trotzdem explizit planen.
Interview-Fallen
- Randomisierung von Zeilen behaupten, obwohl Nutzer mehrfach vorkommen.
- Baseline-Ungleichheit automatisch als Randomisierungsfehler deuten oder nach p-Werten nachadjustieren.
- p<0,05 mit relevanter, kausaler oder roll-out-fähiger Wirkung gleichsetzen.
- Primärmetrik, Segmente oder Stoppzeit nach dem Ergebnis wechseln.
- Bonferroni blind über unverbundene Fragen legen, statt die Entscheidungsfamilie zu definieren.
90-Sekunden-Antwort
„Ich definiere Population, Estimand, Randomisierungs- und Analyseeinheit sowie eine primäre Metrik mit minimal relevanter Wirkung. Danach plane ich Power, Analyse nach Zuweisung, Missingness, Cluster und Guardrails. A/A prüft die Pipeline. Im Ergebnis berichte ich absolute und relative Wirkung mit Intervall; der p-Wert ist nur ein Baustein. Mehrere entscheidungsrelevante Hypothesen fasse ich vorab als Familie und kontrolliere etwa mit Holm. Rollout folgt aus Wirkung, Unsicherheit, Nebenfolgen und einer vorab vereinbarten Stop-/Rollback-Regel.“
Belege auf dieser Seite
- Completely randomized designs · geprüft 2026-09-02
- ASA Statement on Statistical Significance and P-Values · geprüft 2026-09-02
- Bonferroni's method · geprüft 2026-09-02
- A Simple Sequentially Rejective Multiple Test Procedure · geprüft 2026-09-02
- CONSORT 2025 expanded checklist · geprüft 2026-09-02