Modell, Estimand und Ziel
Ein lineares Modell beschreibt den bedingten Mittelwert als E[Y|X]=β₀+β₁X₁+…+βₚXₚ; linear bedeutet linear in den unbekannten Koeffizienten, nicht zwingend eine gerade Linie in jedem Rohmerkmal. Ordinary Least Squares (OLS) wählt Schätzungen, die die Summe quadrierter Residuen minimieren.[1]
Interpretation: Bei sonst gleichen Modellvariablen ändert sich der geschätzte bedingte Mittelwert von Y pro Einheit Xⱼ um β̂ⱼ. „Sonst gleich“ ist eine modellbedingte Assoziation, kein automatischer Interventionseffekt.
Geprüftes OLS-Beispiel
Für x=[0,1,2,3,4] und y=[1,3,2,5,4] gilt x̄=2, ȳ=3, Σ(x−x̄)(y−ȳ)=8 und Σ(x−x̄)²=10. Damit β̂₁=0,8 und β̂₀=1,4. Vorhersagen sind [1,4; 2,2; 3,0; 3,8; 4,6], Residuen [−0,4; 0,8; −1,0; 1,2; −0,6], SSE=3,6 und R²=1−3,6/10=0,64.
Plain German: Das Modell erklärt in dieser Stichprobe 64% der Streuung um ȳ. Das sagt weder, dass die Beziehung kausal ist, noch dass sie außerhalb des beobachteten Bereichs stabil bleibt.
Rechnung ausführbar prüfen →Annahmen nach Aussageziel
| Frage | Was prüfen? | Wenn verletzt |
|---|---|---|
| Bedingter Mittelwert | Funktionale Form; Residuen ohne systematisches Muster. | Transformation, Splines, Interaktion oder anderes Modell begründet prüfen. |
| Unsicherheit/KI | Unabhängige Fehler bzw. korrekt modellierte Abhängigkeit; passende Varianz; für kleine Stichproben plausible Fehlerverteilung. | Cluster-/Zeitstruktur modellieren, robuste Standardfehler oder Resampling auf richtiger Einheit. |
| Stabile Koeffizienten | Keine starke Multikollinearität; ausreichende Daten im relevanten Bereich. | Merkmale begründet bündeln, Regularisierung und Stabilitätsanalyse; keine blinde Variablenselektion. |
| Generalisation | Deployment-passender Zeit-/Gruppensplit, keine Leakage, relevante Population. | Scope begrenzen, Datenprozess verbessern oder Modell nicht einsetzen. |
Diagnostik ist kein R²-Ritual
Residuen eᵢ=yᵢ−ŷᵢ machen nicht erklärte Struktur sichtbar. NIST warnt ausdrücklich: Ein hohes R² garantiert keinen passenden Modellfit; grafische Residualanalyse prüft funktionale Form, nichtkonstante Streuung, Abhängigkeit und mögliche Missspezifikation.[2]
- Residuen vs. Fits/Prädiktoren: Krümmung → Form fehlt; Trichter → Varianz ändert sich.
- Residuen über Zeit/Gruppe: Drift, Autokorrelation oder Clusterabhängigkeit.
- Leverage/Influence: Schätzung mit und ohne einflussreiche Punkte vergleichen; fachlich prüfen statt automatisch löschen.
- Out-of-sample: Diagnostik des In-sample-Fits ersetzt keine deployment-nahe Validierung.
Interaktion, Confounding, Kausalität
Bei Y=β₀+β₁X+β₂Z+β₃XZ hängt der marginale X-Anstieg von Z ab: β₁+β₃Z. Hauptterme bleiben bei einer Interaktion im Modell, damit die Parametrisierung interpretierbar bleibt. Ein Confounder kann eine beobachtete Exposition–Outcome-Assoziation verzerren; CDC nennt als Kern, dass der dritte Faktor mit Outcome und Exposition zusammenhängt, aber keine Folge der Exposition ist.[4] Welche Variablen zu adjustieren sind, folgt aus Design und kausalem Wissen, nicht aus p-Wert-Screening. Auch nach Adjustierung können ungemessene Confounder bleiben.
Interview-Fallen
- „R²=0,9, also ist das Modell gut und kausal.“
- Normalverteilung jedes Features statt der Fehlerstruktur verlangen.
- Ausreißer automatisch löschen, ohne Datenfehler, Leverage und Zielpopulation zu klären.
- Alle verfügbaren Variablen adjustieren – auch Mediatoren oder Leakage-Merkmale.
Belege auf dieser Seite
- Linear Least Squares Regression · geprüft 2026-09-02
- How can I tell if a model fits my data? · geprüft 2026-09-02
- Linear Models — scikit-learn User Guide · geprüft 2026-09-02
- Analyzing and Interpreting Data — Field Epidemiology Manual · geprüft 2026-09-02