Logistische Regression: Wahrscheinlichkeit ist noch keine Entscheidung

Mental Model und Zielfunktion

Für ein binäres Y modelliert die logistische Regression logit(p)=log(p/(1−p))=β₀+xᵀβ und bildet den linearen Score mit der Sigmoidfunktion auf p∈(0,1) ab. In der ML-Sicht wird die binäre Log-Loss minimiert, häufig plus L1-, L2- oder Elastic-Net-Strafe.^[1]

Training: numerische Optimierung der Loss. Inference: Score → Wahrscheinlichkeit; erst eine fachlich gewählte Schwelle oder Entscheidungsregel erzeugt eine Aktion.

Geprüftes Rechenbeispiel

Sei logit(p)=−2+0,5x. Bei x=4 ist der Logit 0 und p=0,5. Eine Einheit mehr multipliziert die Odds unter dem Modell mit exp(0,5)=1,649. Das ist kein Anstieg der Wahrscheinlichkeit um 50 Prozentpunkte: bei x=5 ist p=1/(1+exp(−0,5))≈0,622, also +12,2 Prozentpunkte.

Bei Interaktion β₃XZ gilt die Odds-Ratio für +1 in X bei festem Z als exp(β₁+β₃Z). Berichte den relevanten Kontrast möglichst zusätzlich auf Wahrscheinlichkeitsskala.

Regularisierung ist eine Modellwahl

In scikit-learn ist Regularisierung standardmäßig aktiv; C wirkt invers zur Regularisierungsstärke. Das ist ein wichtiger Unterschied zu vielen Statistikpaketen.^[1] Scaling innerhalb einer Pipeline ist besonders für Regularisierung und Optimierung relevant; Preprocessing wird ausschließlich auf Trainingsfolds gelernt.

Evaluation passend zur Entscheidung

1. Split: Personen/Cluster/Zeit so trennen, wie das Modell eingesetzt wird; Label- und Preprocessing-Leakage verhindern.
2. Ranking: ROC-AUC oder bei seltenem Positivfall oft PR-Kurve – nie allein.
3. Wahrscheinlichkeiten: Log-Loss, Brier Score und Kalibrierungsplot; Kalibrierung auf separaten Folds.
4. Schwelle: Sensitivität, Spezifität, PPV, NPV, Kapazität und asymmetrische Fehlerkosten am Einsatzpunkt.
5. Stabilität: Konfidenz/Resampling, Subgruppen, Zeitfenster, Drift und Abstain-/Fallback-Regel.

Ein Default von 0,5 ist eine Softwarekonvention, keine universelle fachliche Schwelle.^[1]

Schlechte Fits und schlechte Fragen

• Nichtlinearität im Logit → Transformation/Splines oder anderes Modell validieren.
• Separation, seltene Ereignisse, kleine Zellzahlen → Unsicherheit und alternative Schätzung prüfen.
• Wahrscheinlichkeitsausgabe ≠ kalibrierte Wahrscheinlichkeit; Kalibrierung messen.
• Assoziationskoeffizient ≠ Kausaleffekt. CDC betont, dass Signifikanz allein Kausalität nicht zeigt und Confounding, Bias sowie Design zu prüfen sind.^[2]