Vier Ebenen, vier Fragen
- Diskrimination/Ranking: Ordnet der Score positive Fälle tendenziell vor negative?
- Wahrscheinlichkeit: Sind probabilistische Aussagen kalibriert und scharf genug?
- Schwelle: Welche Fälle werden bei Fehlerkosten und Kapazität tatsächlich markiert?
- Workflow: Verbessert diese Auswahl die operative oder fachliche Entscheidung inklusive Fallback?
Keine einzelne Metrik beantwortet alle vier Ebenen. Die Definitionen von Precision TP/(TP+FP) und Recall TP/(TP+FN) sind schwellen- und positivklassenspezifisch.[1]
Geprüfte Confusion Matrix
Allgemeines Lernbeispiel: Von 1.000 Fällen sind 100 positiv. Bei einer Schwelle entstehen TP=72, FP=108, FN=28 und TN=792.
| Metrik | Rechnung | Ergebnis |
|---|---|---|
| Accuracy | (72+792)/1000 | 86,4% |
| Precision / PPV | 72/(72+108) | 40,0% |
| Recall / Sensitivität | 72/(72+28) | 72,0% |
| Spezifität | 792/(792+108) | 88,0% |
| F1 | 2·0,4·0,72/(0,4+0,72) | 51,4% |
Eine Always-negative-Baseline erreicht 90% Accuracy und schlägt damit 86,4%, findet aber keinen positiven Fall. Das macht Accuracy hier nicht „falsch“; sie passt nur nicht allein zur Auswahlentscheidung.
Metriken und Kalibrierung ausführen →Schwelle ist eine Policy
Die 180 markierten Fälle beanspruchen Kapazität; 108 davon sind Fehlalarme. Eine andere Schwelle kann beispielsweise TP=60, FP=40, FN=40, TN=860 erzeugen: Precision=60%, Recall=60%, 100 Reviews. Welche Variante besser ist, hängt von Nutzen, Fehlerfolgen, Review-Kapazität, Abstention und Fallback ab – nicht von F1 allein.
Ranking
ROC-AUC oder Average Precision vergleichen Schwellenbereiche. Bei seltenen Positiven Baseline und Precision–Recall-Verlauf sichtbar machen.
Einsatzpunkt
Confusion Matrix, PPV/NPV, Sensitivität, Spezifität, Volumen und Kosten genau an der vorgesehenen Policy berichten.
Kalibrierung ≠ Ranking
Ein binärer Klassifikator ist kalibriert, wenn unter Fällen mit vorhergesagter Wahrscheinlichkeit nahe 0,8 ungefähr 80% positiv sind. Reliability-Diagramme vergleichen je Bin mittlere Prognose mit beobachtetem Anteil.[2]
Für y=[0,0,1,1] und p=[0,1;0,3;0,7;0,9] ist der Brier Loss ((0,1−0)²+(0,3−0)²+(0,7−1)²+(0,9−1)²)/4=0,05. Er ist ein proper probabilistischer Score, aber kein isoliertes Kalibrierungsmaß: Diskrimination, Kalibrierung und Outcome-Unsicherheit wirken gemeinsam.[1] Kalibrierungsmethode und ihre Parameter dürfen nicht auf denselben Fällen fitten, auf denen die finale Güte berichtet wird.
Error Analysis vor dem nächsten Modell
- Fehlerstichprobe blind zur Modellvariante ziehen und Taxonomie vorab definieren.
- Nach Labelqualität, Datenquelle, Zeit, Eingabequalität, Klasse und plausiblen Subgruppen schneiden.
- Nenner und Unsicherheit zeigen; kleine Gruppen nicht nur nach Punktschätzung ranken.
- Fehlerursache in Daten, Label, Repräsentation, Modell, Schwelle oder Workflow lokalisieren.
- Eine Reparaturhypothese formulieren und auf neuen Daten prüfen; Testset nicht iterativ ausoptimieren.
Auswahlhilfe
| Entscheidungsfrage | Primäre Sicht | Ergänzen |
|---|---|---|
| Begrenzte Top-k-Queue | Precision@k, Recall@k, Ausbeute | Kapazität, Subgruppen, Stabilität |
| Wahrscheinlichkeitsbasierte Kosten | Log Loss/Brier + Calibration Plot | Entscheidungskurve, Drift |
| Fehlerfolgen asymmetrisch | Schwellenkurve und Kostenmatrix | Abstention, Fallback, Guardrails |
| Seltene Klasse finden | Precision–Recall + Baseline | Absolute Counts, Label-Coverage |
Interview-Fallen
- Hohe ROC-AUC als Beleg für gute Kalibrierung oder passende Betriebsschwelle.
- F1 optimieren, obwohl Fehlerkosten oder Kapazität nicht symmetrisch sind.
- Subgruppenmetriken ohne Nenner, Intervalle oder Labelqualitätsprüfung.
- Kalibrierung am finalen Test fitten und denselben Test als unberührt bezeichnen.
Belege auf dieser Seite
- Metrics and scoring: quantifying the quality of predictions · geprüft 2026-09-02
- Probability calibration · geprüft 2026-09-02
- CalibratedClassifierCV — scikit-learn 1.9.0 documentation · geprüft 2026-09-02