Auswahl beginnt vor dem Algorithmus
Definiere Einheit, Target, Vorhersagezeitpunkt, Fehlerkosten, Baseline und späteren Datenfluss. Erst dann vergleichst du Familien unter demselben deployment-nahen Split. Ein höherer Validierungsscore rechtfertigt Komplexität nur, wenn Unsicherheit, Latenz, Erklärbarkeit, Kalibrierung und Wartung ebenfalls passen.
Vier mentale Modelle
| Familie | Training / Objective | Inferenz | Wichtige Regler |
|---|---|---|---|
| Entscheidungsbaum | Rekursive Schwellen minimieren greedy gewichtete Unreinheit oder Regressionsverlust. | Ein Pfad von Wurzel zu Blatt; blattweise konstante Prognose. | max_depth, min_samples_leaf, Kriterium, Pruning. |
| Random Forest / Boosting | Forest mittelt diverse bootstrap-/feature-randomisierte Bäume; Boosting baut schwache Bäume sequenziell gegen Restfehler. | Aggregation vieler Bäume; mehr Speicher und Rechenzeit als ein Baum. | Anzahl/Tiefe, Feature-Sampling; beim Boosting zusätzlich Lernrate. |
| k-Nearest Neighbors | Kein parametrischer Fit: Trainingsinstanzen und Index werden gespeichert. | Nachbarn per Metrik suchen, (gewichtete) Mehrheit oder Mittel bilden. | k, Metrik, Gewichte, Suchalgorithmus. |
| Support Vector Machine | Große Margin bei Fehlklassifikationsstrafe; Kernel ersetzen explizite nichtlineare Features. | Score aus Support-Vektoren; Wahrscheinlichkeiten benötigen separate Kalibrierung. | C, Kernel, bei RBF gamma. |
Bäume lernen stückweise konstante Regeln, können instabil überfitten und extrapolieren schlecht.[1] Random Forests senken Varianz durch diverse Bäume; Boosting korrigiert Fehler sequenziell.[2] k-NN stimmt anhand gespeicherter Nachbarn ab; größeres k glättet, verwischt aber Grenzen.[3] SVMs nutzen Support-Vektoren und Kernel, liefern aber nicht direkt kalibrierte Wahrscheinlichkeiten.[4]
Preprocessing ist Teil des Modells
Skalierung kritisch
- k-NN: Abstand und Nachbarschaft ändern sich mit Einheiten.
- RBF-SVM:
Cundgammasind ohne konsistente Skalierung kaum sinnvoll. - Skalierer ausschließlich im Trainingsfold fitten und per Pipeline anwenden.
Skalierung meist nicht kritisch
- Baumschwellen hängen von Ordnungen, nicht der linearen Einheit ab.
- Trotzdem Missingness, Kategorien, seltene Ausprägungen und zeitliche Verfügbarkeit prüfen.
- Einzelne Bäume nicht mit Kausalität oder stabiler Erklärung verwechseln.
Geprüftes Mini-Beispiel
Eine 1-NN-Abfrage q=(Betrag 900, Quote 0,9) vergleicht Trainingspunkte (850;0,1; Klasse 0), (0;0,8; Klasse 1) und (1000;0,7; Klasse 1). Roh dominiert der Betrag: nächster Abstand ≈50,006, Klasse 0. Nach fest vorgegebener Skalierung Betrag/1000 und Quote/1 ist der dritte Punkt mit Abstand √(0,1²+0,2²)=0,224 am nächsten: Klasse 1. Interpretation: Die Einheit kann die Modellentscheidung drehen; Skalenparameter müssen aus Train stammen. Ein Baum trennt dieselben Daten bei Quote≤0,4 perfekt und bleibt bei linearer Skalierung des Betrags unverändert.
Deployment-Trade-offs
| Frage | Baum/Ensemble | k-NN | SVM |
|---|---|---|---|
| Training | Ein Baum günstig; Ensemble parallel oder sequenziell teurer. | Geringer Fit, aber Indexaufbau/Speicher. | Kernel-SVM kann mit Fallzahl teuer skalieren. |
| Inferenz | Pfadlänge × Bäume; gut batchbar. | Nachbarsuche gegen gespeicherte Daten; Latenz und Datenschutz beachten. | Abhängig von Zahl der Support-Vektoren. |
| Erklärung | Kleiner Baum nachvollziehbar; Ensemble-Erklärung ist Approximation. | Ähnliche Fälle plausibel, aber Metrik muss fachlich sinnvoll sein. | Lineare Gewichte möglich; nichtlineare Kernel schwerer zu erklären. |
| Shift | Keine gute Extrapolation; Blattdeckung überwachen. | Neue Punkte können weit von jeder Trainingsinstanz liegen. | Margin-/Score-Verteilung und Skalierung überwachen. |
Minimaler fairer Vergleich
models = {
'tree': DecisionTreeClassifier(max_depth=4),
'knn': make_pipeline(StandardScaler(), KNeighborsClassifier(n_neighbors=15)),
'svm': make_pipeline(StandardScaler(), SVC(C=1, gamma='scale'))
}
# Gleiche deployment-nahe Folds, gleiche Baseline und mehrere relevante Metriken.
# Hyperparameter nur im inneren Training; finaler Test bleibt unberührt.Die Pipeline schützt nur korrekt modellierte Grenzen. Gruppen, Zeit, Labelverzug und Features nach dem Entscheidungszeitpunkt bleiben fachliche Splitfragen.[5]
Interview-Fallen
- „Random Forest braucht kein Preprocessing“ mit „Datenqualität und Leakage sind egal“ verwechseln.
- Feature Importance als Kausalität oder unverzerrte globale Erklärung lesen.
- k-NN nur nach Trainingszeit beurteilen und Produktionslatenz/Speicherung vergessen.
- SVM-Score als kalibrierte Wahrscheinlichkeit oder 0 als fachliche Policy-Schwelle behandeln.
60-Sekunden-Auswahlantwort
„Ich starte mit einer linearen oder regelbasierten Baseline. Dann teste ich Familien, deren Induktionsbias zur Struktur passt: Bäume für Interaktionen und Schwellen, Nachbarn nur bei sinnvoller Distanz und tragbarer Inferenz, SVM bei passender Skalierung und Datenmenge. Ich tune innerhalb deployment-naher Folds und vergleiche nicht nur Score, sondern Kalibrierung, Latenz, Stabilität, Erklärung und Wartung. Den finalen Test öffne ich einmal.“
Belege auf dieser Seite
- Decision Trees · geprüft 2026-09-02
- Ensembles: gradient boosting, random forests, bagging, voting, stacking · geprüft 2026-09-02
- Nearest Neighbors · geprüft 2026-09-02
- Support Vector Machines · geprüft 2026-09-02
- Cross-validation: evaluating estimator performance · geprüft 2026-09-02