Clustering
Welche Gruppen entstehen unter einer gewählten Repräsentation und Ähnlichkeit?
Drei verschiedene Fragen
Anomalieerkennung
Welche Fälle liegen nach einem definierten Normalitätsbegriff ungewöhnlich?
Dimensionsreduktion
Welche kompaktere Repräsentation bewahrt für einen Zweck relevante Struktur?
Semi-supervised
Wie können wenige Labels plus viele ungelabelte Daten helfen? Annahmen über Cluster und Glätte explizit testen.
Keines dieser Verfahren entdeckt automatisch „wahre Kundentypen“, Betrug oder kausale Faktoren. Ergebnis und Benennung sind Modellkonstrukte, die gegen einen externen Zweck geprüft werden müssen.
Objective, Training, Inferenz
| Methode | Optimiert / lernt | Wichtige Annahmen | Neue Fälle |
|---|---|---|---|
| K-Means | Minimiert Within-Cluster Sum of Squares zu k Zentroiden. | Euclidische, ungefähr isotrope/konvexe Struktur; Skalierung sinnvoll; k vorgegeben. | Nächster gelernter Zentroid: induktiv. |
| DBSCAN / HDBSCAN | Dichteverbundene Regionen; Punkte außerhalb als Noise. | Metrik und Dichteschwellen passen; variable Dichten bleiben schwierig. | Viele Implementierungen primär transduktiv; Deploymentfähigkeit separat prüfen. |
| Isolation Forest / LOF | Isolation beziehungsweise lokale Dichteabweichung als Anomaliescore. | Anomaliebegriff und erwartete Kontamination; lokale/globale Dichten passend. | Outlier- und Novelty-Modus unterscheiden. |
| PCA | Orthogonale Richtungen maximaler Varianz; lineare Projektion. | Varianz trägt relevante Information; lineare Struktur; Zentrierung und Skalenwahl passend. | Mit Trainingsmittel und -komponenten transformieren. |
K-Means' Inertia bevorzugt konvexe, isotrope Cluster und ist in hoher Dimension problematisch; Clusterverfahren unterscheiden sich außerdem darin, ob sie neue Daten zuordnen.[1] PCA maximiert erklärte Varianz, zentriert, skaliert aber nicht automatisch.[3]
Outlier oder Novelty?
Outlier Detection: Das Fit-Set enthält vermutlich Ausreißer; das Verfahren versucht den dichten Normalbereich trotz Kontamination zu lernen. Novelty Detection: Das Fit-Set gilt als sauber/normal; neue Fälle werden dagegen geprüft. scikit-learn bezeichnet Letzteres als semi-supervised anomaly detection.[2]
Eine Top-k-Anomalieliste ist noch kein Erfolg: Prüfe Precision@k auf reviewten Stichproben, Coverage verschiedener Fehlertypen, Zeit bis Bearbeitung, Reviewer-Übereinstimmung, Subgruppen, neue Muster und selektive Labels. Ohne repräsentative Normalbeispiele und verlässliche Folgeprüfung ist ein hoher Score keine Betrugswahrscheinlichkeit.
Evaluation ohne bequeme Ground Truth
- Stabilität: Ändern Seeds, Fenster, Skalierung oder kleine Datenstörungen die Struktur?
- Interne Kriterien: Silhouette/Inertia nur relativ zur gewählten Metrik und Geometrie, nicht als Business-Nutzen.
- Externe Evidenz: Unabhängige Labels, Expert Review, Downstream-Entscheidung oder prospektiver Pilot.
- Negativkontrollen: Zufallsbaseline, bekannte triviale Segmente, Duplikate und Datenquellenartefakte prüfen.
- Generalisation: Repräsentation, Skalierung, PCA und Schwellen nur auf Train fitten; späteres Fenster getrennt bewerten.[4]
Minimaler Pipeline-Entwurf
pipeline = make_pipeline(
StandardScaler(),
PCA(n_components=0.90),
KMeans(n_clusters=4, n_init=20, random_state=7)
)
# Fit nur auf Trainingsfenster; Cluster danach mit externen Kriterien charakterisieren.
# Kein Clustername ohne dokumentierte Evidenz und Unsicherheit.PCA kann Rauschen und Laufzeit reduzieren, kann aber kleine entscheidungsrelevante Richtungen verwerfen. Cluster nachträglich anhand Outcome zu benennen und dieselben Outcomes als Bestätigung zu nutzen wäre zirkulär.
Interview-Fallen
- Silhouette-Score als Beweis sinnvoller natürlicher Gruppen.
- Anomaliescore als kalibrierte Schadens- oder Betrugswahrscheinlichkeit.
- PCA auf allen Daten vor Cross-Validation fitten.
- Cluster-IDs wie ordinale oder stabile Identitäten behandeln.
- Ein transduktives Verfahren wählen, obwohl täglich neue Fälle zugeordnet werden müssen.
Stop-Regel
Wenn keine konkrete Downstream-Handlung, kein belastbarer Ähnlichkeitsbegriff und keine externe Evaluation benannt werden können, ist explorative Visualisierung oder eine regelbasierte Analyse ehrlicher als ein produktiver Cluster-/Anomalie-Workflow.
Belege auf dieser Seite
- Clustering · geprüft 2026-09-02
- Novelty and Outlier Detection · geprüft 2026-09-02
- Decomposing signals in components · geprüft 2026-09-02
- Common pitfalls and recommended practices · geprüft 2026-09-02