Score, Confidence, Zeit und Fälligkeit helfen nur bei der nächsten Lernentscheidung. Die Abstände 0/1/3/7/21 Tage sind eine transparente, lokale Heuristik und keine Behauptung über Gedächtnisleistung oder Allianz-Scoring. Dynamische Ergebnis- und Fehlermeldungen werden als Status programmatisch ausgezeichnet.[51]
Practice Cockpit
0fällig
0schwach
0Score 0–1
0gemerkt
0Kalibrierungslücke
„Kalibrierungslücke“ bedeutet hier nur: Confidence ≥ 4 bei Self-Score ≤ 2. Sie ist ein persönliches Lernsignal.
Die Daten bleiben in diesem Browser-Origin. Der JSON-Export nutzt Blob-URL und Downloadmechanismus; der Browser kontrolliert den tatsächlichen Dateidownload.[53] Die File API erlaubt ausgewählte Dateien asynchron einzulesen.[52] Importdateien werden vor dem Zusammenführen auf Version, Felder und Werte geprüft. Keine Datei wird hochgeladen.
Ein A/B-Test liefert p=0,04, aber die geschätzte Verbesserung liegt unter der vorab definierten wirtschaftlichen Mindestwirkung. Welche Empfehlung gibst du?
Annahmen: Testdesign und Messung sind valide; Mindestwirkung wurde vor Sichtung der Ergebnisse festgelegt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Statistische und praktische Signifikanz trennen
Konfidenzintervall und Effektgröße prüfen
Nicht allein wegen p<0,05 ausrollen
Kosten, Risiken und weitere Datenerhebung abwägen
Schwache Antwort: „Signifikant, also sofort ausrollen.“
Bewertung: 0: p-Wert als Effekt oder H0-Wahrscheinlichkeit. 1: p-Wert und Effekt getrennt. 2: zusätzlich Unsicherheit. 3: zusätzlich fachliche Mindestwirkung und Fehlerkosten. 4: alles verbunden mit konkreter risikoabhängiger Empfehlung.
Dauer, Live-Coding, genaue Fragen und Bewertung als unbekannt markieren
Schwache Antwort: Live-Coding oder eine feste Dauer als angekündigt darstellen.
Bewertung: 0: Formatdetails erfunden. 1: einen bestätigten Bereich korrekt. 2: mehrere bestätigte Bereiche von Hypothesen getrennt. 3: zusätzlich Dauer, Aufgabenform und Scoring als unbekannt. 4: vollständige Einladungskarte plus klare Vorbereitungshypothesen ohne interne Behauptung.
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Hypothetisches Interview-Szenario: Ein Assistenzsystem soll Dokumente vorsortieren. Strukturiere die ersten acht Klärungsfragen, bevor du ein Modell empfiehlst.
Annahmen: Keine Kenntnis interner APKV-Daten oder Prozesse; das System unterstützt Menschen und trifft keine leistungsrelevante Entscheidung.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Dokumentrouting unterstützen; keine Leistungs-, Preis- oder Anspruchsentscheidung treffen.
Nutzer · Betroffene · Entscheidung
Sachbearbeitung nutzt Vorschläge; einreichende Personen sind durch mögliche Verzögerung betroffen.
Einheit · Target/Label · Horizont
Ein Dokument beim Eingang; reviewte Routingklasse; Entscheidung unmittelbar für die nächste Queue.
Datenannahmen · Leakage
Nur zum Eingang verfügbare Inhalte; spätere Abschlusscodes und Korrekturen bleiben ausgeschlossen.
Baseline · Kandidat
Manuelle Queue und einfache Regeln vor klassischem Textmodell oder Dokumentmodell vergleichen.
Offline · Betrieb · Subgruppen · Akzeptanz
Fehlerkosten, Coverage, Abstention, Reviewzeit und Subgruppen je Dokumenttyp; Schwellen vorab festlegen.
Validierung · Rollout
Zeitgerechter Holdout, Shadow-Betrieb und begrenzter advisory-only Pilot ohne automatische Entscheidung.
Monitoring · Fallback · Rollback
Drift, Overrides, Beschwerden und Labelverzug; manuelle Standardqueue als Fallback und Rollback.
Wann ist eine regelbasierte Baseline einem komplexen ML-Modell vorzuziehen? Gib eine entscheidungsbezogene Antwort statt einer Algorithmusliste.
Annahmen: Allgemeines Lernbeispiel, kein behaupteter APKV-Prozess.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Messbares Ziel und Fehlerkosten
Datenmenge/-qualität und Drift
Interpretierbarkeit, Latenz und Wartung
Baseline als Vergleich und mögliche Stop-Regel
Schwache Antwort: „ML ist immer genauer“ oder „Regeln sind immer interpretierbar“ ohne Kontext.
Bewertung: 0: pauschale Siegerbehauptung. 1: messbares Ziel und Fehlerkosten. 2: zusätzlich Datenmenge, Datenqualität und Drift. 3: zusätzlich Interpretierbarkeit, Latenz und Wartung. 4: alle Kriterien mit Baselinevergleich und klarer Auswahl- oder Stop-Regel.
Ein Ereignis hat eine Basisrate von 2%. Ein Signal besitzt 90% Sensitivität und 5% Falsch-Positiv-Rate. Berechne P(Ereignis|Signal) und leite eine vorsichtige Handlungsregel ab.
Annahmen: 10.000 unabhängige Fälle aus derselben Zielpopulation; Raten sind für den Einsatzkontext stabil; allgemeines Lernbeispiel.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
200 Ereignisfälle und 9.800 Nichtfälle ansetzen
180 richtig positive und 490 falsch positive Signale berechnen
Posterior 180/670≈26,9% erhalten
Basisrateneffekt erklären und keine automatische Entscheidung empfehlen
Folgeprüfung, Schwelle oder Abstention an Fehlerkosten binden
Schwache Antwort: 90% als gesuchte Wahrscheinlichkeit ausgeben oder die 5% ohne Bezug auf 9.800 Nichtfälle abziehen.
Erkläre den Unterschied zwischen disjunkten und unabhängigen Ereignissen. Können zwei Ereignisse mit positiver Wahrscheinlichkeit beides sein?
Annahmen: Beide Ereignisse haben positive Wahrscheinlichkeit.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Disjunkt als P(A∩B)=0 definieren
Unabhängig als P(A∩B)=P(A)P(B) definieren
Bei positiven Wahrscheinlichkeiten P(A)P(B)>0 folgern
Daher nicht zugleich disjunkt und unabhängig
Anschauliches Gegenbeispiel nennen
Schwache Antwort: „Disjunkt und unabhängig bedeuten beide, dass Ereignisse nichts miteinander zu tun haben.“
Bewertung: 0: Begriffe gleichgesetzt. 1: ein Begriff korrekt. 2: beide Definitionen. 3: Unmöglichkeit korrekt hergeleitet. 4: zusätzlich anschaulich und ohne Kausalitätsbehauptung erklärt.
Statistik · WahrscheinlichkeitEntscheidungsrechnungmittel
Option A kostet sicher 4 Einheiten. Option B kostet mit 10% Wahrscheinlichkeit 30, sonst 0. Vergleiche Erwartungswerte und erkläre, warum das allein noch keine Entscheidung erzwingt.
Annahmen: Kosten sind vergleichbar; einmalige Entscheidung; Risikotragfähigkeit und Nebenfolgen sind nicht spezifiziert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
E[Kosten A]=4 berechnen
E[Kosten B]=0,1·30+0,9·0=3 berechnen
B hat geringere erwartete Kosten
Tail-Risiko und Risikopräferenz/Risikotragfähigkeit nennen
Nichtmonetäre Folgen oder wiederholte versus einmalige Entscheidung klären
Schwache Antwort: B allein wegen Erwartungswert 3 automatisch wählen und die 30er-Auswirkung ignorieren.
Bewertung: 0: Rechenfehler und keine Abwägung. 1: ein Erwartungswert. 2: beide korrekt. 3: Risiko jenseits des Mittels. 4: kontextabhängige Empfehlung mit geklärten Entscheidungskriterien.
Für eine Bernoulli-Zufallsvariable gilt p=0,20. Berechne Erwartungswert und Varianz; bestimme dann für 50 unabhängige Beobachtungen Erwartungswert und Varianz der Summe.
Annahmen: Unabhängig und identisch Bernoulli-verteilt; p ist als Populationsparameter gegeben.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
E[X]=p=0,20
Var(X)=p(1−p)=0,16
E[S]=50·0,20=10
Var(S)=50·0,16=8
Unabhängigkeit als Voraussetzung der Varianzaddition nennen
Schwache Antwort: Varianz mit Standardabweichung verwechseln oder Varianzen ohne Unabhängigkeitsprüfung addieren.
Bewertung: 0: Größen verwechselt. 1: E[X]=0,2 und Var(X)=0,16. 2: zusätzlich E[S]=10. 3: zusätzlich Var(S)=8. 4: vollständiger Rechenweg und Erklärung, dass Varianzadditivität hier die Unabhängigkeit voraussetzt.
Eine kleine, wichtige Gruppe umfasst 3% der Zielpopulation. Du brauchst eine präzise gruppenspezifische Schätzung und eine Gesamtschätzung. Wie würdest du ziehen und auswerten?
Annahmen: Ein geeigneter Sampling Frame und die Gruppenzugehörigkeit sind vor Ziehung verfügbar; allgemeines Lernbeispiel.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Geschichtete Stichprobe vorschlagen
Kleine Gruppe gezielt überziehen
Für Gesamtschätzung inverse Auswahlwahrscheinlichkeiten/Gewichte verwenden
Gruppenspezifische Präzision und Design-Effekt planen
Nonresponse und Frame-Abdeckung je Schicht prüfen
Schwache Antwort: Nur insgesamt n erhöhen oder die überzogene Gruppe ungewichtet in die Gesamtschätzung übernehmen.
Bewertung: 0: Zielgruppe ignoriert. 1: mehr Daten. 2: Schichtung/Oversampling. 3: korrekte Gewichtung. 4: zusätzlich Präzisionsplanung und schichtspezifische Biasprüfung.
Für θ=10 nimmt T₁ die Werte 8 oder 12 mit gleicher Wahrscheinlichkeit an; T₂ nimmt 10 oder 11 mit gleicher Wahrscheinlichkeit an. Berechne Bias, Varianz und MSE und wähle unter quadratischem Verlust.
Annahmen: Die angegebenen Verteilungen sind die wiederholten Stichprobenverteilungen der beiden Schätzer; beide Ausgänge haben jeweils Wahrscheinlichkeit 0,5.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
E[T₁]=10 und Bias 0
Var(T₁)=4 und MSE 4
E[T₂]=10,5 und Bias 0,5
Var(T₂)=0,25 und MSE 0,5
T₂ unter quadratischem Verlust trotz Bias bevorzugen
Schwache Antwort: Nur Unverzerrtheit vergleichen oder Varianz und MSE gleichsetzen, ohne den quadrierten Bias zu addieren.
Bewertung: 0: keine korrekte Größe. 1: Erwartungswerte. 2: beide Biaswerte. 3: Varianzen und MSE. 4: korrekte Auswahl mit explizitem Bezug zum quadratischen Verlust.
Designgerechtes Cluster-/Block-Resampling oder neues Sampling vorschlagen
Schwache Antwort: Nur die Resample-Anzahl reduzieren oder erhöhen; einzelne abhängige Zeilen unverändert resampeln.
Bewertung: 0: Claim akzeptiert. 1: mehr Resamples lösen Bias nicht. 2: Selektionsbias erklärt. 3: Abhängigkeit und Resampling-Einheit. 4: passende Reparatur oder Grenze der Inferenz.
Statistik · Logistische RegressionEntscheidungsdesignschwer
Ein logistisches Modell liefert p̂. Wie bestimmst du eine Einsatzschwelle, ohne 0,5 als Naturkonstante zu behandeln?
Annahmen: Die Aktion ist reversibel; Fehlerkosten, Kapazität und Grundrate müssen mit Stakeholdern geklärt werden.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Entscheidung, Betroffene, Fehlerarten und Nicht-Ziel klären
Kalibrierung und deployment-nahe Grundrate prüfen
Sensitivität, Spezifität, PPV und NPV über Schwellen samt Unsicherheit zeigen
Fehlerkosten, Reviewkapazität und mögliche Abstain-Zone einbeziehen
Schwelle auf Validierung wählen und einmalig auf unberührtem Testset prüfen; Monitoring/Fallback definieren
Schwache Antwort: 0,5 verwenden, weil die Bibliothek es vorgibt, oder nur Accuracy maximieren.
Bewertung: 0: 0,5 ungeprüft. 1: Metrik genannt. 2: Kosten oder Kalibrierung. 3: Schwellenkurve und Kapazität. 4: leakage-freie Auswahl plus Betrieb/Fallback.
Entwirf einen A/B-Test von der Produktfrage bis zur Rollout-Regel. Welche Festlegungen müssen vor dem ersten Ergebnis stehen?
Annahmen: Allgemeines digitales Lernbeispiel; Nutzer können mehrfach aktiv sein; keine APKV- oder Gesundheitsentscheidung.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Population, Intervention, Vergleich und Nicht-Ziel definieren
Estimand, primäres Outcome, Nenner und Messzeitpunkt festlegen
Randomisierungs- und Analyseeinheit sowie Spillover klären
MDE, Alpha, Power, Hypothesenfamilie und Stop-Regel vorab planen
Guardrails, Missingness, Analyse nach Zuweisung, Rollback und Eigentümer benennen
Schwache Antwort: Nur 50/50-Traffic, p<0,05 und eine Conversion-Metrik nennen.
Bewertung: 0: test-first ohne Frage. 1: Gruppen und Metrik. 2: Estimand/Einheit. 3: Power, Analyse und Fehlerkontrolle. 4: vollständige vorab prüfbare Entscheidungs- und Betriebsregel.
A erzielt 120/400 Erfolge, B 148/400. Berechne absolute Differenz, Risk Ratio und mit SE=0,03329 das approximative 95%-Intervall. Entscheide bei einer harten Mindestwirkung von +4 Prozentpunkten.
Annahmen: Unabhängige randomisierte Einheiten, große Zellen, zweiseitiges Wald-Intervall; Rollout verlangt eine Intervalluntergrenze oberhalb 0,04.
Fünf unabhängige wahre Nullhypothesen werden jeweils bei α=0,05 getestet. Wie groß ist die Wahrscheinlichkeit mindestens eines Fehlalarms, und welche Bonferroni-Grenze kontrolliert die Familie bei 0,05?
Annahmen: Unabhängige Tests nur für die exakte 1−(1−α)^m-Rechnung; Bonferroni benötigt diese Unabhängigkeit nicht.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Kein Fehlalarm mit 0,95^5 berechnen
Mindestens ein Fehlalarm 1−0,95^5≈0,2262
Die relevante Familie als fünf Tests benennen
Bonferroni-Einzelgrenze 0,05/5=0,01
Konservativität und Vorabdefinition der Familie erwähnen
Schwache Antwort: 5·5%=25% als exakte Wahrscheinlichkeit ausgeben oder Bonferroni zur Erhöhung der p-Werte und Schwelle gleichzeitig anwenden.
Bewertung: 0: falsche Logik. 1: Kumulierung erkannt. 2: 22,6%. 3: Grenze 0,01. 4: Annahmen, Familie und konservative Eigenschaft korrekt begrenzt.
Wann würdest du Familienfehlerkontrolle (FWER) und wann False Discovery Rate (FDR) wählen? Antworte über Entscheidungen und Fehlerkosten.
Annahmen: Es gibt entweder wenige bestätigende Entscheidungen oder viele explorative Kandidaten; Folgevalidierung ist möglich.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
FWER als Wahrscheinlichkeit mindestens einer falschen Zurückweisung in der Familie beschreiben
FDR als erwarteten Anteil falscher Entdeckungen unter den Entdeckungen einordnen
FWER bei folgenreichen bestätigenden Schlüssen bevorzugen
FDR bei breitem Discovery-Screening mit akzeptierten Fehlentdeckungen erwägen
Familie, Abhängigkeit, Vorabplan und unabhängige Folgevalidierung verlangen
Schwache Antwort: FDR als Wahrscheinlichkeit bezeichnen, dass eine konkrete Entdeckung falsch ist, oder immer die Methode mit mehr Signifikanz wählen.
Bewertung: 0: Begriffe verwechselt. 1: ein Ziel korrekt. 2: beide Ziele. 3: passende Anwendung. 4: Fehlerkosten, Familie und Validierungsworkflow verbinden.
Nach Randomisierung nutzen nur 60% der B-Gruppe die Funktion. Das Team vergleicht Nutzer von B mit allen Personen in A und nennt den Unterschied kausal. Was ist falsch?
Annahmen: Nutzung nach Zuweisung ist selbstselektiert; primäres Estimand war Wirkung der Zuweisung.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Post-Randomisierungsselektion und gebrochene Vergleichbarkeit erkennen
Primäre Analyse nach ursprünglicher Zuweisung für das Zuweisungsestimand verlangen
Zuweisungswirkung von Nutzungseffekt unterscheiden
Compliance, Cross-over und Missingness transparent berichten
Per-Protocol-/Instrumentvariablenanalyse nur mit zusätzlichem Estimand und starken Annahmen als Ergänzung erwägen
Schwache Antwort: Nur die aktiven B-Nutzer zu vergleichen, weil sie die Behandlung tatsächlich erhalten haben.
Bewertung: 0: Selektionsvergleich akzeptiert. 1: Bias erwähnt. 2: Analyse nach Zuweisung. 3: zwei Estimands getrennt. 4: ergänzende Analyse samt Annahmen und Transparenz.
B zeigt +7 Prozentpunkte, p=0,036 und 95%-KI [0,5;13,5] Prozentpunkte. Die vorab gewünschte Mindestwirkung war +4. Formuliere eine 60-Sekunden-Empfehlung mit Alternativen.
Annahmen: Design und Messung sind valide; das Intervall ist approximativ; Rollout-Kosten und Wert zusätzlicher Daten müssen erfragt werden.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Punktschätzung, Intervall und p-Wert getrennt berichten
Statistische Evidenz nicht als Wahrscheinlichkeit von H1 formulieren
Intervall enthält Wirkungen unterhalb der Mindestwirkung
Harte Schwelle von Planungs-MDE unterscheiden und Stakeholderregel klären
Je nach Reversibilität Pilot, weitere Daten, begrenzten Rollout oder Nicht-Rollout samt Guardrails empfehlen
Schwache Antwort: Signifikant bedeutet ausrollen oder Mindestwirkung wegen positiver Schätzung nachträglich ignorieren.
Bewertung: 0: Schwellenautomatismus. 1: Ergebnis wiederholt. 2: Intervall versus Mindestwirkung. 3: Entscheidungsannahmen. 4: klare konditionale Empfehlung mit Risiko, Reversibilität und nächster Information.
Ein Team imputiert fehlende Werte mit dem Median des gesamten Datensatzes und führt danach 5-fold Cross-Validation durch. Warum ist der Score nicht sauber, und wie reparierst du den Ablauf?
Annahmen: Der Imputer lernt den Median; die Daten wären abgesehen davon plausibel i.i.d.; der finale Test soll unbekannte Fälle repräsentieren.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Gesamtdaten-Median als Train–Validation-Contamination erkennen
Jeder Validierungsfold beeinflusst seinen eigenen Trainings-Imputer
Split vor jedem lernenden Preprocessing-Schritt verlangen
Imputer und Modell in eine Pipeline legen und innerhalb jedes Trainingsfolds fitten
Einen unberührten finalen Test für die primäre Schätzung reservieren
Schwache Antwort: Cross-Validation als automatische Leakage-Garantie darstellen oder den globalen Median wegen seiner Robustheit erlauben.
Bewertung: 0: Ablauf akzeptiert. 1: Leakage vermutet. 2: globalen Fit lokalisiert. 3: foldweise Pipeline korrekt. 4: zusätzlich finalen Test und Grenzen des i.i.d.-Splits einordnet.
200 Personen haben je drei Zeilen. Bei unabhängigem 80/20-Zeilensplit: Wie groß ist die Wahrscheinlichkeit, dass eine Person ausschließlich in Train oder ausschließlich in Test liegt, und was folgt für einen Einsatz auf neuen Personen?
Annahmen: Jede Zeile wird unabhängig mit Wahrscheinlichkeit 0,8 Train beziehungsweise 0,2 Test zugewiesen.
Nach 40 Modellvarianten wählt das Team die beste Variante direkt auf dem Testset und berichtet denselben Testscore als erwartete Produktionsleistung. Debugge die Aussage.
Annahmen: Alle 40 Varianten wurden auf demselben Test verglichen; es gibt noch genügend unberührte Daten oder eine künftige Datenerhebung.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Testset als implizite Validierungsmenge erkennen
Auswahl über viele Varianten als Overfitting an Testzufall erklären
Modellwahl innerhalb Training per passenden CV-Folds durchführen
Neuen unberührten Test oder prospektive Evaluation für finale Schätzung verlangen
Anzahl der Versuche, Analyseplan und Unsicherheit transparent berichten
Schwache Antwort: Den besten Testscore akzeptieren, weil keine Gradienten auf dem Test berechnet wurden.
Bewertung: 0: Claim akzeptiert. 1: Optimismus vermutet. 2: Test-Overfitting erklärt. 3: innere Modellwahl/äußerer Test. 4: neue Evidenz und Versuchstransparenz ergänzt.
Vergleiche zufälliges K-Fold, GroupKFold und einen vorwärtsgerichteten Zeitsplit. Welche Deployment-Frage beantwortet jedes Design – und welche nicht?
Annahmen: Es können sowohl wiederholte Entitäten als auch zeitliche Veränderungen vorkommen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Random K-Fold an plausibel i.i.d. neue Zeilen binden
GroupKFold an neue unabhängige Gruppen binden
Forward Split an spätere Zeiträume binden
Kombinierte Gruppen- und Zeitstruktur als möglichen Sonderplan erkennen
Split anhand Einsatz, Abhängigkeit und Labelzeitpunkt statt Softwaredefault wählen
Schwache Antwort: Immer stratifiziertes K-Fold wählen, weil es die stabilsten Scores liefert.
Bewertung: 0: Designs gleichsetzt. 1: ein Design passend. 2: alle drei beschrieben. 3: Generalisationsziele sauber getrennt. 4: kombinierte Struktur und Grenzen benannt.
Das Gesamtmodell erfüllt sein Ziel, aber eine kleine relevante Subgruppe zeigt deutlich niedrigeren Recall. Wie untersuchst du das, ohne vorschnell am Testset zu optimieren?
Annahmen: Subgruppe ist fachlich begründet; Mitgliedschaft und Labels dürfen rechtmäßig und sinnvoll für die Prüfung genutzt werden; kleiner Nenner erzeugt hohe Unsicherheit.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Absolute Counts, Nenner und Unsicherheit statt nur Punktschätzung berichten
Labelqualität, Coverage und Messunterschiede der Subgruppe prüfen
Fehlerfälle mit vorab definierter Taxonomie untersuchen
Ursache in Daten, Repräsentation, Modell, Schwelle oder Workflow lokalisieren
Reparatur auf neuen Validation-Daten entwickeln und auf unberührter Evidenz bestätigen
Schwache Antwort: Die Gruppenschwelle direkt so lange auf dem finalen Test ändern, bis Recall gleich ist.
Bewertung: 0: Test-Optimierung. 1: Gap erwähnt. 2: Nenner/Unsicherheit. 3: Ursachenanalyse. 4: rechtmäßige, neue Evidenz und Trade-offs einschließend.
Ein Knoten enthält Labels [0,0,1,1]. Split S erzeugt links [0,0] und rechts [1,1]. Berechne Gini vor und nach dem Split und interpretiere die Reduktion.
Annahmen: Ungewichtete binäre Klassifikation; beide Kinder enthalten je zwei Fälle.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Vorher p0=p1=0,5 bestimmen
Gini vorher 1−0,5²−0,5²=0,5 berechnen
Beide Kind-Ginis als 0 berechnen
Gewichteten Gini nach Split als 0 und Reduktion als 0,5 angeben
Perfekten Trainingssplit nicht mit Out-of-sample-Generalisation gleichsetzen
Schwache Antwort: Gini als Accuracy lesen oder aus vier Trainingsfällen perfekte künftige Leistung folgern.
Bewertung: 0: kein Ansatz. 1: Begriff. 2: ein Gini korrekt. 3: vollständige Rechnung. 4: Rechnung plus Generalisationsgrenze.
Vergleiche einen einzelnen Baum, Random Forest und Gradient Boosting für ein tabellarisches Problem. Antworte über Bias/Varianz, Training, Inferenz und Wartung.
Annahmen: Genügend gelabelte Daten; nichtlineare Interaktionen möglich; Latenz und Erklärung sind relevant.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Einzelbaum als gut darstellbar, aber hochvariant/instabil einordnen
Forest als Mittelung diverser Bäume zur Varianzreduktion erklären
Boosting als sequenzielle Fehlerkorrektur schwacher Bäume erklären
Tiefe, Baumzahl, Feature-Sampling beziehungsweise Lernrate als Regler nennen
Alle drei unter denselben Folds inklusive Latenz, Kalibrierung und Wartung vergleichen
Schwache Antwort: Forest oder Boosting universell als genauer bezeichnen und Betriebskosten ignorieren.
Bewertung: 0: Namensliste. 1: ein Unterschied. 2: Lernmechanismen. 3: Bias/Varianz und Rechenweg. 4: deployment-nahe Auswahl mit Baseline.
Ein 1-NN-Modell nutzt Einkommen in Euro und Quote in [0,1] ohne Skalierung. Warum ist die euklidische Nähe fachlich kaum interpretierbar, und wie reparierst du den Vergleich?
Annahmen: Beide Features sollen grundsätzlich beitragen; keine fachlich vorgegebene gewichtete Distanz.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Euro-Skala als dominierenden Distanzanteil erkennen
Metrik und Feature-Repräsentation als Modellannahmen benennen
Skalierer nur im Trainingsfold fitten
k und Metrik innerhalb der Modellwahl abstimmen
Nachbarschaften, Ausreißer, hohe Dimension und finalen Test prüfen
Schwache Antwort: Nur k erhöhen oder alle Werte vor dem Split global normalisieren.
Bewertung: 0: kein Problem. 1: Skala erwähnt. 2: Pipeline. 3: Metrik/k und Split. 4: Repräsentation, Stabilität und Generalisation.
Du hast 500 gelabelte und 50.000 ungelabelte Fälle. Wie prüfst du, ob semi-supervised learning wirklich hilft?
Annahmen: Ungelabelte Fälle stammen möglicherweise aus einer breiteren Population; Labels sind teuer, aber ein repräsentatives Testset ist finanzierbar.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Supervised Baseline nur auf den 500 Labels definieren
Repräsentativität und Shift zwischen gelabelten/ungelabelten Daten prüfen
Cluster-/Glätteannahme oder Pseudo-Label-Mechanismus explizit machen
In 50 Fragen findet Top-5 bei 42 Fragen mindestens einen Goldbeleg; 70 von 250 Chunks sind relevant. Berechne Recall@5 und Chunk-Precision und interpretiere beide.
Annahmen: Jede Frage hat mindestens einen versionierten Goldbeleg; insgesamt werden genau fünf Chunks je Frage geliefert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Recall@5 als 42/50=0,84 rechnen
Chunk-Precision als 70/250=0,28 rechnen
Frage-Coverage von Kontextreinheit unterscheiden
viel irrelevanter Kontext als mögliches Generations-/Latenzrisiko nennen
Antwortkorrektheit, Groundedness und Zitiergenauigkeit danach separat prüfen
Schwache Antwort: 84% als End-to-end-Antwortgenauigkeit ausgeben.
Bewertung: 0: falsch. 1: eine Zahl. 2: beide Zahlen. 3: Interpretation. 4: getrennte End-to-end-Evaluation.
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein hypothetischer OCR-Extraktor ist insgesamt zu 97% korrekt, vertauscht aber bei seltenen Dokumenttypen häufiger Datumsfelder. Entscheide über den Pilot.
Annahmen: Extrahierte Werte sind nur Vorschläge; seltene Dokumenttypen betreffen eine kleine, potenziell stärker verzögerte Gruppe.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Felder zur Prüfung vorbefüllen; keine ungeprüfte Übernahme oder Leistungsentscheidung zulassen.
Nutzer · Betroffene · Entscheidung
Prüfende Mitarbeitende entscheiden; Personen seltener Dokumenttypen tragen erhöhte Verzögerungsrisiken.
Einheit · Target/Label · Horizont
Dokument und Feld beim Eingang; doppelt geprüftes Goldfeld; Korrektur vor weiterer Bearbeitung.
Datenannahmen · Leakage
Versionierte Eingangsseite und OCR; keine nachgelagerten manuellen Korrekturen als Modellinput.
Baseline · Kandidat
Template- und Regex-Regeln gegen OCR plus Extraktor mit feldspezifischer Abstention vergleichen.
Offline · Betrieb · Subgruppen · Akzeptanz
Feldfehler, Coverage und Korrekturzeit je Typ; kritische Datumsfehler separat mit Mindestwerten prüfen.
Validierung · Rollout
Stratifizierter finaler Test, Shadow-Vorbefüllung und Pilot nur für freigegebene Dokumenttypen.
Monitoring · Fallback · Rollback
Fehler- und Override-Trends je Feld/Typ; unzuverlässige Typen sofort in manuelle Erfassung zurückrollen.
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein hypothetischer interner Wissensassistent findet gute Belege, gibt aber manchmal Dokumente außerhalb der Nutzerrolle wieder. Was ist deine Release-Entscheidung?
Annahmen: Quellen können sensible Informationen und indirekte Prompt-Injections enthalten; Antworten bleiben interne Entwürfe.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Freigegebene Wissensquellen auffindbar machen; keine berechtigungswidrige Anzeige oder automatische Auskunft.
Nutzer · Betroffene · Entscheidung
Mitarbeitende prüfen Entwürfe; Betroffene können durch falsche oder offengelegte Information beeinträchtigt werden.
Einheit · Target/Label · Horizont
Frage, Nutzerrolle und versionierter Dokumentraum; Antwort nur für den aktuellen Wissensstand.
Datenannahmen · Leakage
ACL vor Retrieval erzwingen; fremde Dokumente, geheime Metadaten und spätere Evaluationen ausgeschlossen.
Baseline · Kandidat
Rollenbasierte Suche mit Filtern gegen RAG nur bei messbarem Zusatznutzen vergleichen.
APKV-Fall · Incident und AbhilfeIncident Responseschwer
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Nach einem hypothetischen Pilot melden sich Personen aus einer kleinen Dokumentgruppe wegen auffällig langer Bearbeitungszeiten. Führe die Reaktion durch.
Annahmen: Routingvorschläge und Overrides sind versioniert; alle finalen Entscheidungen waren menschlich, Verzögerungen können dennoch schaden.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Schaden begrenzen und Ursache lernen; menschliche Endentscheidung nicht als Entlastung missverstehen.
Nutzer · Betroffene · Entscheidung
Betroffene Personen brauchen Abhilfe; Incident-, Fach-, Datenschutz- und Modellowner entscheiden über Wiederanlauf.
Einheit · Target/Label · Horizont
Dokument, Routingereignis und Wartezeit seit Pilotstart; relevante Versionen und Gruppe klar eingrenzen.
Datenannahmen · Leakage
Versionierte Eingangs-, Routing- und Override-Daten sichern; nachträgliche Rekonstruktion von Training trennen.
Baseline · Kandidat
Manuelle Standardroute sofort wiederherstellen; Modellroute erst nach unabhängiger Ursachenprüfung erwägen.
Offline · Betrieb · Subgruppen · Akzeptanz
Wartezeit, Fehlrouting, Overrides und Abhilfe je Dokumenttyp/Sprache/Qualität mit Wiederfreigabeschwellen.
Validierung · Rollout
Pilot für betroffene Gruppe stoppen, rückwirkend prüfen und nur nach neuem stratifiziertem Test freigeben.
Monitoring · Fallback · Rollback
Incidentlog, Betroffenensuche und Recovery; manueller Fallback, Rollback der Version und enges Nachmonitoring.
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Zwei hypothetische eingereichte Dokumente wirken ähnlich. Entwirf eine Dublettenhilfe, ohne verschiedene Personen oder Vorgänge automatisch zusammenzuführen.
Annahmen: Personen-, Dokument- und Vorgangsidentitäten können fehlerhaft oder unvollständig sein; ein falsches Merge kann Informationen fehlzuordnen.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Mögliche Dubletten zur Prüfung markieren; niemals Personen, Vorgänge oder Dokumente automatisch zusammenführen.
Nutzer · Betroffene · Entscheidung
Sachbearbeitung bestätigt oder verwirft Vorschläge; Einreichende sind durch Fehlzuordnung und Verzögerung betroffen.
Einheit · Target/Label · Horizont
Dokumentenpaar beim Eingang; doppelt geprüftes Match/No-Match-Label; Entscheidung vor jeder Verknüpfung.
Datenannahmen · Leakage
Nur erlaubte Eingangsmerkmale; spätere manuelle Merge-Entscheidungen sauber versionieren und Split nach Person halten.
Baseline · Kandidat
Deterministische exakte Schlüssel und konservative Fuzzy-Regeln vor gelerntem Paarmodell vergleichen.
Offline · Betrieb · Subgruppen · Akzeptanz
False Merge hat Vorrang; Precision, Recall, Abstention, Reviewzeit und Fehler je Dokumenttyp mit harten Gates.
Validierung · Rollout
Personengruppierter finaler Test, Shadow-Vorschläge und enger advisory Pilot mit Doppelreview.
Monitoring · Fallback · Rollback
Matchraten, Overrides und Korrekturen; No-Merge als Fallback und vollständiger Rollback jeder Verknüpfung.
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein hypothetisches System soll komplexe Servicebriefe in verständlichere Sprache übertragen. Wann genügen redaktionelle Templates und wo dürfte ein Sprachmodell höchstens unterstützen?
Annahmen: Der freigegebene fachliche Inhalt darf sich nicht ändern; Schreiben können individuell und folgenreich sein.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Verständlichkeit erhöhen; Leistungsinhalt, Fristen, Rechtswirkung und individuelle Fakten nicht verändern.
Nutzer · Betroffene · Entscheidung
Redaktion und Fachprüfung verantworten Text; Empfängerinnen und Empfänger handeln möglicherweise danach.
Einheit · Target/Label · Horizont
Versionierter Absatz plus freigegebene Kernaussage; Überarbeitung vor Versand, nicht nach Kundenreaktion.
Datenannahmen · Leakage
Nur für den Zweck freigegebene Textfelder; keine fremden Schreiben oder sensiblen Beispiele im Prompt.
Baseline · Kandidat
Redaktionelle Plain-Language-Regeln und Templates vor einem begrenzten Umschreibungsmodell testen.
Offline · Betrieb · Subgruppen · Akzeptanz
Semantische Treue, Zahlen/Fristen, Verständlichkeit, Barrierefreiheit, Subgruppenreview und kritische Nullfehler.
Validierung · Rollout
Kuratiertes adversariales Set, doppelter Fachreview und zunächst rein interner Entwurfsmodus.
Monitoring · Fallback · Rollback
Korrekturen, Beschwerden und Versionsdrift; Originaltemplate als Fallback und Modellfunktion abschaltbar.
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Soll ein hypothetischer Klassifikator eingehende Beschwerden nach vermeintlicher Dringlichkeit sortieren, wenn feste Fristen und Eskalationsbegriffe bereits bekannt sind?
Annahmen: Eine falsche Herabstufung kann Abhilfe verzögern; verbindliche Fristen und Fachregeln dürfen nicht vom Modell überschrieben werden.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Zuständige Queue finden und Fristen sichern; keine Beschwerde aufgrund Modellscore herabstufen oder schließen.
Nutzer · Betroffene · Entscheidung
Beschwerdeteam entscheidet; beschwerdeführende Personen sind von Verzögerung und Abhilfe direkt betroffen.
Einheit · Target/Label · Horizont
Nachricht beim Eingang; freigegebene Kategorie und harte Frist; sofortige Routingentscheidung.
Datenannahmen · Leakage
Nur Eingangstext und erlaubte Metadaten; spätere Lösung, Eskalation oder Reaktionszeit nicht als Input.
Baseline · Kandidat
Fristregeln, Schlüsselbegriffe und sichere Standardqueue vor Textklassifikator verwenden.
Offline · Betrieb · Subgruppen · Akzeptanz
Recall kritischer Klassen, False Downgrade, Fristverletzung, Abstention und Gruppen-/Sprachfehler mit Nulltoleranz-Gates.
Validierung · Rollout
Zeitlicher und sprachstratifizierter Test; Shadow-Modus ohne Sortierwirkung, danach nur unterstützendes Routing.
Monitoring · Fallback · Rollback
Fristbrüche, Overrides und Beschwerden über Triage; sichere Standardqueue als Fallback und sofortiger Rollback.
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Fachpersonen widersprechen sich in einem hypothetischen Dokumentrouting häufig. Wie entscheidest du, ob überhaupt ein supervised Modell trainiert werden sollte?
Annahmen: Der Dissens kann echte Mehrdeutigkeit, uneinheitliche Regeln oder unzureichende Schulung abbilden.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Reproduzierbares Routing ermöglichen; fachlichen Dissens nicht durch ein Modell als Wahrheit verdecken.
Nutzer · Betroffene · Entscheidung
Fachreviewer und Prozessowner definieren Regeln; Einreichende tragen Folgen inkonsistenter Zuordnung.
Einheit · Target/Label · Horizont
Dokument beim Eingang; adjudiziertes Routinglabel oder explizit mehrdeutig; unmittelbare Queue-Zuordnung.
Datenannahmen · Leakage
Doppelannotation auf repräsentativer Stichprobe; keine Mehrheitslabels ohne Konflikt- und Zeitmetadaten.
Baseline · Kandidat
Prozessklärung, Guideline und Regelbaum vor supervised Klassifikator oder probabilistischer Abstention.
Offline · Betrieb · Subgruppen · Akzeptanz
Übereinstimmung nach Klasse, Konfliktgründe, Coverage, Modell-Reviewer-Abweichung und Wartezeit je Typ.
Validierung · Rollout
Blindes Doppelreview, Adjudication und unabhängige Validierung; erst danach Shadow-Modell erwägen.
Monitoring · Fallback · Rollback
Labeldrift und Konfliktquote überwachen; manuelle Mehrdeutigkeitsqueue als Fallback und Modellrollback.
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein Anbieter verspricht für einen hypothetischen Dokumentextraktor 99% Genauigkeit, legt aber Trainingsdaten, Untergruppen und Revalidierungsplan nicht offen. Welche Evidenz verlangst du?
Annahmen: Das System bliebe advisory, verarbeitet aber potenziell sensible Dokumentinhalte; ein Anbieterwechsel ist möglich.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Extraktion sicher unterstützen; Marketingmetrik nicht als Freigabenachweis akzeptieren.
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein hypothetisches System schlägt aus Freitext einen standardisierten medizinischen Code zur fachlichen Prüfung vor. Welche Grenzen und Tests brauchst du?
Annahmen: Der Code dient nur einer internen Strukturierung; er darf nicht automatisch über Deckung, Preis oder Leistung entscheiden.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Fachliche Codierung beschleunigen; keine Diagnose feststellen oder leistungsrelevante Folgewirkung automatisieren.
Nutzer · Betroffene · Entscheidung
Qualifizierte Fachpersonen prüfen jeden Vorschlag; dokumentierte Personen sind durch Fehlcodierung betroffen.
Einheit · Target/Label · Horizont
Textpassage und Kontextversion; fachlich bestätigter Code oder Abstention; Prüfung vor jeder Weiterverwendung.
Datenannahmen · Leakage
Nur notwendiger Text und erlaubter Kontext; spätere Abrechnung, Entscheidung und Reviewerhinweise nicht leaken.
Baseline · Kandidat
Terminologiesuche und Regeln vor Mehrklassenmodell oder Retrieval-gestütztem Vorschlag vergleichen.
Offline · Betrieb · Subgruppen · Akzeptanz
Top-k-Recall, kritische Verwechslung, Abstention, Reviewzeit und Güte je Codegruppe mit harten Ausschlüssen.
Validierung · Rollout
Entitäts-/zeitgerechter stratifizierter Test, Doppelreview seltener Codes und rein advisory Shadow-Pilot.
Monitoring · Fallback · Rollback
Codeverteilung, Overrides und neue Codes; Terminologiesuche als Fallback und Modellversion rollbackfähig.
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein hypothetisches Routingmodell ist technisch unverändert, aber Fachregeln, Dokumenttypen und Queue-Zuschnitte ändern sich. Entwirf die Revalidierungsentscheidung.
Annahmen: Scoreverteilungen wirken stabil; neue Outcome-Labels sind erst nach mehreren Wochen vollständig.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Weiterbetrieb nur bei weiterhin passendem Zweck und Prozess; technische Versionsgleichheit nicht als Gültigkeit werten.
Nutzer · Betroffene · Entscheidung
Prozess- und Modellowner entscheiden; Mitarbeitende und Einreichende tragen Folgen veralteter Routinglogik.
Einheit · Target/Label · Horizont
Dokument beim neuen Prozessstand; aktualisiertes Routinglabel; Outcome nach mehrwöchigem Labelverzug.
Datenannahmen · Leakage
As-of-Prozessversion speichern; alte und neue Labeldefinitionen nicht unbemerkt mischen oder rückwirkend leaken.
Baseline · Kandidat
Neue Regeln und manuelle Standardqueue gegen eingefrorenes Modell unter neuer Prozessdefinition vergleichen.
Offline · Betrieb · Subgruppen · Akzeptanz
Coverage, Fehler, Wartezeit und Overrides je alter/neuer Queue und Dokumenttyp mit erneuten Akzeptanzwerten.
Validierung · Rollout
Ad-hoc-Revalidierung als Change-Gate, Shadow unter neuer Policy und erneute unabhängige Freigabe.
Monitoring · Fallback · Rollback
Policy-, Schema- und Queueänderungen als Trigger; manueller Fallback, Modellstopp und versionierter Rollback.
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Eine hypothetische interne RAG-Suche findet passende Fachpassagen, darf aber nicht jedem Mitarbeitenden jedes Dokument offenlegen. Entwirf Retrieval und Antwortgrenzen.
Annahmen: Quellen enthalten fachliche Regeln und teils sensible Vorgangsdaten; Rollen, Berechtigungen und Dokumentstände sind heterogen.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Freigegebenes Wissen schneller finden; keine Zugriffsrechte umgehen und keine Antwort ohne belegte Passage erzeugen.
Nutzer · Betroffene · Entscheidung
Mitarbeitende prüfen Quellen und handeln fachlich; dokumentierte Personen sind bei unzulässiger Offenlegung betroffen.
Einheit · Target/Label · Horizont
Anfrage-Rollen-Kontext zu versionierter Passage; belegte Antwort oder Abstention im aktuellen Recherchevorgang.
Datenannahmen · Leakage
Berechtigung vor Retrieval und nach Antwort prüfen; Testkorpus strikt von realen vertraulichen Vorgängen trennen.
Baseline · Kandidat
Berechtigungsgefilterte Stichwortsuche und kuratierte FAQ vor generativer Antwort vergleichen.
Offline · Betrieb · Subgruppen · Akzeptanz
Retrieval-Recall, Quellenpräzision, Groundedness, verbotene Offenlegung, Abstention, Latenz und Güte je Rolle.
Validierung · Rollout
Red-Team mit Rollenwechseln und indirekten Prompts; zunächst quellenanzeigende interne Suche im Shadow-Pilot.
Monitoring · Fallback · Rollback
Dokumentversion, ACL-Änderung, Indexfrische und Incidents überwachen; sichere Suche als Fallback, Index rollbackfähig.
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein hypothetischer Assistent soll aus Servicegesprächen Notizentwürfe erstellen. Begrenze Zweck, Datenerfassung und fachliche Verwendung.
Annahmen: Gespräche können Gesundheitsangaben, Emotionen, Namen, Zahlen und Fristen enthalten; eine Aufzeichnung ist nicht automatisch erforderlich oder erlaubt.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Dokumentationsentwürfe erleichtern; keine neue Leistungs-, Risiko- oder Gesundheitsbewertung aus dem Gespräch ableiten.
Nutzer · Betroffene · Entscheidung
Serviceperson prüft und korrigiert; anrufende Personen sind von Fehlnotiz, Übererfassung und Folgeverwendung betroffen.
Einheit · Target/Label · Horizont
Ein freigegebener Gesprächsausschnitt zu einer geprüften Notiz vor Speicherung im konkreten Vorgang.
Datenannahmen · Leakage
Erforderlichkeit von Aufzeichnung versus Live-Notiz klären; Trainings-, Qualitäts- und Vorgangszweck strikt trennen.
Baseline · Kandidat
Strukturiertes manuelles Notiztemplate und Pflichtfelder vor automatischer Transkription und Zusammenfassung.
Offline · Betrieb · Subgruppen · Akzeptanz
Faktentreue bei Namen, Zahlen und Fristen, Auslassung, Zusatzbehauptung, Korrekturzeit und Fehler je Gesprächstyp.
Validierung · Rollout
Synthetische und freigegebene Testgespräche, Doppelreview kritischer Felder, nur Entwurfsmodus im kleinen Pilot.
Monitoring · Fallback · Rollback
Korrekturrate, Speicherfehler und Modellwechsel überwachen; manuelles Template als Fallback und Funktion abschaltbar.
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein hypothetischer Upload-Check soll lediglich erkennen, ob ein Rechnungsbild lesbar genug für die weitere Bearbeitung ist. Braucht es GenAI?
Annahmen: Der Check darf weder Inhalt bewerten noch eine Leistung ablehnen; Nutzerinnen und Nutzer können erneut hochladen oder manuell weitergeleitet werden.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Unlesbare Uploads früh und hilfreich erkennen; keinen medizinischen oder leistungsbezogenen Inhalt beurteilen.
Nutzer · Betroffene · Entscheidung
Einreichende entscheiden über neuen Upload; Sachbearbeitung prüft Grenzfälle und bearbeitet den sicheren Fallback.
Einheit · Target/Label · Horizont
Ein Bild direkt beim Upload; technische Lesbarkeit für definierte Felder, ohne spätere Entscheidung als Target.
Datenannahmen · Leakage
Bildinhalt minimieren, technische Merkmale bevorzugen und Personensplits für mehrfach eingereichte Bilder verwenden.
Baseline · Kandidat
Auflösung, Kontrast, Unschärfe und Dateiregeln vor kleinem Bildklassifikator oder multimodalem Modell.
Offline · Betrieb · Subgruppen · Akzeptanz
Recall unlesbarer Bilder, unnötige Ablehnung, Wiederholungsrate, Barrierewirkung, Latenz und Fehler je Gerät.
Validierung · Rollout
Geräte- und lichtstratifizierter Test, Shadow-Hinweise, danach freiwillige Warnung ohne Uploadblockade.
Monitoring · Fallback · Rollback
Gerätewechsel, Kamera-Updates und Wiederholungen überwachen; direkte Weiterleitung als Fallback, Regelset rollbackfähig.
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Plane hypothetisch einen Forecast für wöchentliche Serviceeingänge, der Personalplanung unterstützt, aber einzelne Kundinnen und Kunden nicht bewertet.
Annahmen: Historische Mengen, Feiertage und bekannte Prozessänderungen sind verfügbar; der Forecast dient Kapazität, nicht individueller Priorisierung.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Kapazitätsengpässe früher sehen; keine Person, Diagnose oder einzelne Anfrage nach vermeintlichem Aufwand bewerten.
Nutzer · Betroffene · Entscheidung
Workforce- und Serviceleitung planen Teams; Mitarbeitende und Anfragende sind durch Fehlplanung und Wartezeiten betroffen.
Einheit · Target/Label · Horizont
Aggregiertes Wochenvolumen je freigegebener Queue mit ein- bis achtwöchigem Planungshorizont.
Datenannahmen · Leakage
Nur zum Prognosezeitpunkt bekannte Kalender- und Prozessmerkmale; spätere Queue-Umbuchungen nicht rückwirkend verwenden.
Baseline · Kandidat
Saisonale Naivprognose und gleitender Median vor komplexem Regressions- oder Zeitreihenmodell.
Offline · Betrieb · Subgruppen · Akzeptanz
MAE/Quantilfehler je Horizont, Intervallabdeckung, Unterbesetzungsstunden, Stabilität und Fehler bei Feiertagen.
Validierung · Rollout
Rolling-origin-Backtest über mehrere Saisons, parallele Planung ohne Personalwirkung, danach begrenzter Einsatz.
Monitoring · Fallback · Rollback
Forecastfehler, Intervallabdeckung und Prozesswechsel; manuelle Planung als Fallback, Modellversion rollbackfähig.
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein hypothetisches Portal soll Werbebanner aus Profil und Verhalten personalisieren. Entscheide, welche Daten und Wirkungen ein No-go auslösen.
Annahmen: Personalisierung ist nicht für Vertragsservice erforderlich; Gesundheitsangaben, Nutzungsmuster und vulnerable Situationen könnten Proxy-Signale bilden.
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein hypothetischer Coding-Assistent soll Entwickler unterstützen. Welche Grenzen gelten für Quellcode, Geheimnisse, Testdaten und automatisch erzeugte Änderungen?
Annahmen: Code kann interne Architektur verraten; Repositories dürfen keine echten Gesundheitsdaten oder Zugangsdaten enthalten, dennoch sind Fehlkonfigurationen möglich.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Entwicklungshilfe für klar freigegebene Repositories; keine Geheimnisse, personenbezogenen Daten oder ungeprüften Änderungen exfiltrieren.
Nutzer · Betroffene · Entscheidung
Entwickelnde prüfen Code und Tests; Security und Systemowner genehmigen Integration und betroffene Repositories.
Einheit · Target/Label · Horizont
Ein Codekontext zu lokalem Vorschlag vor Review, Test und Merge; niemals autonome Produktionsänderung.
Datenannahmen · Leakage
Secret Scanning, Datenklassifikation und Repository-Allowlist vor Prompt; Anbietertraining und Retention vertraglich klären.
Baseline · Kandidat
IDE-Funktionen, statische Analyse, Suche und interne Snippets vor externem generativem Assistenten.
Offline · Betrieb · Subgruppen · Akzeptanz
Securityfehler, Lizenz-/Provenienzrisiko, Testbestehen, Reviewaufwand, Datenabfluss und Nutzen je Aufgabentyp.
Validierung · Rollout
Sandbox-Repositories, adversariale Secrets und unsichere Aufgaben; Opt-in-Pilot mit normalem Code Review.
Monitoring · Fallback · Rollback
Nutzung, Findings, Anbieter-/Modellwechsel und Incidents; Assistent deaktivierbar, Standardentwicklung als Fallback.
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Eine hypothetische Wissenssuche soll deutsche Fachquellen für anderssprachige Serviceanfragen finden. Wie prüfst du Retrieval, Übersetzung und Antwort getrennt?
Annahmen: Die autoritativen Quellen sind deutsch; Anfragen variieren in Sprache und Fachterminologie, verbindliche Antworten bleiben menschlich geprüft.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Passende freigegebene Quellen sprachübergreifend finden; keine Übersetzungsunsicherheit als gesicherte Fachauskunft ausgeben.
Nutzer · Betroffene · Entscheidung
Mehrsprachig qualifizierte Servicepersonen prüfen Quelle und Formulierung; Anfragende sind von Bedeutungsfehlern betroffen.
Einheit · Target/Label · Horizont
Anfrage-Sprache zu relevanter deutscher Passage und geprüftem Entwurf im aktuellen Kontakt.
Datenannahmen · Leakage
Nur notwendige Anfrage verarbeiten; Testfragen und Quellenstände versionieren, keine späteren Antworten in Retrievalfeatures.
Baseline · Kandidat
Zweisprachiges Glossar, Query-Übersetzung und klassische Suche vor multilingualen Embeddings plus Generierung.
Offline · Betrieb · Subgruppen · Akzeptanz
Retrieval-Recall@k, Übersetzungstreue, Quellenentailment, Antwortgrounding, Abstention und Fehler je Sprache/Intent.
Validierung · Rollout
Bilinguales Doppelreview, seltene Termini und Code-Switching; Shadow-Suche für freigegebene Sprachpaare.
Monitoring · Fallback · Rollback
Sprachmix, neue Begriffe und Quellenupdates; deutsche Originalsuche und professionelle Übersetzung als Fallback.
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Eine hypothetische Beschwerdeakte umfasst mehrere Nachrichten. Entwirf eine quellengebundene Chronologie, die Widersprüche nicht glattbügelt.
Annahmen: Zeitpunkte, Absender, Anlagen und Aussagen können widersprüchlich sein; die Zusammenfassung darf keine Frist oder Beschwerdeposition ersetzen.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Chronologie und offene Punkte sichtbar machen; keine widersprüchlichen Aussagen vereinheitlichen oder Fristen neu interpretieren.
Nutzer · Betroffene · Entscheidung
Beschwerdebearbeitung prüft jede kritische Stelle; beschwerdeführende Personen sind von Auslassung und falscher Gewichtung betroffen.
Einheit · Target/Label · Horizont
Versionierte Nachricht/Anlage zu datierter Quellenzeile und geprüftem Aktenüberblick vor Bearbeitung.
Datenannahmen · Leakage
Nur Akte des Vorgangs, chronologische as-of-Sicht; spätere Lösung und interne Bewertung nicht in frühere Zusammenfassung mischen.
Baseline · Kandidat
Automatisch sortierte Dokumentliste und strukturierte Timeline-Felder vor generativer Prosa.
Offline · Betrieb · Subgruppen · Akzeptanz
Zeit-/Absenderkorrektheit, Quellenabdeckung, Widerspruchserhalt, kritische Auslassung, Zusatzbehauptung und Reviewzeit.
Validierung · Rollout
Doppelreview schwieriger Akten, absichtlich widersprüchliche Tests, Shadow-Timeline ohne Priorisierungswirkung.
Monitoring · Fallback · Rollback
Korrekturen, Quellenlinks und neue Dokumente; sortierte Originalliste als Fallback, Zusammenfassung neu generierbar.
APKV-Fall · Löschung im WissensindexLifecycle Reviewschwer
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein hypothetischer RAG-Index enthält versionierte Vorgangsdokumente. Wie weist du Löschung, Indexaktualität und Entfernung aus Caches und Backups nach?
Annahmen: Quelldokumente, Chunks, Embeddings, Antwortcaches und Backups haben getrennte Speicherpfade; rechtliche Aufbewahrung ist fallspezifisch zu klären.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Zulässige Aufbewahrung und Löschung über alle Ableitungen durchsetzen; keine veraltete Passage weiter auffindbar lassen.
Nutzer · Betroffene · Entscheidung
Daten- und Systemowner bestätigen Regeln; dokumentierte Personen sind von fortbestehender Auffindbarkeit betroffen.
Einheit · Target/Label · Horizont
Quelldokument-ID zu allen Chunks, Embeddings, Caches und Backupfristen über deren gesamten Lifecycle.
Datenannahmen · Leakage
End-to-end-Lineage statt Inhaltskopien führen; Testlöschungen mit synthetischen Markern, keine produktiven Daten duplizieren.
Baseline · Kandidat
Metadatenkatalog und deterministische Löschpipeline vor ad-hoc manuellen Indexbereinigungen.
Offline · Betrieb · Subgruppen · Akzeptanz
Löschvollständigkeit, Zeit bis Nichtauffindbarkeit, Cachetreffer, Backupauslauf und verwaiste Ableitungen.
Validierung · Rollout
Testmandant mit Canary-Dokumenten, Wiederanlauf- und Restore-Test, Freigabe erst nach negativem Retrievalnachweis.
Monitoring · Fallback · Rollback
Löschjobs, Dead Letter, Indexrebuild und Restore überwachen; Zugriff sperren als Sofortfallback, Index rollbackfähig.
Wähle ein reales Data-Science-Projekt und ziehe die Grenze: Welche Entscheidung gehörte dir, welche dem Team und welche einem Stakeholder?
Annahmen: Nur ein tatsächlich erlebtes Projekt; Rollen und Verantwortungen dürfen unklar geblieben sein, müssen dann aber als solche benannt werden.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
konkreten Projektkontext und Entscheidungspunkt nennen
eigene Analyse-, Implementierungs- oder Entscheidungshandlung in Ich-Form beschreiben
Teambeiträge und Abhängigkeiten separat zuordnen
Stakeholder-Entscheidungsrecht nicht als eigene Leistung vereinnahmen
eine überprüfbare Folge oder offene Ergebnisgrenze nennen
Schwache Antwort: Durchgehend ‚wir‘ sagen oder das gesamte Projektergebnis als persönliche Leistung beanspruchen.
Bewertung: 0: unklare/erfundene Ownership. 1: Projekt genannt. 2: eigener Beitrag konkret. 3: Ich, Team und Entscheider sauber getrennt. 4: zusätzlich Beleg und Verantwortungsgrenze reflektiert.
Nenne eine reale Situation, in der du bewusst kein ML oder ein einfacheres Verfahren empfohlen hast. Was machte die Entscheidung richtig?
Annahmen: Wenn es kein solches Beispiel gibt, sage das und formuliere, welche reale Entscheidung dem am nächsten kommt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
fachliches Ziel und Nicht-Ziel benennen
einfachere Baseline oder Nicht-ML-Option beschreiben
Daten-, Risiko-, Kosten- oder Wartungsgrund konkretisieren
eigene Rolle in der Empfehlung klar abgrenzen
Folge, Lernergebnis oder noch offene Evidenz nennen
Schwache Antwort: Eine fiktive No-AI-Heldengeschichte erzählen oder einfache Methoden pauschal als besser erklären.
Bewertung: 0: erfunden/pauschal. 1: Situation. 2: Alternative und Grund. 3: eigene Handlung und Folge. 4: differenzierte Stop-/Simplify-Entscheidung mit Grenzen.
frühes Signal oder fehlende Prüfung identifizieren
Schadensbegrenzung und Kommunikation beschreiben
dauerhafte Änderung an Prozess, Test oder Entscheidungsregel nennen
Schwache Antwort: Einen verkappten Erfolg erzählen, andere verantwortlich machen oder nur sagen, künftig sorgfältiger zu sein.
Bewertung: 0: keine echte Verantwortung. 1: Fehler genannt. 2: eigener Anteil. 3: Signal und Abhilfe. 4: konkrete Lernschleife mit nachprüfbarer Verhaltensänderung.
Erzähle von einer fachlichen Meinungsverschiedenheit im Team, bei der du deine Position geändert oder bewusst nicht durchgesetzt hast.
Annahmen: Die Story muss eine echte Meinungsverschiedenheit und konkrete eigene Handlung enthalten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Streitfrage und gemeinsame Zielsetzung erklären
Gegenposition in ihrer stärksten Form wiedergeben
eigene Evidenz und Gesprächsschritt nennen
Entscheidungsmechanismus oder neues Experiment beschreiben
zeigen, was die eigene Positionsänderung ausgelöst hat
Schwache Antwort: Konfliktfreiheit behaupten oder erzählen, wie die anderen schließlich einsahen, dass du recht hattest.
Bewertung: 0: kein echter Konflikt. 1: Streitpunkt. 2: Gegenposition fair. 3: Evidenz/Entscheidungsprozess. 4: konkrete Lern- oder Positionsänderung und Beziehungspflege.
Nenne eine reale Situation, in der du einer gewünschten Analyse oder Automatisierung Grenzen gesetzt hast. Wie hast du die Ablehnung anschlussfähig gemacht?
Annahmen: Grenze kann aus Datenqualität, Datenschutz, Fairness, Sicherheit oder fehlendem Nutzen entstanden sein; keine Rechtsberatung behaupten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Anfrage, mögliche Wirkung und Betroffene benennen
konkrete Risikoevidenz oder offene Unsicherheit erklären
eigenen Verantwortungsbereich sauber abgrenzen
narrower scope, sichere Alternative oder Stop-Kriterium anbieten
Reaktion, Ergebnis und nicht gelöste Spannung nennen
Schwache Antwort: Sich als alleinige moralische Instanz inszenieren oder eine Grenze ohne Alternative und Dialog schildern.
Bewertung: 0: Heldengeschichte/unklar. 1: Grenze. 2: Risiko. 3: konstruktive Alternative und Kommunikation. 4: Wirkung, Betroffene und Restspannung reflektiert.
Gib deine 60-Sekunden-Vorstellung: aktueller Schwerpunkt, ein belegbares Beispiel, deine Arbeitsweise und die Brücke zu den bestätigten Gesprächsfeldern.
Annahmen: Nur wahre persönliche Fakten; die Einladung bestätigt Statistik, ML, Erfahrung und mögliche AI-Projekte, aber keine konkrete Rolle oder internen Projekte.
Vergleiche deine 60-Sekunden-, 3-Minuten- und Deep-Dive-Version derselben Story. Welche Aussage erscheint nur in einer Version und warum?
Annahmen: Alle drei Entwürfe beziehen sich auf dasselbe reale Ereignis und dürfen unterschiedliche Detailtiefe, aber keine widersprüchlichen Fakten haben.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Kontext, Rolle, Handlung und Ergebnis versionenübergreifend abgleichen
zusätzliche Zahlen oder Ownership in Langversionen markieren
zulässige Detailvertiefung von neuer Behauptung unterscheiden
Widersprüche zur Belegkarte zurückführen
eine bereinigte gemeinsame Kernformulierung erstellen
Schwache Antwort: Unterschiede als reine Stilfrage abtun, obwohl Verantwortung oder Ergebnis wechseln.
Bewertung: 0: Widersprüche ignoriert. 1: Unterschiede gefunden. 2: Fakten/Detail getrennt. 3: gegen Belege geprüft. 4: konsistente Kernstory mit offener Grenze.
Beschreibe ein reales Projekt nach dem ersten Erfolg: Wie wurden Betrieb, Übergabe oder Stilllegung verantwortet und was war dein Anteil?
Annahmen: Das Projekt muss nicht produktiv geworden sein; auch ein bewusst beendeter Prototyp ist gültig.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Status nach Analyse oder Pilot klar benennen
Owner, Nutzer und Übergabekriterien beschreiben
eigene Dokumentations-, Test- oder Betriebsarbeit abgrenzen
Wartung, Monitoring, Fallback oder Stop-Entscheidung ansprechen
offene Schuld, nicht gelöste Aufgabe oder heutige Verbesserung nennen
Schwache Antwort: Beim Modellscore enden oder Produktionsbetrieb behaupten, obwohl nur ein Notebook übergeben wurde.
Bewertung: 0: Status übertrieben. 1: Projektende. 2: Übergabe. 3: eigene Lifecycle-Arbeit und Owner. 4: nachhaltige Wirkung plus ehrliche offene Grenze.
Eine Nachfrage zielt auf eine Kennzahl oder technische Entscheidung, an die du dich nicht sicher erinnerst. Formuliere eine starke ehrliche Antwort.
Annahmen: Du erinnerst den qualitativen Kontext, aber nicht die genaue Zahl oder den finalen Parameterwert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Unsicherheit direkt und ruhig markieren
keine plausible Zahl raten
sicheren qualitativen Teil und eigene Rolle nennen
erklären, wie der Fakt normalerweise verifiziert würde
Gespräch durch relevante Konsequenz oder Annahme fortführen
Schwache Antwort: Eine Zahl improvisieren, ausweichen oder so tun, als sei das Detail bedeutungslos.
Bewertung: 0: erfindet. 1: weiß nicht. 2: Grenze plus sicherer Kontext. 3: Verifikationsweg und Relevanz. 4: souverän, präzise und dialogfähig ohne Überclaim.
Wähle für eine Frage zu Zusammenarbeit das stärkste reale Beispiel aus Arbeit, Studium oder Ehrenamt und verwerfe zwei schwächere Kandidaten begründet.
Annahmen: Alle Kandidaten beruhen auf echten Erlebnissen; ein Kontext außerhalb bezahlter Arbeit wird nicht künstlich aufgewertet.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
geprüfte Fragekompetenz benennen
drei reale Kandidaten knapp abgrenzen
Beobachtbarkeit des eigenen Handelns vergleichen
Relevanz, Aktualität und Belegtiefe abwägen
Auswahl samt verbleibender Schwäche offenlegen
Schwache Antwort: Automatisch das prestigeträchtigste Projekt wählen oder einen Kontext erfinden, weil Berufserfahrung vermeintlich besser klingt.
Bewertung: 0: fiktiv. 1: ein Beispiel. 2: Alternativen. 3: evidenzbasierte Auswahl. 4: klare Wahl mit ehrlicher Beleggrenze.
Dir bleiben voraussichtlich zwei Minuten für eigene Fragen. Wähle aus Team, Rolle, Erfolg und nächsten Schritten höchstens zwei Fragen und begründe die Reihenfolge.
Annahmen: Dauer und tatsächlich verbleibende Zeit sind unbekannt; bereits beantwortete Themen werden nicht wiederholt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
offenen persönlichen Informationsbedarf benennen
bereits Gehörtes vor der Auswahl abgleichen
eine offene Kernfrage priorisieren
eine knappe Reservefrage oder Prozessfrage wählen
Reihenfolge mit Entscheidungsnutzen statt Eindruckswirkung begründen
Schwache Antwort: Vier Fragen schnell vorlesen oder nur die vermeintlich beeindruckendste technische Frage auswählen.
Bewertung: 0: Liste ohne Auswahl. 1: zwei Fragen. 2: eigener Informationsbedarf. 3: gehörte Antworten und Zeit berücksichtigt. 4: klare Priorität plus sinnvolle Reserve und Stop-Regel.
Repariere die Frage: „Welche Deep-Learning-Modelle setzt die APKV in Produktion ein?“, sodass sie kein internes Tooling oder einen produktiven Einsatz voraussetzt.
Annahmen: Die Einladung bestätigt nur die Diskussion möglicher AI-Projekte; interne Projekte, Modelle und Produktionssysteme sind unbekannt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
versteckte Annahmen über Einsatz, Methode und Reifegrad markieren
eigenen Informationszweck klären
offene neutrale Formulierung anbieten
auch einfachere oder nichtmodellbasierte Arbeit zulassen
eine passende Anschlussfrage nur bei entsprechender Antwort formulieren
Schwache Antwort: Nur „Falls Sie Deep Learning nutzen“ voranstellen und die Toolorientierung beibehalten.
Bewertung: 0: Unterstellung bleibt. 1: Konjunktiv. 2: neutralere Frage. 3: Informationszweck und Methodenoffenheit. 4: präzise offene Frage mit konditionalem Follow-up.
Auf deine Frage nach Erfolg in den ersten sechs Monaten hörst du: „Die Person sollte schnell Mehrwert liefern.“ Formuliere eine respektvolle Anschlussfrage, die beobachtbare Erwartungen klärt.
Annahmen: Die Antwort ist knapp, aber nicht notwendigerweise ausweichend; du hast Zeit für genau eine Nachfrage.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Antwort knapp spiegeln statt bewerten
Mehrwert nicht selbst als Modellscore definieren
nach konkretem Beispiel oder beobachtbarem Signal fragen
Zeitraum und realistische Anfangsgrenze respektieren
Nachfrage in einem Satz halten
Schwache Antwort: „Welche KPIs genau?“ fragen, ohne Rolle, Wirkung oder Anfangsphase zu klären.
Bewertung: 0: konfrontativ/unterstellend. 1: allgemeine Nachfrage. 2: Beobachtbarkeit. 3: Rolle plus Zeitraum. 4: kurze Spiegelung und eine konkrete, offene Klärung.
Entwirf eine Frage zur Datenrealität der Rolle, die Labelqualität und Entstehungszeitpunkt anspricht, aber keinen Zugriff auf Gesundheitsdaten oder bestimmte Systeme unterstellt.
Annahmen: Du kennst keine internen Datenquellen, Zugriffsrechte, Labels oder Architektur der APKV.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Unbekanntes ausdrücklich offenlassen
Rollenbezug statt Neugier auf sensible Bestände herstellen
Die interviewende Person beschreibt enge Zusammenarbeit mit dem Fachbereich. Welche eine Nachfrage unterscheidet gemeinsame Problemklärung von bloßer Anforderungsübergabe?
Annahmen: „Eng“ ist noch nicht operationalisiert; du willst ein konkretes Arbeitsmuster verstehen, nicht die Antwort testen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
gehörte Aussage sichtbar aufgreifen
nach einem konkreten Projektabschnitt oder Entscheidungsbeispiel fragen
beidseitige Beiträge erfassbar machen
Umgang mit Zielkonflikten oder unklarem Ziel öffnen
nur eine fokussierte Nachfrage stellen
Schwache Antwort: Mehrere Fragen zu Meetings, Tools und Hierarchie in einem Satz bündeln.
Bewertung: 0: Themenwechsel. 1: allgemeine Zusammenarbeit. 2: konkretes Beispiel. 3: gemeinsame Entscheidung/Unklarheit. 4: präziser Anschluss an die Antwort ohne Prüfungston.
Vergleiche „Welche Weiterbildung gibt es?“ mit einer Frage nach der steilsten Lernkurve neuer Teammitglieder. Welche liefert dir für die Rollenentscheidung bessere Evidenz und warum?
Annahmen: Formale Weiterbildung kann wertvoll sein; beurteilt wird die Passung zum eigenen Informationsbedarf, nicht eine universell beste Frage.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Benefit-Frage und arbeitsnahe Lernfrage unterscheiden
eigenen Entscheidungsbedarf benennen
konkrete Lerninhalte und Unterstützung als Evidenz herausarbeiten
mögliche Antwortverzerrung beider Fragen benennen
eine kontextspezifische Auswahl oder Reihenfolge begründen
Schwache Antwort: Die allgemeinere Weiterbildungsfrage pauschal als schlecht abwerten.
Bewertung: 0: Geschmack. 1: Unterschied. 2: Informationswert. 3: eigener Zweck und Grenzen. 4: differenzierte Auswahl mit sinnvoller konditionaler Folgefrage.
Du stellst fest, dass deine drei vorbereiteten Fragen im Gespräch bereits beantwortet wurden. Wie nutzt du den Fragenteil, ohne sie trotzdem vorzulesen?
Annahmen: Es gibt laut Einladung Raum für Fragen; du kannst Gehörtes zusammenfassen und eine echte Restfrage entwickeln.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
bereits erhaltene Antworten anerkennen
keine vorbereitete Frage als Pflicht behandeln
eine Aussage kurz spiegeln
eine daraus entstandene echte Vertiefung oder nächste-Schritte-Frage stellen
bei fehlender Restfrage ehrlich und knapp abschließen
Schwache Antwort: Die Liste dennoch abarbeiten, um vorbereitet zu wirken, oder ohne Bezug nur sagen, es sei alles klar.
Formuliere einen kurzen Gesprächsabschluss, der eine zentrale gehörte Aussage aufgreift und offene nächste Schritte klärt, ohne positives Feedback einzufordern.
Annahmen: Das Interview endet wie in der Einladung angekündigt mit Fragen und nächsten Schritten; Ausgang und Zeitplan sind unbekannt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
für die konkrete Information oder den Dialog danken
eine tatsächlich gehörte Aussage knapp aufgreifen
keine neue Eigenwerbung einschieben
nächsten Prozessschritt oder eigenen Vorbereitungsbedarf offen erfragen
Ausgang, Termin und Bewertung nicht unterstellen
Schwache Antwort: „Habe ich den Job?“, „Wie war ich?“ oder einen langen Motivationsmonolog anschließen.
Bewertung: 0: Druck/Unterstellung. 1: Dank. 2: Prozessfrage. 3: gehörter Bezug und Offenheit. 4: knapp, authentisch, handlungsorientiert und ohne Feedbackfischen.
ML · Applied Case · NachfrageprognoseForecast Designschwer
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein Händler möchte wöchentliche Nachfrage je Filiale prognostizieren. Entwirf eine Entscheidungsvorlage, die Aktionen, Ausverkäufe und neue Filialen sauber behandelt.
Annahmen: Allgemeines Lernbeispiel ohne Bezug zu APKV; Prognosen unterstützen Bestellmengen, ersetzen aber keine operative Freigabe.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Bestellmengen und Verfügbarkeit verbessern; keine individuelle Kundennachfrage oder Mitarbeitendenleistung bewerten.
Nutzer · Betroffene · Entscheidung
Disposition entscheidet Bestellmengen; Filialteams und Kundschaft tragen Folgen von Überbestand oder Fehlmenge.
Einheit · Target/Label · Horizont
Filiale-Artikel-Woche mit Absatzmenge für ein bis acht Wochen ab jeweiligem Prognosestichtag.
Datenannahmen · Leakage
Nur am Stichtag bekannte Preise, Aktionen und Kalenderdaten; spätere Stornos und Bestandskorrekturen ausschließen.
Baseline · Kandidat
Saisonale Naivprognose und gleitender Median vor hierarchischem oder gradientenbasiertem Forecast.
Offline · Betrieb · Subgruppen · Akzeptanz
MAE und Quantilfehler je Horizont, Fehlmengen, Abschriften, Intervallabdeckung und Fehler bei neuen Filialen.
Validierung · Rollout
Rolling-origin-Backtest, getrennte Kaltstartkohorte, Shadow-Planung und begrenzter Pilot mit Override.
Monitoring · Fallback · Rollback
Datenfrische, Bias je Horizont und Aktionen überwachen; saisonale Baseline als Fallback, Modellversion rollbackfähig.
ML · Applied Case · Predictive MaintenanceCase Designschwer
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Sensordaten sollen ungeplante Maschinenausfälle reduzieren. Formuliere Target, Horizont und Wartungsentscheidung, ohne Restlebensdauer und Ausfallalarm zu vermischen.
Annahmen: Synthetischer Industriefall; Wartungsprotokolle sind unvollständig und Maschinen unterscheiden sich nach Baureihe.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Planbare Wartung unterstützen und Stillstand senken; keine automatische Abschaltung ohne Sicherheitslogik.
Nutzer · Betroffene · Entscheidung
Instandhaltung priorisiert Prüfungen; Produktion und Sicherheit sind von Fehlalarm und verpasstem Ausfall betroffen.
Einheit · Target/Label · Horizont
Maschine-Zeitfenster zu Ausfall innerhalb eines vorab gewählten Wartungshorizonts oder separater Restlebensdauer.
Datenannahmen · Leakage
Sensoren nach Reparatur, spätere Störungscodes und rückwirkend bereinigte Logs nicht in historische Features leaken.
Baseline · Kandidat
Herstellergrenzen und zeitbasierter Wartungsplan vor Survival-, Klassifikations- oder Sequenzmodell.
Offline · Betrieb · Subgruppen · Akzeptanz
Recall vor kritischem Ausfall, Alarmvorlauf, Fehlalarme pro Woche, Stillstandskosten und Leistung je Baureihe.
Validierung · Rollout
Zeit- und maschinengetrennter Backtest, Ausfall-Simulation, Shadow-Alarme und gestufter advisory Pilot.
Monitoring · Fallback · Rollback
Sensorabdeckung, Alarmvolumen und neue Baureihen beobachten; Herstellerregeln als Fallback, Alarme abschaltbar.
ML · Applied Case · InhaltsmoderationReject-or-narrowschwer
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Eine Community möchte toxische Beiträge automatisch entfernen. Entwirf eine engere Alternative mit Kontextprüfung, Appeal und sprachspezifischer Evaluation.
Annahmen: Allgemeiner Community-Fall; Richtlinien, Rechtslage und Zielgruppen müssen vor Einsatz konkretisiert werden.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Moderationsteams bei klar definierten Richtlinien unterstützen; legitime Sprache nicht kontextblind zensieren.
Nutzer · Betroffene · Entscheidung
Moderation bestätigt folgenreiche Maßnahmen; Autorinnen, Leser und besonders betroffene Gruppen tragen Fehlfolgen.
Einheit · Target/Label · Horizont
Beitrag samt Threadkontext zu Richtlinienkategorie und Reviewpriorität vor Veröffentlichung oder Maßnahme.
Datenannahmen · Leakage
Moderatorenentscheidung nicht als fehlerfreies Label behandeln; Autoren und Threadduplikate gruppenweise trennen.
Baseline · Kandidat
Klare Regeln, Nutzerfilter und menschliche Queue vor Klassifikator; kein generisches Toxicity-Score-Gate.
Offline · Betrieb · Subgruppen · Akzeptanz
Recall je Kategorie, False Removal, Appeal-Umkehr, Reviewer-Konsistenz und Leistung je Sprache/Dialekt.
Validierung · Rollout
Mehrsprachiges Doppelannotation-Set, Kontext- und Zitattests, Shadow-Priorisierung statt Auto-Löschung.
Monitoring · Fallback · Rollback
Policy-, Sprach- und Angriffstrends; manuelle Queue als Fallback, Kategorien einzeln deaktivierbar.
ML · Applied Case · A/B-RolloutLaunch Reviewschwer
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein Rankingmodell verbessert Offline-NDCG, verschlechtert aber im Experiment die Wiederkehrrate. Wie strukturierst du Launch-Entscheidung und Ursachenanalyse?
Annahmen: Allgemeines Produktbeispiel; Experiment und Metriken wurden technisch korrekt instrumentiert, müssen aber fachlich bewertet werden.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Nutzerwert verbessern; keinen Launch allein aufgrund des optimierten Offline-Ziels erzwingen.
Nutzer · Betroffene · Entscheidung
Produkt- und Risikoverantwortliche treffen Launchvotum; Nutzende tragen Auswirkungen des neuen Rankings.
Einheit · Target/Label · Horizont
Randomisierte Nutzungseinheit zu Such-/Rankinginteraktion und guardrail-bezogener Wirkung im Experimentfenster.
Datenannahmen · Leakage
Metrikdefinitionen vor Analyse festlegen; keine nachträgliche Segmentwahl als bestätigende Evidenz ausgeben.
Baseline · Kandidat
Bestehendes Ranking als kontrollierte Baseline; neue Komplexität gegen Delta und tatsächliche Produktwirkung prüfen.
Offline · Betrieb · Subgruppen · Akzeptanz
Primärmetrik, Wiederkehr, Beschwerden, Diversität, Latenz, Segmenteffekte und Unsicherheitsintervalle.
Validierung · Rollout
A/A, Stufenplan, vorab Stop-Regeln, qualitative Error Analysis und gegebenenfalls Replikation.
Monitoring · Fallback · Rollback
Guardrails und Delta nach Launch weiter beobachten; sofortiger Traffic-Rollback auf Kontrollsystem.
ML · Applied Case · KapazitätsforecastOperations Planningmittel
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein Contact Center möchte stündliche Kontaktmengen planen. Entwirf Forecast und Staffing-Übergabe mit Feiertagen, Ereignissen und Unterbesetzungskosten.
Annahmen: Allgemeiner Servicefall; Prognosen dienen Teamplanung und dürfen nicht zur individuellen Leistungsbewertung genutzt werden.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Wartezeiten und Leerlauf balancieren; keine Mitarbeitendenleistung aus Prognosefehlern ableiten.
Nutzer · Betroffene · Entscheidung
Workforce Planning legt Schichten fest; Mitarbeitende und Anrufende tragen Fehlplanungsfolgen.
Einheit · Target/Label · Horizont
Queue-Stunde zu Kontaktzahl für nächste Tage und Wochen mit aktualisierter Unsicherheit.
Datenannahmen · Leakage
Nur bekannte Kalender- und Ereignismerkmale; spätere Queue-Umbuchungen und tatsächliche Staffingreaktion ausschließen.
Baseline · Kandidat
Wochentag-Stunden-Median und saisonale Naivprognose vor hierarchischem probabilistischem Modell.
Offline · Betrieb · Subgruppen · Akzeptanz
MAE/Quantilfehler, Intervallabdeckung, Wartezeit, Überstunden und Fehler je Queue/Horizont.
Validierung · Rollout
Rolling-origin über mehrere Feiertage, Shadow-Plan und Pilot einer Queue mit Planer-Override.
Monitoring · Fallback · Rollback
Queueänderungen, Datenfrische und Intervallabdeckung; manuelle Planung als Fallback, Forecastversion rollbackfähig.
ML · Applied Case · Agentischer EinkaufNo-go Reviewschwer
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein Agent soll selbstständig Angebote einholen und Bestellungen auslösen. Entscheide, welche Schritte read-only, freigabepflichtig oder ausgeschlossen bleiben.
Annahmen: Allgemeiner Beschaffungsfall; Budget-, Vertrags- und Lieferantenregeln sind organisationsspezifisch.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Recherche und Entwurf beschleunigen; keine autonome vertragliche Bindung oder Zahlung erzeugen.
Nutzer · Betroffene · Entscheidung
Einkauf und Budgetowner genehmigen Auswahl und Bestellung; Lieferanten und Organisation tragen Fehlfolgen.
Einheit · Target/Label · Horizont
Freigegebene Bedarfsanfrage zu Angebotsvergleich und Bestellentwurf vor jeder externen Aktion.
Datenannahmen · Leakage
Toolzugriffe und Lieferantendaten minimal halten; externe Inhalte dürfen Berechtigungsgrenzen nicht überschreiben.
Baseline · Kandidat
Workflowformular, Katalogsuche und read-only Vergleich vor agentischen Schreib- oder Bestellrechten.
Offline · Betrieb · Subgruppen · Akzeptanz
Falscher Lieferant, Preis-/Mengenfehler, verbotene Aktion, Datenoffenlegung, Abstention und Zeitgewinn.
Validierung · Rollout
Sandbox mit adversarialen Angeboten, Tool-Mocking und ausschließlich read-only Shadow-Betrieb.
Monitoring · Fallback · Rollback
Jede Toolaktion auditieren, Rate Limits und Kill Switch; manueller Einkauf als Fallback.
ML · Applied Case · KreditentscheidungReject-or-narrowschwer
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein Team schlägt einen Black-box-Score für Kreditentscheidungen vor. Welche Fragen führen zu Ablehnung, enger Assistenz oder einem transparenten Modell?
Annahmen: Allgemeiner Hochrisikofall; anwendbares Recht und regulatorische Pflichten müssen durch Fachstellen geklärt werden.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Allenfalls konsistente fachliche Prüfung unterstützen; keine Kreditentscheidung ohne rechtliche und faire Prozessgestaltung automatisieren.
Nutzer · Betroffene · Entscheidung
Autorisierte Kreditfachkräfte und Compliance verantworten Entscheidung; Antragstellende tragen existenzielle Fehlfolgen.
Einheit · Target/Label · Horizont
Antrag zum Entscheidungszeitpunkt zu nachvollziehbarer Risikoeinschätzung für definierten Horizont.
Datenannahmen · Leakage
Spätere Rückzahlung, manuelle Entscheidung und historische Policy nicht als neutrale Labels oder Inputs leaken.
Baseline · Kandidat
Transparente fachliche Regeln und reguliertes lineares Modell vor Black-box- oder alternativen Verhaltensdaten.
Offline · Betrieb · Subgruppen · Akzeptanz
Kalibrierung, Kosten, Ablehnungserklärung, Drift und relevante Gruppen einschließlich Reject Inference.
Validierung · Rollout
Keine Freigabe ohne unabhängige Validierung, Fairness-/Rechtsprüfung, Counterfactual Tests und kontrollierten Shadow.
Monitoring · Fallback · Rollback
Population, Policy und Kalibrierung; manueller Prozess als Fallback, Stopbefugnis und Rollback.
ML · Applied Case · BewerberrankingNo-go Reviewschwer
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein Recruitingtool soll Lebensläufe anhand historischer Einstellungen ranken. Begründe, warum das Vorhaben abgelehnt oder radikal verengt werden sollte.
Annahmen: Allgemeiner Beschäftigungskontext; rechtliche Bewertung und Mitbestimmung sind fallspezifisch erforderlich.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Allenfalls administrative Vollständigkeit unterstützen; keine Eignung oder Karrierechance aus historischen Auswahlmustern automatisieren.
Nutzer · Betroffene · Entscheidung
Geschulte Recruiter und Fachbereiche verantworten Auswahl; Bewerbende tragen direkte Chancen- und Diskriminierungsfolgen.
Einheit · Target/Label · Horizont
Bewerbung zu überprüfbarer formaler Vollständigkeit; kein historisches Einstellungslabel als Eignungswahrheit.
Datenannahmen · Leakage
Historische Entscheidungen, Namen, Fotos und Proxymerkmale spiegeln Policy und dürfen nicht als objektives Target gelten.
Baseline · Kandidat
Barrierearmes Formular, transparente Mindestanforderungen und strukturierte menschliche Prüfung statt ML-Ranking.
Offline · Betrieb · Subgruppen · Akzeptanz
Vollständigkeitsfehler, Zugänglichkeit und Prozesszeit; kein Scheinbenchmark aus historischen Einstellungsraten.
Validierung · Rollout
Kein Rankingpilot; höchstens Usability-Test eines neutralen Formular- und Checklistenprozesses.
Monitoring · Fallback · Rollback
Abbruchraten und Barrieren; manuelle strukturierte Prüfung bleibt dauerhafter Fallback.
ML · Applied Case · Barrierefreier VoicebotAccessibility Reviewschwer
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein Voicebot soll einfache Serviceanliegen aufnehmen. Entwirf gleichwertigen menschlichen Zugang und Tests für Akzente, Störungen und Sprachbehinderungen.
Annahmen: Allgemeiner Servicefall; Bot trifft keine Leistungs-, Preis- oder Berechtigungsentscheidung.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Navigation und Rückrufwünsche unterstützen; niemanden durch Spracherkennung vom Service ausschließen.
Nutzer · Betroffene · Entscheidung
Anrufende wählen jederzeit Mensch oder Rückruf; Service übernimmt unklare Anliegen ohne Nachteil.
Einheit · Target/Label · Horizont
Gesprächszug zu freigegebenem Intent oder sofortiger Übergabe im aktuellen Kontakt.
Datenannahmen · Leakage
Nur notwendige Audiosegmente; keine Stimmprofile, Emotionserkennung oder Zweckänderung aus Aufnahmen.
Baseline · Kandidat
Tastenmenü und direkter menschlicher Einstieg vor ASR und generativer Dialogsteuerung.
Offline · Betrieb · Subgruppen · Akzeptanz
Intent-Recall, Fehlrouting, Übergabezeit, Abbruch und Erfolg nach Sprache, Akzent und Audiozugang.
Validierung · Rollout
Partizipative Tests, Störgeräusche, unterschiedliche Sprechweisen und Opt-in-Pilot mit Mensch-Option.
Monitoring · Fallback · Rollback
Wiederholungen und Übergaben; sofortiger menschlicher Fallback, Bot kanalweit deaktivierbar.
ML · Applied Case · Dynamische PreiseReject-or-narrowschwer
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein Veranstalter möchte individuelle Zahlungsbereitschaft für dynamische Preise schätzen. Welche Scope-Grenze verhindert manipulative oder unfaire Personalisierung?
Annahmen: Allgemeiner Ticketingfall; rechtliche Vorgaben und Preisregeln sind nicht abschließend beurteilt.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Allenfalls Kapazität transparent steuern; keine individuelle Vulnerabilität oder Dringlichkeit ausnutzen.
ML · Applied Case · Synthetische DatenPrivacy Utility Reviewschwer
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein Team möchte synthetische Tabellendaten extern teilen. Entwirf Nutzen-, Privacy- und Memorization-Tests, ohne synthetisch mit anonym gleichzusetzen.
Annahmen: Allgemeiner Forschungsfall; Originaldaten können personenbezogen sein und externe Freigabe benötigt eigene Rechtsprüfung.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Datenaustausch mit reduziertem Offenlegungsrisiko prüfen; keine Anonymität oder Eignung pauschal garantieren.
Nutzer · Betroffene · Entscheidung
Daten-, Privacy- und Fachowner genehmigen Freigabe; ursprüngliche Personen tragen Reidentifikationsrisiko.
Einheit · Target/Label · Horizont
Synthetischer Datensatz samt Generatorversion zu freigegebenem Forschungszweck und Ablaufdatum.
Datenannahmen · Leakage
Training, Privacy-Audit und Utility-Test strikt trennen; exakte oder nahe Originalzeilen suchen.
Baseline · Kandidat
Aggregierte Statistiken, sichere Analyseumgebung oder Differential-Privacy-Release vor synthetischem Mikrodataset.
Offline · Betrieb · Subgruppen · Akzeptanz
Task-Utility, Verteilungs-/Subgruppenfehler, Membership/Attribute-Angriffe und seltene Kombinationen.
Validierung · Rollout
Unabhängiges Privacy Red Team, Zweck-spezifischer Utility-Test und gestufter Zugang statt offenem Download.
Monitoring · Fallback · Rollback
Generator-, Zweck- und Empfängeränderungen; Zugriff entziehen, Datensatz versioniert zurückrufen.
ML · Applied Case · Multimodaler UploadRobustness Reviewschwer
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Ein Modell klassifiziert Fotos und Begleittext von Schadensmeldungen außerhalb der Krankenversicherung. Entwirf komponentenweise Tests und eine sichere Abstention.
Annahmen: Allgemeiner Sachschaden-Lernfall; Modell priorisiert nur Dokumentprüfung und entscheidet keine Zahlung.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Unvollständige Uploads und Dokumenttypen vorsortieren; keine Zahlung, Schuld oder Deckung automatisch entscheiden.
Nutzer · Betroffene · Entscheidung
Fachprüfung bestätigt Kategorie und Vollständigkeit; meldende Personen tragen Verzögerungs- und Fehlroutingfolgen.
Einheit · Target/Label · Horizont
Uploadpaket bei Eingang zu Dokumentklasse, Qualitätsflag oder Abstention vor fachlicher Prüfung.
Datenannahmen · Leakage
Spätere Gutachten, Zahlungen und Bearbeiternotizen ausschließen; Vorgänge gruppenweise und zeitlich trennen.
Baseline · Kandidat
Datei-/Formularregeln und manuelle Queue vor Bild-, Text- oder Fusionsmodell.
Offline · Betrieb · Subgruppen · Akzeptanz
Komponenten- und End-to-end-Recall, Abstention, Fehlrouting, Latenz und Fehler nach Gerät/Dateityp.
Validierung · Rollout
Fehlende Modalitäten, schlechte Bilder, widersprüchlicher Text, Shadow-Triage und enger advisory Pilot.
Monitoring · Fallback · Rollback
Geräte-, Format- und Klassenmix; allgemeine Queue als Fallback, Modalität einzeln deaktivierbar.
ML · Applied Case · AI-PortfolioExecutive Recommendationschwer
Hypothetisches Interview-Szenario · keine Aussage über interne APKV-Projekte oder Daten.
Du hast zehn AI-Ideen, aber Kapazität für zwei Piloten. Entwirf eine Portfolioentscheidung, die Nutzen, Evidenz, Risiko, Reversibilität und No-AI-Option bewertet.
Annahmen: Allgemeines Management-Lernbeispiel; die Ideen reichen von Backoffice-Suche bis zu folgenreichen Personenentscheidungen.
End-to-end-Fallraster
Ziel · Nicht-Ziel
Knappes Evaluationsbudget auf wertvolle, prüfbare und reversible Vorhaben lenken; AI nicht als Selbstzweck auswählen.
Nutzer · Betroffene · Entscheidung
Fach-, Risiko-, Daten- und Betriebsowner priorisieren gemeinsam; Nutzer und Betroffene werden früh einbezogen.
Einheit · Target/Label · Horizont
Use Case mit Nutzer, Entscheidung, Baseline, Evidenzplan und Exitkriterium über Pilot- und Betriebsphase.
Datenannahmen · Leakage
Datenverfügbarkeit und Zweckbindung vor Scoring prüfen; Pitch-Angaben nicht als validierte Evidenz behandeln.
Baseline · Kandidat
Prozessverbesserung, Regeln, Suche oder kein Projekt als echte Alternativen zu jedem AI-Vorhaben.
Offline · Betrieb · Subgruppen · Akzeptanz
Erwarteter Nutzen, Evidenzkosten, negative Auswirkungen, Reversibilität, Betriebsfähigkeit und Lernwert.
Validierung · Rollout
Stage Gates von Problembeleg über Offline-TEVV und Shadow bis kleinem Pilot mit Stop-Regeln.
Monitoring · Fallback · Rollback
Portfolioannahmen, Ressourcen, Incidents und tatsächlicher Nutzen; Projekte stoppen und Mittel zurückführen können.
Ein Join liefert 107 statt 100 Zeilen. Erkläre laut, welche drei Grain-Prüfungen du vor einer fachlichen Summe ausführst und warum SELECT DISTINCT allein keine Reparatur ist.
Annahmen: Allgemeines synthetisches Datenprodukt; eine Ergebniszeile soll genau einem Vorgang entsprechen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Fachliche Einheit und erwarteten Schlüssel explizit nennen.
Eindeutigkeit und Zeilenzahl auf beiden Joinseiten vorab prüfen.
COUNT(*) gegen COUNT(DISTINCT key) nach dem Join vergleichen.
Many-to-many-Ursache lokalisieren und voraggregieren oder fachlich auflösen.
Assert/Fehlerpfad definieren; DISTINCT kann echte Mehrfachinformation verwerfen.
Schwache Antwort: DISTINCT ergänzen und die Query weiterverwenden, ohne die Kardinalität zu erklären.
Bewertung: 0: kein Grain; 1: Duplikate bemerkt; 2: Schlüssel oder Zählcheck; 3: Ursache plus korrekte Reparatur; 4: zusätzlich automatischer Assert, Fehlerpfad und fachliche Konsequenz.
Eine SQL-Tabelle hat vier Zeilen, zwei Messwerte sind NULL. COUNT(*) liefert 4 und COUNT(wert) 2. Formuliere zwei verschiedene, korrekte Quoten und erläutere ihre Nenner.
Annahmen: NULL bedeutet zunächst nur fehlend; fachliche Gründe sind unbekannt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Beobachtungsquote 2/4 = 50 % nennen.
Missingness-Quote 2/4 = 50 % nennen.
COUNT(spalte) ignoriert NULL, COUNT(*) nicht.
Nenner als alle in-scope Zeilen definieren.
Unbekannt versus nicht anwendbar als fachliche Semantik klären.
Schwache Antwort: COUNT(wert) für die Gesamtzahl halten oder NULL mit Nullwert gleichsetzen.
Bewertung: 0: falsche Rechnung; 1: eine Quote; 2: beide Quoten; 3: SQL-Semantik und Nenner; 4: zusätzlich Missingness-Bedeutung und Datenqualitätsfolge.
Für [1, 2, 3, 4, 100] sind Mittelwert 22 und Median 3. Entscheide nicht vorschnell: Welche fünf Fragen bestimmen, welchen Schätzer du berichten würdest?
Annahmen: Der Wert 100 kann Messfehler oder reale Population sein; das Estimand ist noch offen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Populationsfrage und Estimand zuerst klären.
Messfehler gegen reales Extremereignis untersuchen.
Mittelwert als erwarteten Wert und Median als mittleren Rang unterscheiden.
Sensitivitätsanalyse mit und ohne Extremwert transparent zeigen.
Entscheidungsfolgen und robuste Alternative nennen, ohne still zu löschen.
Schwache Antwort: Immer Median verwenden, weil er kleiner oder robuster ist.
Bewertung: 0: nur Präferenz; 1: Ausreißer erwähnt; 2: Schätzerunterschied; 3: Estimand plus Datenprüfung; 4: zusätzlich Sensitivität, Entscheidung und transparente Berichtslösung.
Statistik · Missingness-MechanismusExperimentdesignschwer
Complete Cases haben Mittelwert 2,0, die im Lernbeispiel bekannte Vollpopulation 5,5. Wie würdest du in einem echten Datensatz untersuchen, ob Complete-case-Auswertung tragfähig ist?
Annahmen: Die fehlenden Werte sind im realen Fall nicht beobachtbar; der vollständige Beispielwert dient nur der Demonstration.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Beobachtungsprozess und Zeitpunkt kartieren.
Missingness gegen beobachtete Kovariaten und Gruppen analysieren.
MCAR/MAR/MNAR als Annahmen statt Testlabels behandeln.
Mehrere plausible Imputations-/Sensitivitätsszenarien vergleichen.
Split vor lernender Imputation und Ergebniswirkung auf Entscheidung berichten.
Schwache Antwort: Alle NULL-Zeilen löschen oder pauschal den Mittelwert imputieren.
Bewertung: 0: automatische Löschung; 1: Missingness erkannt; 2: Gruppencheck; 3: Mechanismus plus Sensitivität; 4: zusätzlich leakage-sichere Pipeline und Entscheidungsgrenze.
Ein Notebook skaliert den gesamten Datensatz und splittet danach. Erkläre anhand des Testwerts z≈1,73 statt train-only z≈120,02, warum der Code methodisch falsch ist.
Annahmen: Train=[1,2,3], Test=[100]; Populationsstandardabweichung nur für die Mechanik.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Scalerparameter sind gelernt und dürfen Testdaten nicht sehen.
Train-only-Mittelwert 2 und extreme Testtransformation einordnen.
Leaked Mittelwert 26,5 als Informationsübertragung erklären.
Pipeline innerhalb jedes CV-Folds fordern.
Extremen Testwert als mögliches Shift-Signal statt automatisch Fehler behandeln.
Schwache Antwort: Das kleinere z für plausibler halten und deshalb Gesamtskalierung akzeptieren.
Bewertung: 0: kein Leakage; 1: Split-Reihenfolge; 2: Parameterlernen erklärt; 3: Fold-Pipeline plus Rechnung; 4: zusätzlich Shift-Interpretation und weitere lernende Transformationen.
ML/Data/Engineering · Group SplitModel choicemittel
Ein Zeilensplit teilt zwei customer_ids zwischen Train und Test. Welche Generalisierungsfrage beantwortet er, welche nicht, und wie änderst du die Evaluation?
Annahmen: Mehrere Zeilen je Entität; Deployment kann bekannte oder neue Entitäten betreffen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Zeile und Entität als unterschiedliche unabhängige Einheiten benennen.
Wiedererkennung bekannter Entitäten als optimistische Gefahr erklären.
Deploymentfrage bekannte versus neue Entität klären.
Group-Split mit disjunkten IDs vorschlagen.
Verschachtelung, Zeit und Stratifizierung als zusätzliche Randbedingungen prüfen.
Schwache Antwort: Dubletten löschen, obwohl mehrere Ereignisse fachlich real sind.
Entwirf einen Backtest für eine vierwöchige Prognose mit verzögerten Labels. Nenne Cutoff, Trainingsfenster, Reifeabstand, Testfenster und Wiederholungen.
Annahmen: Zukünftiger Einsatz; Prozess und Saisonalität können driften.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Prediction time und vierwöchigen Horizont definieren.
Nur bis zum Cutoff verfügbare Features zulassen.
Label-Delay als Purge-/Reifeabstand berücksichtigen.
Rolling-origin-Folds statt nur eines Cutoffs verwenden.
Metriken über Zeit/Segmente plus Baseline und Unsicherheit berichten.
Schwache Antwort: Random 80/20 splitten und die beste mittlere Metrik melden.
Bewertung: 0: Random-Split; 1: Zeitfolge; 2: Cutoff/Horizont; 3: Labelreife und Rolling Folds; 4: zusätzlich as-of-Features, Baseline und Segmentstabilität.
Ein Team kann genau 200 Fälle pro Tag prüfen. Begründe, wann Top-200 sinnvoller als eine feste 0,5-Schwelle ist und welche Guardrails trotzdem nötig sind.
Annahmen: Scores sind Rangwerte; Prüfkapazität ist kurzfristig hart, Volumen und Scoreverteilung schwanken.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Policy an knappe Kapazität und Queuehandlung binden.
Precision@k und Recall@k mit Fehlerkosten abwägen.
Scorebindungen und tagesabhängiges Volumen regeln.
Subgruppen, kritische Ausnahmen und nicht ausgewählte Fälle prüfen.
k/Schwelle auf Validation festlegen und im Betrieb monitoren.
Schwache Antwort: Einfach die 200 höchsten Werte nehmen und nur deren Precision melden.
Bewertung: 0: nur Rangliste; 1: Kapazität; 2: passende @k-Metrik; 3: Validierung und Guardrails; 4: zusätzlich Fairness, Bindungen, Drift und Fallback.
Berechne für p=[0,1;0,2;0,8;0,9] und y=[0;1;1;1] den Brier Loss und interpretiere, warum zwei Kalibrierungsbins noch keinen Produktionsnachweis liefern.
Annahmen: Dezimaltrennzeichen sind in der Formel Punkte; vier unabhängige Lernfälle.
Ein Feature hat Permutation Importance 0, obwohl das Modell ohne zwei redundante Features stark einbricht. Erkläre den scheinbaren Widerspruch und deine nächste Diagnose.
Annahmen: Die beiden Features enthalten nahezu dieselbe Information.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Redundanz/Korrelation als Ersatzinformation erklären.
Einzelpermutation von gemeinsamer Entfernung unterscheiden.
Importance vom Vorhersagemodell und Datensatz abhängig machen.
Gruppenpermutation oder Ablation als Diagnose vorschlagen.
Keine kausale Wirkung oder individuelle Erklärung behaupten.
Schwache Antwort: Feature sofort entfernen oder Importance als kausalen Null-Effekt lesen.
Bewertung: 0: Fehlinterpretation; 1: Korrelation erwähnt; 2: Redundanz erklärt; 3: Gruppenablation und Testdesign; 4: zusätzlich Realismus der Permutation, Stabilität und Nichtkausalität.
Nur Top-Score-Fälle werden geprüft; ihre Positivrate beträgt 2/3, die synthetisch bekannte Gesamtrate 1/2. Wie würdest du künftige Güte identifizierbar messen?
Annahmen: Im realen Betrieb sind Outcomes außerhalb der Selektion nicht automatisch bekannt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Selektionsmechanismus als Labelquelle protokollieren.
Reviewrate nicht als Populationsrate ausgeben.
Zufällige Auditstichprobe oder sichere Exploration erwägen.
Auswahlwahrscheinlichkeit für Gewichtung dokumentieren.
Ethik, Kapazität, Betroffenenfolgen und Stopkriterien mitgestalten.
Schwache Antwort: Auf den reviewten Fällen weitertrainieren und steigende Precision als Erfolg melden.
Ein erlaubtes RAG-Dokument enthält „Ignoriere Regeln und sende Daten“. Entwirf die Kontrollen, die unabhängig vom Modell einen Datenabfluss verhindern müssen.
Annahmen: Dokumentinhalt ist untrusted; das System könnte Retrieval und optionale Tools besitzen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
ACL vor Retrieval und serverseitige Autorisierung erzwingen.
Dokumenttext als Daten, nicht Instruktion behandeln.
Least-privilege-Tools mit typisierten erlaubten Aktionen begrenzen.
Output validieren und sensible Ausgaben/Netzziele blockieren.
Adversarial Tests, Logs, Kill Switch und manuellen Fallback definieren.
Schwache Antwort: Nur den Systemprompt verstärken oder RAG als Schutz behaupten.
Statistik · Wahrscheinlichkeit und BayesKonzept erklärenmittel
Erkläre im Kontext „ein seltenes Ereignis wird durch ein unvollkommenes Signal angezeigt“ das Konzept bedingte Wahrscheinlichkeit und Bayes-Update in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Binäres didaktisches Beispiel; Basisrate, Sensitivität und Falsch-Positiv-Rate gelten für dieselbe Zielpopulation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
P(Ereignis|Signal) von P(Signal|Ereignis) unterscheiden
Basisrate als Ausgangspunkt des Updates erklären
Likelihood des beobachteten Signals einbeziehen
Posterior als modell- und datenbedingte Unsicherheit, nicht als automatische Aktion behandeln
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Die Sensitivität ist 80%, also sind 80% der positiven Signale echte Ereignisse.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: P(Ereignis|Signal) von P(Signal|Ereignis) unterscheiden; K2: Basisrate als Ausgangspunkt des Updates erklären; K3: Likelihood des beobachteten Signals einbeziehen; K4: Posterior als modell- und datenbedingte Unsicherheit, nicht als automatische Aktion behandeln.
Statistik · Wahrscheinlichkeit und BayesRechnenmittel
Bei 1% Basisrate, 80% Sensitivität und 10% Falsch-Positiv-Rate: Berechne P(Ereignis|positives Signal) über 10.000 gedachte Fälle und interpretiere das Ergebnis.
Annahmen: Binäres didaktisches Beispiel; Basisrate, Sensitivität und Falsch-Positiv-Rate gelten für dieselbe Zielpopulation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
100 Ereignis- und 9.900 Nicht-Ereignisfälle ansetzen
80 richtig positive und 990 falsch positive Signale berechnen
Posterior 80/1.070≈7,48% erhalten
Trotz Signal hohe Restunsicherheit und fehlerkostenabhängige Folgeprüfung benennen
Schwache Antwort: 80% als Posterior ausgeben oder die große Zahl falsch positiver Signale ignorieren.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: 100 Ereignis- und 9.900 Nicht-Ereignisfälle ansetzen; K2: 80 richtig positive und 990 falsch positive Signale berechnen; K3: Posterior 80/1.070≈7,48% erhalten; K4: Trotz Signal hohe Restunsicherheit und fehlerkostenabhängige Folgeprüfung benennen.
Statistik · Wahrscheinlichkeit und BayesDebug a claimmittel
Debugge für „ein seltenes Ereignis wird durch ein unvollkommenes Signal angezeigt“ die Aussage: „Die Sensitivität ist 80%, also sind 80% der positiven Signale echte Ereignisse.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Binäres didaktisches Beispiel; Basisrate, Sensitivität und Falsch-Positiv-Rate gelten für dieselbe Zielpopulation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Vertauschte Konditionierungsrichtung benennen
Basisrate und Falsch-Positiv-Rate als fehlende Größen erklären
Bayes-Formel oder Häufigkeitstafel als Reparatur einsetzen
Aktion an Posterior, Fehlerkosten und zusätzliche Evidenz binden
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Die Sensitivität ist 80%, also sind 80% der positiven Signale echte Ereignisse.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Vertauschte Konditionierungsrichtung benennen; K2: Basisrate und Falsch-Positiv-Rate als fehlende Größen erklären; K3: Bayes-Formel oder Häufigkeitstafel als Reparatur einsetzen; K4: Aktion an Posterior, Fehlerkosten und zusätzliche Evidenz binden.
Statistik · Wahrscheinlichkeit und BayesAnnahmen prüfenschwer
Welche Annahmen musst du bei „ein seltenes Ereignis wird durch ein unvollkommenes Signal angezeigt“ für bedingte Wahrscheinlichkeit und Bayes-Update prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Binäres didaktisches Beispiel; Basisrate, Sensitivität und Falsch-Positiv-Rate gelten für dieselbe Zielpopulation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Transportierbarkeit der Basisrate in den Einsatzkontext prüfen
Stabile Signalraten und klare Referenzlabels prüfen
Abhängige Wiederholungsmessungen nicht als unabhängige Evidenz multiplizieren
Bei Drift, Labelunsicherheit oder asymmetrischen Kosten kalibrieren, abstain oder zusätzliche Prüfung wählen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Transportierbarkeit der Basisrate in den Einsatzkontext prüfen; K2: Stabile Signalraten und klare Referenzlabels prüfen; K3: Abhängige Wiederholungsmessungen nicht als unabhängige Evidenz multiplizieren; K4: Bei Drift, Labelunsicherheit oder asymmetrischen Kosten kalibrieren, abstain oder zusätzliche Prüfung wählen.
Statistik · Wahrscheinlichkeit und BayesVergleichenschwer
Wann würdest du für das Signalszenario ein transparentes Häufigkeitsraster statt einer rein formalen Bayes-Formel verwenden?
Annahmen: Binäres didaktisches Beispiel; Basisrate, Sensitivität und Falsch-Positiv-Rate gelten für dieselbe Zielpopulation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Zielgruppe und Kommunikationsziel nennen
Natürliche Häufigkeiten für seltene Ereignisse bevorzugen
Formel für reproduzierbare Berechnung beibehalten
Beide Darstellungen auf identische Annahmen und Werte prüfen
Schwache Antwort: Eine Darstellung universell als besser erklären, ohne Rechen- und Kommunikationszweck zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Zielgruppe und Kommunikationsziel nennen; K2: Natürliche Häufigkeiten für seltene Ereignisse bevorzugen; K3: Formel für reproduzierbare Berechnung beibehalten; K4: Beide Darstellungen auf identische Annahmen und Werte prüfen.
Statistik · Wahrscheinlichkeit und BayesEvaluationsdesignschwer
Entwirf für „ein seltenes Ereignis wird durch ein unvollkommenes Signal angezeigt“ eine Evaluation von bedingte Wahrscheinlichkeit und Bayes-Update, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Binäres didaktisches Beispiel; Basisrate, Sensitivität und Falsch-Positiv-Rate gelten für dieselbe Zielpopulation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Kalibrierung des Posteriors in zeitgerechtem Holdout prüfen
Sensitivität und Falsch-Positiv-Rate samt Unsicherheit berichten
Relevante Gruppen nur rechtmäßig und ausreichend präzise vergleichen
Vorab Folgeprüfungs-, Abstention- und Stop-Schwellen an Fehlerkosten definieren
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Kalibrierung des Posteriors in zeitgerechtem Holdout prüfen; K2: Sensitivität und Falsch-Positiv-Rate samt Unsicherheit berichten; K3: Relevante Gruppen nur rechtmäßig und ausreichend präzise vergleichen; K4: Vorab Folgeprüfungs-, Abstention- und Stop-Schwellen an Fehlerkosten definieren.
Statistik · Wahrscheinlichkeit und BayesBetriebsdiagnoseschwer
Nach Einführung im Szenario „ein seltenes Ereignis wird durch ein unvollkommenes Signal angezeigt“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Binäres didaktisches Beispiel; Basisrate, Sensitivität und Falsch-Positiv-Rate gelten für dieselbe Zielpopulation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Basisraten-, Label- und Signaldrift getrennt überwachen
Alert auf Kalibrierungs- und Fehlerkostenverschlechterung setzen
Bei Unsicherheit auf manuelle Folgeprüfung zurückfallen
Nach Ursachenanalyse Update, Neukalibrierung oder Abschaltung entscheiden
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Basisraten-, Label- und Signaldrift getrennt überwachen; K2: Alert auf Kalibrierungs- und Fehlerkostenverschlechterung setzen; K3: Bei Unsicherheit auf manuelle Folgeprüfung zurückfallen; K4: Nach Ursachenanalyse Update, Neukalibrierung oder Abschaltung entscheiden.
Statistik · Wahrscheinlichkeit und BayesStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was bedingte Wahrscheinlichkeit und Bayes-Update im Szenario „ein seltenes Ereignis wird durch ein unvollkommenes Signal angezeigt“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Binäres didaktisches Beispiel; Basisrate, Sensitivität und Falsch-Positiv-Rate gelten für dieselbe Zielpopulation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Signal als Evidenz statt Beweis beschreiben
Basisrateneffekt mit absoluten Häufigkeiten zeigen
Fehlalarme und übersehene Fälle getrennt benennen
Offene Entscheidung über Folgeprüfung und Schwelle sichtbar lassen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Signal als Evidenz statt Beweis beschreiben; K2: Basisrateneffekt mit absoluten Häufigkeiten zeigen; K3: Fehlalarme und übersehene Fälle getrennt benennen; K4: Offene Entscheidung über Folgeprüfung und Schwelle sichtbar lassen.
Statistik · Wahrscheinlichkeit und BayesMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „ein seltenes Ereignis wird durch ein unvollkommenes Signal angezeigt“: beginne mit Ziel und Einheit, begründe bedingte Wahrscheinlichkeit und Bayes-Update, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Binäres didaktisches Beispiel; Basisrate, Sensitivität und Falsch-Positiv-Rate gelten für dieselbe Zielpopulation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
P(Ereignis|Signal) von P(Signal|Ereignis) unterscheiden
Transportierbarkeit der Basisrate in den Einsatzkontext prüfen
Zielgruppe und Kommunikationsziel nennen
Kalibrierung des Posteriors in zeitgerechtem Holdout prüfen
Basisraten-, Label- und Signaldrift getrennt überwachen
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: P(Ereignis|Signal) von P(Signal|Ereignis) unterscheiden; K2: Transportierbarkeit der Basisrate in den Einsatzkontext prüfen; K3: Zielgruppe und Kommunikationsziel nennen; K4: Kalibrierung des Posteriors in zeitgerechtem Holdout prüfen; K5: Basisraten-, Label- und Signaldrift getrennt überwachen.
Statistik · Zufallsvariablen und VerteilungenKonzept erklärenmittel
Erkläre im Kontext „in n unabhängigen Vorgängen wird die Zahl binärer Erfolge gezählt“ das Konzept Binomialmodell und Stichprobenverteilung in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Feste Zahl von Versuchen; zwei disjunkte Ausgänge pro Versuch; konstantes p; didaktisch zunächst unabhängige Versuche.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Zählvariable als Summe von n Bernoulli-Variablen definieren
Erfolgswahrscheinlichkeit p und feste Versuchszahl n benennen
Erwartungswert np und Varianz np(1−p) erklären
Datenprozess vor Einsatz des Binomialmodells auf Unabhängigkeit und konstantes p prüfen
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Eine binäre Zielvariable ist immer binomialverteilt, egal wie die Beobachtungen entstanden sind.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Zählvariable als Summe von n Bernoulli-Variablen definieren; K2: Erfolgswahrscheinlichkeit p und feste Versuchszahl n benennen; K3: Erwartungswert np und Varianz np(1−p) erklären; K4: Datenprozess vor Einsatz des Binomialmodells auf Unabhängigkeit und konstantes p prüfen.
Statistik · Zufallsvariablen und VerteilungenRechnenmittel
Für X~Binomial(n=20,p=0,30): Berechne P(X=0), Erwartungswert und Standardabweichung und erkläre, welche Größe eine Wahrscheinlichkeit ist.
Annahmen: Feste Zahl von Versuchen; zwei disjunkte Ausgänge pro Versuch; konstantes p; didaktisch zunächst unabhängige Versuche.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
P(X=0)=0,7^20≈0,000798 berechnen
E[X]=20·0,3=6 erhalten
SD(X)=√(20·0,3·0,7)=√4,2≈2,049 erhalten
Punktwahrscheinlichkeit, Erwartungswert und Streuung begrifflich trennen
Schwache Antwort: np als Wahrscheinlichkeit ausgeben oder √np(1−p) ohne Klammern falsch berechnen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: P(X=0)=0,7^20≈0,000798 berechnen; K2: E[X]=20·0,3=6 erhalten; K3: SD(X)=√(20·0,3·0,7)=√4,2≈2,049 erhalten; K4: Punktwahrscheinlichkeit, Erwartungswert und Streuung begrifflich trennen.
Statistik · Zufallsvariablen und VerteilungenDebug a claimmittel
Debugge für „in n unabhängigen Vorgängen wird die Zahl binärer Erfolge gezählt“ die Aussage: „Eine binäre Zielvariable ist immer binomialverteilt, egal wie die Beobachtungen entstanden sind.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Feste Zahl von Versuchen; zwei disjunkte Ausgänge pro Versuch; konstantes p; didaktisch zunächst unabhängige Versuche.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Bernoulli-Einzelvariable von Binomialsumme unterscheiden
Feste n-, konstante p- und Unabhängigkeitsannahme nennen
Cluster und heterogene Wahrscheinlichkeiten als Gegenbeispiele geben
Passendes alternatives Design oder Modell vorschlagen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Eine binäre Zielvariable ist immer binomialverteilt, egal wie die Beobachtungen entstanden sind.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Bernoulli-Einzelvariable von Binomialsumme unterscheiden; K2: Feste n-, konstante p- und Unabhängigkeitsannahme nennen; K3: Cluster und heterogene Wahrscheinlichkeiten als Gegenbeispiele geben; K4: Passendes alternatives Design oder Modell vorschlagen.
Statistik · Zufallsvariablen und VerteilungenAnnahmen prüfenschwer
Welche Annahmen musst du bei „in n unabhängigen Vorgängen wird die Zahl binärer Erfolge gezählt“ für Binomialmodell und Stichprobenverteilung prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Feste Zahl von Versuchen; zwei disjunkte Ausgänge pro Versuch; konstantes p; didaktisch zunächst unabhängige Versuche.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Binäre und vollständig beobachtete Einheit bestätigen
Konstantes p über Zeit und Gruppen prüfen
Cluster, Wiederholungen oder Ansteckung als Abhängigkeitsquellen untersuchen
Bei Overdispersion ein hierarchisches, Beta-Binomial- oder clusterrobustes Modell erwägen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Binäre und vollständig beobachtete Einheit bestätigen; K2: Konstantes p über Zeit und Gruppen prüfen; K3: Cluster, Wiederholungen oder Ansteckung als Abhängigkeitsquellen untersuchen; K4: Bei Overdispersion ein hierarchisches, Beta-Binomial- oder clusterrobustes Modell erwägen.
Statistik · Zufallsvariablen und VerteilungenVergleichenschwer
Vergleiche exakte Binomialrechnung, Normalapproximation und Simulation für eine seltene Ereigniszahl.
Annahmen: Feste Zahl von Versuchen; zwei disjunkte Ausgänge pro Versuch; konstantes p; didaktisch zunächst unabhängige Versuche.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Exakte Rechnung bei moderatem n als Referenz nennen
Normalapproximation nur bei hinreichenden np und n(1−p) erwägen
Simulation für komplexe Abhängigkeit oder Kontrollrechnung nutzen
Approximation anhand Fehlerbedarf und Rechenaufwand validieren
Schwache Antwort: Die Normalapproximation allein wegen großem n verwenden, ohne erwartete Erfolgs- und Misserfolgszahlen zu prüfen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Exakte Rechnung bei moderatem n als Referenz nennen; K2: Normalapproximation nur bei hinreichenden np und n(1−p) erwägen; K3: Simulation für komplexe Abhängigkeit oder Kontrollrechnung nutzen; K4: Approximation anhand Fehlerbedarf und Rechenaufwand validieren.
Statistik · Zufallsvariablen und VerteilungenEvaluationsdesignschwer
Entwirf für „in n unabhängigen Vorgängen wird die Zahl binärer Erfolge gezählt“ eine Evaluation von Binomialmodell und Stichprobenverteilung, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Feste Zahl von Versuchen; zwei disjunkte Ausgänge pro Versuch; konstantes p; didaktisch zunächst unabhängige Versuche.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Beobachtungseinheit und Abhängigkeitsstruktur vorab festlegen
Vorhersage- oder Intervallabdeckung auf passenden Wiederholungen prüfen
Overdispersion und gruppenbezogene Restmuster diagnostizieren
Modell ablehnen, wenn Fehlerfolgen durch verletzte Annahmen nicht beherrschbar sind
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Beobachtungseinheit und Abhängigkeitsstruktur vorab festlegen; K2: Vorhersage- oder Intervallabdeckung auf passenden Wiederholungen prüfen; K3: Overdispersion und gruppenbezogene Restmuster diagnostizieren; K4: Modell ablehnen, wenn Fehlerfolgen durch verletzte Annahmen nicht beherrschbar sind.
Statistik · Zufallsvariablen und VerteilungenBetriebsdiagnoseschwer
Nach Einführung im Szenario „in n unabhängigen Vorgängen wird die Zahl binärer Erfolge gezählt“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Feste Zahl von Versuchen; zwei disjunkte Ausgänge pro Versuch; konstantes p; didaktisch zunächst unabhängige Versuche.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Erfolgsrate und Exposition n getrennt überwachen
Überdispersion und zeitliche Autokorrelation alarmieren
Bei Strukturbruch deskriptive Raten mit Unsicherheit als Fallback berichten
Modell erst nach aktualisiertem Datenprozess und Backtest freigeben
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Erfolgsrate und Exposition n getrennt überwachen; K2: Überdispersion und zeitliche Autokorrelation alarmieren; K3: Bei Strukturbruch deskriptive Raten mit Unsicherheit als Fallback berichten; K4: Modell erst nach aktualisiertem Datenprozess und Backtest freigeben.
Statistik · Zufallsvariablen und VerteilungenStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was Binomialmodell und Stichprobenverteilung im Szenario „in n unabhängigen Vorgängen wird die Zahl binärer Erfolge gezählt“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Feste Zahl von Versuchen; zwei disjunkte Ausgänge pro Versuch; konstantes p; didaktisch zunächst unabhängige Versuche.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Zahl der Erfolge als Zufallsgröße erklären
np als langfristigen Mittelwert, nicht als garantierten Ausgang beschreiben
Streuung und Extremwahrscheinlichkeiten sichtbar machen
Gültigkeit an festen Prozess und stabile Rate knüpfen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Zahl der Erfolge als Zufallsgröße erklären; K2: np als langfristigen Mittelwert, nicht als garantierten Ausgang beschreiben; K3: Streuung und Extremwahrscheinlichkeiten sichtbar machen; K4: Gültigkeit an festen Prozess und stabile Rate knüpfen.
Statistik · Zufallsvariablen und VerteilungenMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „in n unabhängigen Vorgängen wird die Zahl binärer Erfolge gezählt“: beginne mit Ziel und Einheit, begründe Binomialmodell und Stichprobenverteilung, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Feste Zahl von Versuchen; zwei disjunkte Ausgänge pro Versuch; konstantes p; didaktisch zunächst unabhängige Versuche.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Zählvariable als Summe von n Bernoulli-Variablen definieren
Binäre und vollständig beobachtete Einheit bestätigen
Exakte Rechnung bei moderatem n als Referenz nennen
Beobachtungseinheit und Abhängigkeitsstruktur vorab festlegen
Erfolgsrate und Exposition n getrennt überwachen
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Zählvariable als Summe von n Bernoulli-Variablen definieren; K2: Binäre und vollständig beobachtete Einheit bestätigen; K3: Exakte Rechnung bei moderatem n als Referenz nennen; K4: Beobachtungseinheit und Abhängigkeitsstruktur vorab festlegen; K5: Erfolgsrate und Exposition n getrennt überwachen.
Statistik · Sampling und PopulationKonzept erklärenmittel
Erkläre im Kontext „eine seltene Teilgruppe soll präzise geschätzt werden, ohne die Gesamtpopulation zu verzerren“ das Konzept zielgerichtetes Stichprobendesign in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Gruppenzugehörigkeit ist vor Ziehung rechtmäßig verfügbar; Zielpopulation und Erhebungszeitraum sind festgelegt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Zielpopulation, Sampling Frame und Analyseeinheit trennen
Auswahlwahrscheinlichkeit als Teil des Designs behandeln
Präzision und Repräsentativität nicht mit bloßem n gleichsetzen
Gewichte und Designstruktur in Schätzung und Unsicherheit berücksichtigen
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Mit einer Million Zeilen ist Auswahlbias praktisch ausgeschlossen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Zielpopulation, Sampling Frame und Analyseeinheit trennen; K2: Auswahlwahrscheinlichkeit als Teil des Designs behandeln; K3: Präzision und Repräsentativität nicht mit bloßem n gleichsetzen; K4: Gewichte und Designstruktur in Schätzung und Unsicherheit berücksichtigen.
Eine Population besteht zu 90% aus Gruppe A und 10% aus B. Eine geschichtete Stichprobe zieht je 100 Fälle; Mittelwerte sind 40 und 70. Berechne den ungewichteten und den korrekt gewichteten Gesamtmittelwert.
Annahmen: Gruppenzugehörigkeit ist vor Ziehung rechtmäßig verfügbar; Zielpopulation und Erhebungszeitraum sind festgelegt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Ungewichteten Mittelwert (40+70)/2=55 berechnen
Populationsgewichte 0,9 und 0,1 verwenden
Gewichteten Mittelwert 0,9·40+0,1·70=43 erhalten
Oversampling als Präzisionshilfe, nicht als Änderung der Populationsanteile erklären
Schwache Antwort: 55 als Populationsschätzung übernehmen oder die seltene Gruppe aus der Analyse entfernen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Ungewichteten Mittelwert (40+70)/2=55 berechnen; K2: Populationsgewichte 0,9 und 0,1 verwenden; K3: Gewichteten Mittelwert 0,9·40+0,1·70=43 erhalten; K4: Oversampling als Präzisionshilfe, nicht als Änderung der Populationsanteile erklären.
Statistik · Sampling und PopulationDebug a claimmittel
Debugge für „eine seltene Teilgruppe soll präzise geschätzt werden, ohne die Gesamtpopulation zu verzerren“ die Aussage: „Mit einer Million Zeilen ist Auswahlbias praktisch ausgeschlossen.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Gruppenzugehörigkeit ist vor Ziehung rechtmäßig verfügbar; Zielpopulation und Erhebungszeitraum sind festgelegt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Zufallsfehler von systematischem Auswahlbias trennen
Frame, Coverage und Nonresponse konkret prüfen
Erklären, warum großes n Bias nicht beseitigt
Redesign, Gewichtung mit überprüfbaren Annahmen oder begrenzte Zielpopulation empfehlen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Mit einer Million Zeilen ist Auswahlbias praktisch ausgeschlossen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Zufallsfehler von systematischem Auswahlbias trennen; K2: Frame, Coverage und Nonresponse konkret prüfen; K3: Erklären, warum großes n Bias nicht beseitigt; K4: Redesign, Gewichtung mit überprüfbaren Annahmen oder begrenzte Zielpopulation empfehlen.
Statistik · Sampling und PopulationAnnahmen prüfenschwer
Welche Annahmen musst du bei „eine seltene Teilgruppe soll präzise geschätzt werden, ohne die Gesamtpopulation zu verzerren“ für zielgerichtetes Stichprobendesign prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Gruppenzugehörigkeit ist vor Ziehung rechtmäßig verfügbar; Zielpopulation und Erhebungszeitraum sind festgelegt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Frame-Abdeckung gegenüber Zielpopulation prüfen
Nonresponse und unterschiedliche Auswahlwahrscheinlichkeiten untersuchen
Cluster- und Schichtungseffekte in Varianz berücksichtigen
Bei unzureichendem Frame Aussagebereich begrenzen oder neue Erhebung planen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Frame-Abdeckung gegenüber Zielpopulation prüfen; K2: Nonresponse und unterschiedliche Auswahlwahrscheinlichkeiten untersuchen; K3: Cluster- und Schichtungseffekte in Varianz berücksichtigen; K4: Bei unzureichendem Frame Aussagebereich begrenzen oder neue Erhebung planen.
Statistik · Sampling und PopulationVergleichenschwer
Wähle zwischen einfacher Zufallsstichprobe, geschichteter Ziehung und Clusterstichprobe für das Teilgruppenszenario.
Annahmen: Gruppenzugehörigkeit ist vor Ziehung rechtmäßig verfügbar; Zielpopulation und Erhebungszeitraum sind festgelegt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Einfache Zufallsstichprobe als transparente Referenz einordnen
Schichtung für Teilgruppenpräzision begründen
Cluster nur mit Kosten-/Zugangsgewinn und Design-Effekt erwägen
Auswahl an Frame, Budget, Zielschätzung und Varianz binden
Schwache Antwort: Schichtung automatisch als repräsentativ oder Clusterziehung automatisch als unabhängig behandeln.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Einfache Zufallsstichprobe als transparente Referenz einordnen; K2: Schichtung für Teilgruppenpräzision begründen; K3: Cluster nur mit Kosten-/Zugangsgewinn und Design-Effekt erwägen; K4: Auswahl an Frame, Budget, Zielschätzung und Varianz binden.
Statistik · Sampling und PopulationEvaluationsdesignschwer
Entwirf für „eine seltene Teilgruppe soll präzise geschätzt werden, ohne die Gesamtpopulation zu verzerren“ eine Evaluation von zielgerichtetes Stichprobendesign, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Gruppenzugehörigkeit ist vor Ziehung rechtmäßig verfügbar; Zielpopulation und Erhebungszeitraum sind festgelegt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Designgewichte und effektive Stichprobengröße berichten
Schätzpräzision je relevanter Schicht prüfen
Nonresponse-Sensitivität und Coverage-Lücken analysieren
Vorab Mindestpräzision beziehungsweise Abbruch der Aussage definieren
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Designgewichte und effektive Stichprobengröße berichten; K2: Schätzpräzision je relevanter Schicht prüfen; K3: Nonresponse-Sensitivität und Coverage-Lücken analysieren; K4: Vorab Mindestpräzision beziehungsweise Abbruch der Aussage definieren.
Statistik · Sampling und PopulationBetriebsdiagnoseschwer
Nach Einführung im Szenario „eine seltene Teilgruppe soll präzise geschätzt werden, ohne die Gesamtpopulation zu verzerren“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Gruppenzugehörigkeit ist vor Ziehung rechtmäßig verfügbar; Zielpopulation und Erhebungszeitraum sind festgelegt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Frame-Drift und Responsequoten nach Schicht beobachten
Gewichtsverteilung und extreme Gewichte alarmieren
Bei Coverage-Bruch nur deskriptive Frame-Aussagen als Fallback liefern
Erhebung, Kalibrierung oder Zielpopulation nach Review anpassen
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Frame-Drift und Responsequoten nach Schicht beobachten; K2: Gewichtsverteilung und extreme Gewichte alarmieren; K3: Bei Coverage-Bruch nur deskriptive Frame-Aussagen als Fallback liefern; K4: Erhebung, Kalibrierung oder Zielpopulation nach Review anpassen.
Statistik · Sampling und PopulationStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was zielgerichtetes Stichprobendesign im Szenario „eine seltene Teilgruppe soll präzise geschätzt werden, ohne die Gesamtpopulation zu verzerren“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Gruppenzugehörigkeit ist vor Ziehung rechtmäßig verfügbar; Zielpopulation und Erhebungszeitraum sind festgelegt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Warum mehr Zeilen nicht automatisch mehr Repräsentativität bedeuten erklären
Oversampling und Gewichtung anschaulich trennen
Unsicherheit und nicht abgedeckte Personen benennen
Reichweite der Schlussfolgerung explizit begrenzen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Warum mehr Zeilen nicht automatisch mehr Repräsentativität bedeuten erklären; K2: Oversampling und Gewichtung anschaulich trennen; K3: Unsicherheit und nicht abgedeckte Personen benennen; K4: Reichweite der Schlussfolgerung explizit begrenzen.
Statistik · Sampling und PopulationMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „eine seltene Teilgruppe soll präzise geschätzt werden, ohne die Gesamtpopulation zu verzerren“: beginne mit Ziel und Einheit, begründe zielgerichtetes Stichprobendesign, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Gruppenzugehörigkeit ist vor Ziehung rechtmäßig verfügbar; Zielpopulation und Erhebungszeitraum sind festgelegt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Zielpopulation, Sampling Frame und Analyseeinheit trennen
Frame-Abdeckung gegenüber Zielpopulation prüfen
Einfache Zufallsstichprobe als transparente Referenz einordnen
Designgewichte und effektive Stichprobengröße berichten
Frame-Drift und Responsequoten nach Schicht beobachten
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Zielpopulation, Sampling Frame und Analyseeinheit trennen; K2: Frame-Abdeckung gegenüber Zielpopulation prüfen; K3: Einfache Zufallsstichprobe als transparente Referenz einordnen; K4: Designgewichte und effektive Stichprobengröße berichten; K5: Frame-Drift und Responsequoten nach Schicht beobachten.
Statistik · Schätzer und MSEKonzept erklärenmittel
Erkläre im Kontext „zwei Schätzer desselben Estimands haben unterschiedliche Verzerrung und Streuung“ das Konzept Bias-Varianz-Abwägung eines Schätzers in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Beide Verfahren zielen auf dasselbe eindeutig definierte Estimand; wiederholte Stichproben folgen demselben Design.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Estimand, Schätzer, beobachtete Schätzung und Entscheidung unterscheiden
Bias als Erwartungsabweichung im Wiederholungsgedanken definieren
Varianz als Streuung des Schätzers beschreiben
MSE als Varianz plus quadrierten Bias an quadratischen Verlust binden
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Ein unverzerrter Schätzer ist immer besser als ein verzerrter.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Estimand, Schätzer, beobachtete Schätzung und Entscheidung unterscheiden; K2: Bias als Erwartungsabweichung im Wiederholungsgedanken definieren; K3: Varianz als Streuung des Schätzers beschreiben; K4: MSE als Varianz plus quadrierten Bias an quadratischen Verlust binden.
Schätzer A hat Bias 0 und Varianz 9; Schätzer B Bias 2 und Varianz 3. Berechne beide MSE und entscheide unter quadratischem Verlust.
Annahmen: Beide Verfahren zielen auf dasselbe eindeutig definierte Estimand; wiederholte Stichproben folgen demselben Design.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
MSE(A)=9+0²=9 berechnen
MSE(B)=3+2²=7 berechnen
B unter quadratischem Verlust bevorzugen
Entscheidung auf gleiche Zielgröße und passende Verlustfunktion begrenzen
Schwache Antwort: A nur wegen Unverzerrtheit wählen oder bei B den Bias statt Bias² addieren.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: MSE(A)=9+0²=9 berechnen; K2: MSE(B)=3+2²=7 berechnen; K3: B unter quadratischem Verlust bevorzugen; K4: Entscheidung auf gleiche Zielgröße und passende Verlustfunktion begrenzen.
Debugge für „zwei Schätzer desselben Estimands haben unterschiedliche Verzerrung und Streuung“ die Aussage: „Ein unverzerrter Schätzer ist immer besser als ein verzerrter.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Beide Verfahren zielen auf dasselbe eindeutig definierte Estimand; wiederholte Stichproben folgen demselben Design.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Unverzerrtheit als nur eine Eigenschaft einordnen
Varianz und Gesamtrisiko ergänzen
Fehlerkosten beziehungsweise Loss explizit machen
Robustheit und endliche Stichprobe in die Wahl aufnehmen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Ein unverzerrter Schätzer ist immer besser als ein verzerrter.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Unverzerrtheit als nur eine Eigenschaft einordnen; K2: Varianz und Gesamtrisiko ergänzen; K3: Fehlerkosten beziehungsweise Loss explizit machen; K4: Robustheit und endliche Stichprobe in die Wahl aufnehmen.
Welche Annahmen musst du bei „zwei Schätzer desselben Estimands haben unterschiedliche Verzerrung und Streuung“ für Bias-Varianz-Abwägung eines Schätzers prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Beide Verfahren zielen auf dasselbe eindeutig definierte Estimand; wiederholte Stichproben folgen demselben Design.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Gleiches Estimand und gleiche Zielpopulation bestätigen
Verlustfunktion und Fehlerasymmetrie vor Vergleich klären
Robustheit gegen Ausreißer und Modellfehler prüfen
Bei anderer Verlustfunktion oder Shift nicht blind nach MSE wählen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Gleiches Estimand und gleiche Zielpopulation bestätigen; K2: Verlustfunktion und Fehlerasymmetrie vor Vergleich klären; K3: Robustheit gegen Ausreißer und Modellfehler prüfen; K4: Bei anderer Verlustfunktion oder Shift nicht blind nach MSE wählen.
Vergleiche unverzerrte Schätzung, Shrinkage und robusten Schätzer für kleine, verrauschte Stichproben.
Annahmen: Beide Verfahren zielen auf dasselbe eindeutig definierte Estimand; wiederholte Stichproben folgen demselben Design.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Unverzerrtheit gegen hohe Varianz abwägen
Shrinkage als kontrollierten Bias für Stabilität erklären
Robustheit bei Kontamination berücksichtigen
Auswahl über Loss, Datenprozess und Sensitivitätsanalyse treffen
Schwache Antwort: Ein Verfahren allein anhand einer asymptotischen Eigenschaft auswählen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Unverzerrtheit gegen hohe Varianz abwägen; K2: Shrinkage als kontrollierten Bias für Stabilität erklären; K3: Robustheit bei Kontamination berücksichtigen; K4: Auswahl über Loss, Datenprozess und Sensitivitätsanalyse treffen.
Statistik · Schätzer und MSEEvaluationsdesignschwer
Entwirf für „zwei Schätzer desselben Estimands haben unterschiedliche Verzerrung und Streuung“ eine Evaluation von Bias-Varianz-Abwägung eines Schätzers, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Beide Verfahren zielen auf dasselbe eindeutig definierte Estimand; wiederholte Stichproben folgen demselben Design.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Simulation oder Resampling unter plausiblen Datenprozessen planen
Bias, Varianz und entscheidungsrelevanten Loss getrennt berichten
Kontaminations- und Shift-Szenarien prüfen
Vorab Toleranz für Fehlerkosten und Instabilität definieren
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Simulation oder Resampling unter plausiblen Datenprozessen planen; K2: Bias, Varianz und entscheidungsrelevanten Loss getrennt berichten; K3: Kontaminations- und Shift-Szenarien prüfen; K4: Vorab Toleranz für Fehlerkosten und Instabilität definieren.
Statistik · Schätzer und MSEBetriebsdiagnoseschwer
Nach Einführung im Szenario „zwei Schätzer desselben Estimands haben unterschiedliche Verzerrung und Streuung“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Beide Verfahren zielen auf dasselbe eindeutig definierte Estimand; wiederholte Stichproben folgen demselben Design.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Änderung von Datenprozess und Schätzervarianz überwachen
Abweichung zu robusten Referenzschätzungen alarmieren
Bei Instabilität konservative oder robuste Schätzung als Fallback nutzen
Nach Ursachenprüfung Estimand, Modell oder Verfahren revalidieren
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Änderung von Datenprozess und Schätzervarianz überwachen; K2: Abweichung zu robusten Referenzschätzungen alarmieren; K3: Bei Instabilität konservative oder robuste Schätzung als Fallback nutzen; K4: Nach Ursachenprüfung Estimand, Modell oder Verfahren revalidieren.
Statistik · Schätzer und MSEStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was Bias-Varianz-Abwägung eines Schätzers im Szenario „zwei Schätzer desselben Estimands haben unterschiedliche Verzerrung und Streuung“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Beide Verfahren zielen auf dasselbe eindeutig definierte Estimand; wiederholte Stichproben folgen demselben Design.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Bias als systematische Tendenz, Varianz als Schwankung erklären
Warum etwas Bias manchmal Gesamtrisiko senkt anschaulich machen
Loss und Zielgröße offenlegen
Keine allgemeine Siegerbehauptung ohne Kontext treffen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Bias als systematische Tendenz, Varianz als Schwankung erklären; K2: Warum etwas Bias manchmal Gesamtrisiko senkt anschaulich machen; K3: Loss und Zielgröße offenlegen; K4: Keine allgemeine Siegerbehauptung ohne Kontext treffen.
Statistik · Schätzer und MSEMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „zwei Schätzer desselben Estimands haben unterschiedliche Verzerrung und Streuung“: beginne mit Ziel und Einheit, begründe Bias-Varianz-Abwägung eines Schätzers, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Beide Verfahren zielen auf dasselbe eindeutig definierte Estimand; wiederholte Stichproben folgen demselben Design.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Estimand, Schätzer, beobachtete Schätzung und Entscheidung unterscheiden
Gleiches Estimand und gleiche Zielpopulation bestätigen
Unverzerrtheit gegen hohe Varianz abwägen
Simulation oder Resampling unter plausiblen Datenprozessen planen
Änderung von Datenprozess und Schätzervarianz überwachen
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Estimand, Schätzer, beobachtete Schätzung und Entscheidung unterscheiden; K2: Gleiches Estimand und gleiche Zielpopulation bestätigen; K3: Unverzerrtheit gegen hohe Varianz abwägen; K4: Simulation oder Resampling unter plausiblen Datenprozessen planen; K5: Änderung von Datenprozess und Schätzervarianz überwachen.
Statistik · Konfidenzintervalle und BootstrapKonzept erklärenmittel
Erkläre im Kontext „für einen robusten Lageparameter soll Unsicherheit aus einer endlichen Stichprobe berichtet werden“ das Konzept frequentistisches Konfidenzintervall und Bootstrap-Unsicherheit in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Stichprobe repräsentiert die Zielpopulation plausibel; Resampling-Einheit entspricht der unabhängigen Einheit.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Intervallverfahren über wiederholte Stichproben interpretieren
Schätzung und Standardfehler beziehungsweise Resampling-Verteilung trennen
Bootstrap als Resampling beobachteter Einheiten mit Zurücklegen erklären
Abdeckung an Daten- und Resamplingannahmen binden
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: 50.000 Bootstrap-Resamples beseitigen Selektionsbias und Abhängigkeit der Originaldaten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Intervallverfahren über wiederholte Stichproben interpretieren; K2: Schätzung und Standardfehler beziehungsweise Resampling-Verteilung trennen; K3: Bootstrap als Resampling beobachteter Einheiten mit Zurücklegen erklären; K4: Abdeckung an Daten- und Resamplingannahmen binden.
Statistik · Konfidenzintervalle und BootstrapRechnenmittel
Mittelwert 12, Stichproben-SD 3, n=36 und z*=1,96: Berechne ein approximatives 95%-Intervall und interpretiere es frequentistisch.
Annahmen: Stichprobe repräsentiert die Zielpopulation plausibel; Resampling-Einheit entspricht der unabhängigen Einheit.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Standardfehler 3/√36=0,5 berechnen
Margin 1,96·0,5=0,98 erhalten
Intervall [11,02;12,98] berechnen
95% auf langfristige Abdeckung des Verfahrens statt Wahrscheinlichkeit dieses festen Parameters beziehen
Schwache Antwort: Sagen, der feste Parameter liege mit 95% Wahrscheinlichkeit im berechneten Intervall.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Standardfehler 3/√36=0,5 berechnen; K2: Margin 1,96·0,5=0,98 erhalten; K3: Intervall [11,02;12,98] berechnen; K4: 95% auf langfristige Abdeckung des Verfahrens statt Wahrscheinlichkeit dieses festen Parameters beziehen.
Statistik · Konfidenzintervalle und BootstrapDebug a claimmittel
Debugge für „für einen robusten Lageparameter soll Unsicherheit aus einer endlichen Stichprobe berichtet werden“ die Aussage: „50.000 Bootstrap-Resamples beseitigen Selektionsbias und Abhängigkeit der Originaldaten.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Stichprobe repräsentiert die Zielpopulation plausibel; Resampling-Einheit entspricht der unabhängigen Einheit.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Monte-Carlo-Fehler von Datenfehlern trennen
Bootstrap als Wiederverwendung der empirischen Stichprobe erklären
Selektionsbias als fortbestehend markieren
Designgerechte Resampling-Einheit oder neue Datenerhebung fordern
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: 50.000 Bootstrap-Resamples beseitigen Selektionsbias und Abhängigkeit der Originaldaten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Monte-Carlo-Fehler von Datenfehlern trennen; K2: Bootstrap als Wiederverwendung der empirischen Stichprobe erklären; K3: Selektionsbias als fortbestehend markieren; K4: Designgerechte Resampling-Einheit oder neue Datenerhebung fordern.
Statistik · Konfidenzintervalle und BootstrapAnnahmen prüfenschwer
Welche Annahmen musst du bei „für einen robusten Lageparameter soll Unsicherheit aus einer endlichen Stichprobe berichtet werden“ für frequentistisches Konfidenzintervall und Bootstrap-Unsicherheit prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Stichprobe repräsentiert die Zielpopulation plausibel; Resampling-Einheit entspricht der unabhängigen Einheit.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Unabhängige Einheit oder Clusterstruktur bestimmen
Selektionsmechanismus und kleine Stichprobe prüfen
Statistik auf Glätte, Grenzen und Extremwerte untersuchen
Bei Abhängigkeit Block-/Clusterbootstrap oder designgerechte Inferenz wählen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Unabhängige Einheit oder Clusterstruktur bestimmen; K2: Selektionsmechanismus und kleine Stichprobe prüfen; K3: Statistik auf Glätte, Grenzen und Extremwerte untersuchen; K4: Bei Abhängigkeit Block-/Clusterbootstrap oder designgerechte Inferenz wählen.
Statistik · Konfidenzintervalle und BootstrapVergleichenschwer
Wähle zwischen t-Intervall, Perzentil-Bootstrap und clusterrobustem Verfahren für den Lageparameter.
Annahmen: Stichprobe repräsentiert die Zielpopulation plausibel; Resampling-Einheit entspricht der unabhängigen Einheit.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
t-Intervall bei passender Mittelwert- und Fehlerstruktur einordnen
Bootstrap für komplexere Statistik mit repräsentativer Einheit erwägen
Clusterverfahren bei gruppierter Abhängigkeit wählen
Wahl über Estimand, n, Abhängigkeit und Abdeckungsdiagnostik begründen
Schwache Antwort: Bootstrap als annahmenfrei oder jedes Intervall als automatisch exakt bezeichnen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: t-Intervall bei passender Mittelwert- und Fehlerstruktur einordnen; K2: Bootstrap für komplexere Statistik mit repräsentativer Einheit erwägen; K3: Clusterverfahren bei gruppierter Abhängigkeit wählen; K4: Wahl über Estimand, n, Abhängigkeit und Abdeckungsdiagnostik begründen.
Statistik · Konfidenzintervalle und BootstrapEvaluationsdesignschwer
Entwirf für „für einen robusten Lageparameter soll Unsicherheit aus einer endlichen Stichprobe berichtet werden“ eine Evaluation von frequentistisches Konfidenzintervall und Bootstrap-Unsicherheit, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Stichprobe repräsentiert die Zielpopulation plausibel; Resampling-Einheit entspricht der unabhängigen Einheit.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Simulierte oder bekannte Coverage unter plausiblen Prozessen prüfen
Intervallbreite und Fehlerrate gemeinsam berichten
Cluster-, Skew- und Ausreißersensitivität untersuchen
Verfahren bei unzureichender Coverage oder irreführender Präzision ablehnen
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Simulierte oder bekannte Coverage unter plausiblen Prozessen prüfen; K2: Intervallbreite und Fehlerrate gemeinsam berichten; K3: Cluster-, Skew- und Ausreißersensitivität untersuchen; K4: Verfahren bei unzureichender Coverage oder irreführender Präzision ablehnen.
Statistik · Konfidenzintervalle und BootstrapBetriebsdiagnoseschwer
Nach Einführung im Szenario „für einen robusten Lageparameter soll Unsicherheit aus einer endlichen Stichprobe berichtet werden“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Stichprobe repräsentiert die Zielpopulation plausibel; Resampling-Einheit entspricht der unabhängigen Einheit.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Stichprobenumfang, Clustergröße und Verteilungsform beobachten
Bei Unsicherheit des Verfahrens deskriptive Bandbreiten als Fallback zeigen
Inferenzverfahren nach Designänderung neu validieren
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Stichprobenumfang, Clustergröße und Verteilungsform beobachten; K2: Plötzliche Intervallverengung trotz Datenänderung alarmieren; K3: Bei Unsicherheit des Verfahrens deskriptive Bandbreiten als Fallback zeigen; K4: Inferenzverfahren nach Designänderung neu validieren.
Statistik · Konfidenzintervalle und BootstrapStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was frequentistisches Konfidenzintervall und Bootstrap-Unsicherheit im Szenario „für einen robusten Lageparameter soll Unsicherheit aus einer endlichen Stichprobe berichtet werden“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Stichprobe repräsentiert die Zielpopulation plausibel; Resampling-Einheit entspricht der unabhängigen Einheit.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Punktschätzung und Unsicherheitsband getrennt erklären
Langfristige Abdeckung ohne Posterior-Sprache formulieren
Breite als Informationssignal, nicht als Qualitätsmakel erklären
Entscheidung nicht allein am Überschreiten einer Nullgrenze festmachen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Punktschätzung und Unsicherheitsband getrennt erklären; K2: Langfristige Abdeckung ohne Posterior-Sprache formulieren; K3: Breite als Informationssignal, nicht als Qualitätsmakel erklären; K4: Entscheidung nicht allein am Überschreiten einer Nullgrenze festmachen.
Statistik · Konfidenzintervalle und BootstrapMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „für einen robusten Lageparameter soll Unsicherheit aus einer endlichen Stichprobe berichtet werden“: beginne mit Ziel und Einheit, begründe frequentistisches Konfidenzintervall und Bootstrap-Unsicherheit, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Stichprobe repräsentiert die Zielpopulation plausibel; Resampling-Einheit entspricht der unabhängigen Einheit.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Intervallverfahren über wiederholte Stichproben interpretieren
Unabhängige Einheit oder Clusterstruktur bestimmen
t-Intervall bei passender Mittelwert- und Fehlerstruktur einordnen
Simulierte oder bekannte Coverage unter plausiblen Prozessen prüfen
Stichprobenumfang, Clustergröße und Verteilungsform beobachten
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Intervallverfahren über wiederholte Stichproben interpretieren; K2: Unabhängige Einheit oder Clusterstruktur bestimmen; K3: t-Intervall bei passender Mittelwert- und Fehlerstruktur einordnen; K4: Simulierte oder bekannte Coverage unter plausiblen Prozessen prüfen; K5: Stichprobenumfang, Clustergröße und Verteilungsform beobachten.
Statistik · Power und StichprobengrößeKonzept erklärenmittel
Erkläre im Kontext „ein Experiment soll eine vorab relevante kleine Wirkung zuverlässig erkennen“ das Konzept Power- und Fallzahlplanung in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Zweiseitiger approximativer Test; Zielwirkung, Varianz und Ausfallquote werden vorab begründet.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Power als Wahrscheinlichkeit einer Verwerfung unter spezifizierter Alternative definieren
Alpha, Effektgröße, Streuung und n gemeinsam betrachten
Minimal relevante Wirkung vor Ergebniskenntnis festlegen
Fallzahlplanung als Designhilfe, nicht als Erfolgsgarantie behandeln
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Eine nicht signifikante Studie beweist bei beliebiger Fallzahl, dass kein relevanter Effekt existiert.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Power als Wahrscheinlichkeit einer Verwerfung unter spezifizierter Alternative definieren; K2: Alpha, Effektgröße, Streuung und n gemeinsam betrachten; K3: Minimal relevante Wirkung vor Ergebniskenntnis festlegen; K4: Fallzahlplanung als Designhilfe, nicht als Erfolgsgarantie behandeln.
Statistik · Power und StichprobengrößeRechnenmittel
Für einen Mittelwerttest seien σ=10, relevante Differenz Δ=4, α=5% zweiseitig und Power 80%. Nutze n≈2·((1,96+0,84)·σ/Δ)² und berechne n je Gruppe.
Annahmen: Zweiseitiger approximativer Test; Zielwirkung, Varianz und Ausfallquote werden vorab begründet.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
z-Summe 2,80 bilden
2,80·10/4=7 berechnen
2·7²=98 pro Gruppe erhalten
Aufrunden und erwartete Ausfälle beziehungsweise Cluster zusätzlich berücksichtigen
Schwache Antwort: 98 als Gesamtzahl statt pro Gruppe ausgeben oder Effektgröße erst nach Sichtung der Daten wählen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: z-Summe 2,80 bilden; K2: 2,80·10/4=7 berechnen; K3: 2·7²=98 pro Gruppe erhalten; K4: Aufrunden und erwartete Ausfälle beziehungsweise Cluster zusätzlich berücksichtigen.
Statistik · Power und StichprobengrößeDebug a claimmittel
Debugge für „ein Experiment soll eine vorab relevante kleine Wirkung zuverlässig erkennen“ die Aussage: „Eine nicht signifikante Studie beweist bei beliebiger Fallzahl, dass kein relevanter Effekt existiert.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Zweiseitiger approximativer Test; Zielwirkung, Varianz und Ausfallquote werden vorab begründet.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Nichtverwerfen von Beweis der Null unterscheiden
Intervall relativ zur minimal relevanten Wirkung prüfen
Power und realisierte Präzision einbeziehen
Inkonklusiv, Äquivalenzdesign oder weitere Daten als mögliche Folgerung trennen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Eine nicht signifikante Studie beweist bei beliebiger Fallzahl, dass kein relevanter Effekt existiert.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Nichtverwerfen von Beweis der Null unterscheiden; K2: Intervall relativ zur minimal relevanten Wirkung prüfen; K3: Power und realisierte Präzision einbeziehen; K4: Inkonklusiv, Äquivalenzdesign oder weitere Daten als mögliche Folgerung trennen.
Statistik · Power und StichprobengrößeAnnahmen prüfenschwer
Welche Annahmen musst du bei „ein Experiment soll eine vorab relevante kleine Wirkung zuverlässig erkennen“ für Power- und Fallzahlplanung prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Zweiseitiger approximativer Test; Zielwirkung, Varianz und Ausfallquote werden vorab begründet.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Effektgröße fachlich statt aus Pilotmaximum wählen
Streuung und Basisrate realistisch schätzen
Abhängigkeit, Cluster und Attrition einplanen
Bei unsicheren Parametern Szenarien statt Scheingenauigkeit berichten
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Effektgröße fachlich statt aus Pilotmaximum wählen; K2: Streuung und Basisrate realistisch schätzen; K3: Abhängigkeit, Cluster und Attrition einplanen; K4: Bei unsicheren Parametern Szenarien statt Scheingenauigkeit berichten.
Statistik · Power und StichprobengrößeVergleichenschwer
Vergleiche klassische Powerplanung, Präzisionsplanung per Intervallbreite und sequenzielles Design.
Annahmen: Zweiseitiger approximativer Test; Zielwirkung, Varianz und Ausfallquote werden vorab begründet.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Powerplanung an konkreten Test und Alternative binden
Präzisionsplanung bei Schätzfokus bevorzugen
Sequenzielles Design nur mit vorab definierter Fehlerkontrolle nutzen
Wahl an Entscheidung, Kosten, Ethik und Datenankunft knüpfen
Schwache Antwort: Optionales Stoppen nach jedem p-Wert als kostenfreie sequenzielle Methode behandeln.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Powerplanung an konkreten Test und Alternative binden; K2: Präzisionsplanung bei Schätzfokus bevorzugen; K3: Sequenzielles Design nur mit vorab definierter Fehlerkontrolle nutzen; K4: Wahl an Entscheidung, Kosten, Ethik und Datenankunft knüpfen.
Statistik · Power und StichprobengrößeEvaluationsdesignschwer
Entwirf für „ein Experiment soll eine vorab relevante kleine Wirkung zuverlässig erkennen“ eine Evaluation von Power- und Fallzahlplanung, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Zweiseitiger approximativer Test; Zielwirkung, Varianz und Ausfallquote werden vorab begründet.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Annahmen über Varianz, Effekt und Attrition als Szenarien backtesten
Power beziehungsweise erwartete Intervallbreite je Szenario berichten
Cluster- und Subgruppenpräzision getrennt planen
Stoppen oder Redesign bei nicht erreichbarer sinnvoller Evidenz vorab festlegen
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Annahmen über Varianz, Effekt und Attrition als Szenarien backtesten; K2: Power beziehungsweise erwartete Intervallbreite je Szenario berichten; K3: Cluster- und Subgruppenpräzision getrennt planen; K4: Stoppen oder Redesign bei nicht erreichbarer sinnvoller Evidenz vorab festlegen.
Statistik · Power und StichprobengrößeBetriebsdiagnoseschwer
Nach Einführung im Szenario „ein Experiment soll eine vorab relevante kleine Wirkung zuverlässig erkennen“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Zweiseitiger approximativer Test; Zielwirkung, Varianz und Ausfallquote werden vorab begründet.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Rekrutierung, Attrition und Varianzannahmen laufend blind überwachen
Designabweichungen und Informationsrate alarmieren
Bei Unterrekrutierung keine nachträgliche Effektdefinition als Fallback nutzen
Protokollkonform verlängern, begrenzen oder als inkonklusiv schließen
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Rekrutierung, Attrition und Varianzannahmen laufend blind überwachen; K2: Designabweichungen und Informationsrate alarmieren; K3: Bei Unterrekrutierung keine nachträgliche Effektdefinition als Fallback nutzen; K4: Protokollkonform verlängern, begrenzen oder als inkonklusiv schließen.
Statistik · Power und StichprobengrößeStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was Power- und Fallzahlplanung im Szenario „ein Experiment soll eine vorab relevante kleine Wirkung zuverlässig erkennen“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Zweiseitiger approximativer Test; Zielwirkung, Varianz und Ausfallquote werden vorab begründet.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Power als Eigenschaft eines Designs unter Annahmen erklären
Relevante Wirkung von beobachtetem Effekt trennen
Unsichere Eingaben mit Spannweiten zeigen
Keine Garantie auf Signifikanz oder Wahrheit versprechen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Power als Eigenschaft eines Designs unter Annahmen erklären; K2: Relevante Wirkung von beobachtetem Effekt trennen; K3: Unsichere Eingaben mit Spannweiten zeigen; K4: Keine Garantie auf Signifikanz oder Wahrheit versprechen.
Statistik · Power und StichprobengrößeMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „ein Experiment soll eine vorab relevante kleine Wirkung zuverlässig erkennen“: beginne mit Ziel und Einheit, begründe Power- und Fallzahlplanung, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Zweiseitiger approximativer Test; Zielwirkung, Varianz und Ausfallquote werden vorab begründet.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Power als Wahrscheinlichkeit einer Verwerfung unter spezifizierter Alternative definieren
Effektgröße fachlich statt aus Pilotmaximum wählen
Powerplanung an konkreten Test und Alternative binden
Annahmen über Varianz, Effekt und Attrition als Szenarien backtesten
Rekrutierung, Attrition und Varianzannahmen laufend blind überwachen
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Power als Wahrscheinlichkeit einer Verwerfung unter spezifizierter Alternative definieren; K2: Effektgröße fachlich statt aus Pilotmaximum wählen; K3: Powerplanung an konkreten Test und Alternative binden; K4: Annahmen über Varianz, Effekt und Attrition als Szenarien backtesten; K5: Rekrutierung, Attrition und Varianzannahmen laufend blind überwachen.
Statistik · Hypothesentests und EffektgrößenKonzept erklärenmittel
Erkläre im Kontext „ein valider Test liefert einen kleinen p-Wert, aber der geschätzte Nutzen ist fachlich gering“ das Konzept p-Wert, Effektgröße und praktische Relevanz in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Hypothese, Analysemethode und Signifikanzniveau wurden vor Datenblick festgelegt; Messung ist valide.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
p-Wert unter H0 und festgelegtem Design konditional definieren
Effektgröße als Größenordnung der beobachteten Differenz berichten
Konfidenzintervall als Präzisionsinformation ergänzen
Entscheidung an relevante Wirkung, Kosten und Risiken statt p allein binden
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: p=0,03 bedeutet, H0 ist mit 3% Wahrscheinlichkeit wahr.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: p-Wert unter H0 und festgelegtem Design konditional definieren; K2: Effektgröße als Größenordnung der beobachteten Differenz berichten; K3: Konfidenzintervall als Präzisionsinformation ergänzen; K4: Entscheidung an relevante Wirkung, Kosten und Risiken statt p allein binden.
Statistik · Hypothesentests und EffektgrößenRechnenmittel
In Gruppe A sind 120/1.000 erfolgreich, in B 140/1.000. Berechne absolute und relative Differenz und erkläre, warum die relative Zahl allein irreführen kann.
Annahmen: Hypothese, Analysemethode und Signifikanzniveau wurden vor Datenblick festgelegt; Messung ist valide.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Raten 12% und 14% bestimmen
Absolute Differenz 2 Prozentpunkte berechnen
Relative Steigerung (14−12)/12≈16,7% berechnen
Nenner, Intervall und fachliche Mindestwirkung zusätzlich verlangen
Schwache Antwort: Nur 16,7% nennen und daraus ohne Unsicherheit oder Kosten einen Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Raten 12% und 14% bestimmen; K2: Absolute Differenz 2 Prozentpunkte berechnen; K3: Relative Steigerung (14−12)/12≈16,7% berechnen; K4: Nenner, Intervall und fachliche Mindestwirkung zusätzlich verlangen.
Statistik · Hypothesentests und EffektgrößenDebug a claimmittel
Debugge für „ein valider Test liefert einen kleinen p-Wert, aber der geschätzte Nutzen ist fachlich gering“ die Aussage: „p=0,03 bedeutet, H0 ist mit 3% Wahrscheinlichkeit wahr.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Hypothese, Analysemethode und Signifikanzniveau wurden vor Datenblick festgelegt; Messung ist valide.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Konditionierung auf H0 erklären
Mindestens so extreme Daten unter dem Testdesign nennen
Posteriorwahrscheinlichkeit von H0 nicht behaupten
Effekt, Intervall und Entscheidungsgrenze ergänzen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: p=0,03 bedeutet, H0 ist mit 3% Wahrscheinlichkeit wahr.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Konditionierung auf H0 erklären; K2: Mindestens so extreme Daten unter dem Testdesign nennen; K3: Posteriorwahrscheinlichkeit von H0 nicht behaupten; K4: Effekt, Intervall und Entscheidungsgrenze ergänzen.
Statistik · Hypothesentests und EffektgrößenAnnahmen prüfenschwer
Welche Annahmen musst du bei „ein valider Test liefert einen kleinen p-Wert, aber der geschätzte Nutzen ist fachlich gering“ für p-Wert, Effektgröße und praktische Relevanz prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Hypothese, Analysemethode und Signifikanzniveau wurden vor Datenblick festgelegt; Messung ist valide.
Optionale Analysen und Datenabhängigkeit offenlegen
Bei verletztem Design robuste, randomisierungsbasierte oder deskriptive Analyse wählen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Teststatistik und Nullmodell prüfen; K2: Randomisierung beziehungsweise Samplingmechanismus prüfen; K3: Optionale Analysen und Datenabhängigkeit offenlegen; K4: Bei verletztem Design robuste, randomisierungsbasierte oder deskriptive Analyse wählen.
Statistik · Hypothesentests und EffektgrößenVergleichenschwer
Wähle zwischen klassischem Signifikanztest, Äquivalenztest und reiner Schätzperspektive für den geringen Nutzen.
Annahmen: Hypothese, Analysemethode und Signifikanzniveau wurden vor Datenblick festgelegt; Messung ist valide.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Signifikanztest auf Evidenz gegen konkrete Null begrenzen
Äquivalenztest bei vorab definierter praktischer Grenze erwägen
Schätzung bei Größen- und Unsicherheitsfokus bevorzugen
Fragestellung und Entscheidungsgrenze vor Methode festlegen
Schwache Antwort: Die Methode erst nach dem günstigsten Ergebnis auswählen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Signifikanztest auf Evidenz gegen konkrete Null begrenzen; K2: Äquivalenztest bei vorab definierter praktischer Grenze erwägen; K3: Schätzung bei Größen- und Unsicherheitsfokus bevorzugen; K4: Fragestellung und Entscheidungsgrenze vor Methode festlegen.
Statistik · Hypothesentests und EffektgrößenEvaluationsdesignschwer
Entwirf für „ein valider Test liefert einen kleinen p-Wert, aber der geschätzte Nutzen ist fachlich gering“ eine Evaluation von p-Wert, Effektgröße und praktische Relevanz, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Hypothese, Analysemethode und Signifikanzniveau wurden vor Datenblick festgelegt; Messung ist valide.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Primären Effekt und relevante Mindestwirkung vorab definieren
Intervall, absolute und relative Wirkung berichten
Messqualität und Heterogenität prüfen
Rollout nur bei akzeptabler Wirkung und Guardrails freigeben
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Primären Effekt und relevante Mindestwirkung vorab definieren; K2: Intervall, absolute und relative Wirkung berichten; K3: Messqualität und Heterogenität prüfen; K4: Rollout nur bei akzeptabler Wirkung und Guardrails freigeben.
Statistik · Hypothesentests und EffektgrößenBetriebsdiagnoseschwer
Nach Einführung im Szenario „ein valider Test liefert einen kleinen p-Wert, aber der geschätzte Nutzen ist fachlich gering“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Hypothese, Analysemethode und Signifikanzniveau wurden vor Datenblick festgelegt; Messung ist valide.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Langfristige Wirkung und Guardrails nach Rollout beobachten
Regression zur Mitte und saisonale Änderung alarmieren
Bei fehlendem Nutzen zur Baseline zurückkehren
Replikation oder Stop anhand vorab definierter Kriterien entscheiden
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Langfristige Wirkung und Guardrails nach Rollout beobachten; K2: Regression zur Mitte und saisonale Änderung alarmieren; K3: Bei fehlendem Nutzen zur Baseline zurückkehren; K4: Replikation oder Stop anhand vorab definierter Kriterien entscheiden.
Statistik · Hypothesentests und EffektgrößenStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was p-Wert, Effektgröße und praktische Relevanz im Szenario „ein valider Test liefert einen kleinen p-Wert, aber der geschätzte Nutzen ist fachlich gering“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Hypothese, Analysemethode und Signifikanzniveau wurden vor Datenblick festgelegt; Messung ist valide.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Statistische Evidenz von Effektgröße trennen
Absolute Zahlen neben relativen Prozenten zeigen
Unsicherheit und Mindestwirkung erklären
Empfehlung als fachliche Abwägung, nicht als p-Wert-Automatismus formulieren
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Statistische Evidenz von Effektgröße trennen; K2: Absolute Zahlen neben relativen Prozenten zeigen; K3: Unsicherheit und Mindestwirkung erklären; K4: Empfehlung als fachliche Abwägung, nicht als p-Wert-Automatismus formulieren.
Statistik · Hypothesentests und EffektgrößenMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „ein valider Test liefert einen kleinen p-Wert, aber der geschätzte Nutzen ist fachlich gering“: beginne mit Ziel und Einheit, begründe p-Wert, Effektgröße und praktische Relevanz, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Hypothese, Analysemethode und Signifikanzniveau wurden vor Datenblick festgelegt; Messung ist valide.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
p-Wert unter H0 und festgelegtem Design konditional definieren
Teststatistik und Nullmodell prüfen
Signifikanztest auf Evidenz gegen konkrete Null begrenzen
Primären Effekt und relevante Mindestwirkung vorab definieren
Langfristige Wirkung und Guardrails nach Rollout beobachten
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: p-Wert unter H0 und festgelegtem Design konditional definieren; K2: Teststatistik und Nullmodell prüfen; K3: Signifikanztest auf Evidenz gegen konkrete Null begrenzen; K4: Primären Effekt und relevante Mindestwirkung vorab definieren; K5: Langfristige Wirkung und Guardrails nach Rollout beobachten.
Erkläre im Kontext „zwanzig Kennzahlen werden gleichzeitig auf Unterschiede geprüft“ das Konzept Fehlerkontrolle bei multiplen Hypothesen in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Zwanzig vorab definierte Hypothesen; ihre Abhängigkeit und fachliche Familie werden dokumentiert.
FWER als Wahrscheinlichkeit mindestens eines Fehlers erster Art einordnen
FDR als erwarteten Anteil falscher Entdeckungen unter Entdeckungen erklären
Methode an Fehlerfolge und explorativen oder konfirmatorischen Zweck binden
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Bonferroni macht alle Analysen automatisch valide, auch wenn Hypothesen nach Ergebnissichtung gewählt wurden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Testfamilie anhand gemeinsamer Entscheidung definieren; K2: FWER als Wahrscheinlichkeit mindestens eines Fehlers erster Art einordnen; K3: FDR als erwarteten Anteil falscher Entdeckungen unter Entdeckungen erklären; K4: Methode an Fehlerfolge und explorativen oder konfirmatorischen Zweck binden.
Vier p-Werte sind 0,006; 0,018; 0,031; 0,20. Wende Holm bei α=0,05 an und nenne die Entscheidungsschritte.
Annahmen: Zwanzig vorab definierte Hypothesen; ihre Abhängigkeit und fachliche Familie werden dokumentiert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Sortierte p-Werte beibehalten
0,006 mit 0,05/4=0,0125 vergleichen und verwerfen
0,018 mit 0,05/3≈0,0167 vergleichen und nicht verwerfen
Ab dem ersten Nichtverwerfen die restlichen Hypothesen nicht verwerfen
Schwache Antwort: Jeden p-Wert mit 0,05 vergleichen oder nach dem ersten Nichtverwerfen spätere wieder separat verwerfen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Sortierte p-Werte beibehalten; K2: 0,006 mit 0,05/4=0,0125 vergleichen und verwerfen; K3: 0,018 mit 0,05/3≈0,0167 vergleichen und nicht verwerfen; K4: Ab dem ersten Nichtverwerfen die restlichen Hypothesen nicht verwerfen.
Debugge für „zwanzig Kennzahlen werden gleichzeitig auf Unterschiede geprüft“ die Aussage: „Bonferroni macht alle Analysen automatisch valide, auch wenn Hypothesen nach Ergebnissichtung gewählt wurden.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Zwanzig vorab definierte Hypothesen; ihre Abhängigkeit und fachliche Familie werden dokumentiert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Fehlerkontrolle von Hypothesenentstehung trennen
Selektions- und Reportingbias benennen
Familie und Analyseplan vorab fordern
Explorative Funde unabhängig bestätigen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Bonferroni macht alle Analysen automatisch valide, auch wenn Hypothesen nach Ergebnissichtung gewählt wurden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Fehlerkontrolle von Hypothesenentstehung trennen; K2: Selektions- und Reportingbias benennen; K3: Familie und Analyseplan vorab fordern; K4: Explorative Funde unabhängig bestätigen.
Welche Annahmen musst du bei „zwanzig Kennzahlen werden gleichzeitig auf Unterschiede geprüft“ für Fehlerkontrolle bei multiplen Hypothesen prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Zwanzig vorab definierte Hypothesen; ihre Abhängigkeit und fachliche Familie werden dokumentiert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Familiengrenze vor Ergebnisblick begründen
Abhängigkeit der Tests untersuchen
Exploration und Konfirmation trennen
Bei datengetriebener Hypothesenbildung unabhängige Bestätigung vorsehen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Familiengrenze vor Ergebnisblick begründen; K2: Abhängigkeit der Tests untersuchen; K3: Exploration und Konfirmation trennen; K4: Bei datengetriebener Hypothesenbildung unabhängige Bestätigung vorsehen.
Entscheide zwischen Bonferroni, Holm und FDR für Sicherheits-Guardrails versus exploratives Screening.
Annahmen: Zwanzig vorab definierte Hypothesen; ihre Abhängigkeit und fachliche Familie werden dokumentiert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Strenge FWER-Kontrolle für folgenschwere konfirmatorische Familie erwägen
Holm als schrittweise FWER-Option erklären
FDR für viele explorative Entdeckungen mit akzeptabler Fehlerquote einordnen
Wahl und Familie vor Ergebnissichtung dokumentieren
Schwache Antwort: FDR als Wahrscheinlichkeit interpretieren, dass jeder einzelne Fund falsch ist.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Strenge FWER-Kontrolle für folgenschwere konfirmatorische Familie erwägen; K2: Holm als schrittweise FWER-Option erklären; K3: FDR für viele explorative Entdeckungen mit akzeptabler Fehlerquote einordnen; K4: Wahl und Familie vor Ergebnissichtung dokumentieren.
Entwirf für „zwanzig Kennzahlen werden gleichzeitig auf Unterschiede geprüft“ eine Evaluation von Fehlerkontrolle bei multiplen Hypothesen, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Zwanzig vorab definierte Hypothesen; ihre Abhängigkeit und fachliche Familie werden dokumentiert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Primäre, sekundäre und explorative Endpunkte trennen
Adjustierte Entscheidungen samt Roh-Effekten und Intervallen berichten
Abhängigkeit und Sensitivität der Korrektur prüfen
Bestätigungspflicht für explorative Funde definieren
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Primäre, sekundäre und explorative Endpunkte trennen; K2: Adjustierte Entscheidungen samt Roh-Effekten und Intervallen berichten; K3: Abhängigkeit und Sensitivität der Korrektur prüfen; K4: Bestätigungspflicht für explorative Funde definieren.
Nach Einführung im Szenario „zwanzig Kennzahlen werden gleichzeitig auf Unterschiede geprüft“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Zwanzig vorab definierte Hypothesen; ihre Abhängigkeit und fachliche Familie werden dokumentiert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Wachsende Zahl von Kennzahlen und Analysen inventarisieren
Ungeplante Testfamilien und selektives Reporting alarmieren
Bei Protokollbruch Ergebnisse als explorativ zurückstufen
Governance für neue Endpunkte und Replikation etablieren
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Wachsende Zahl von Kennzahlen und Analysen inventarisieren; K2: Ungeplante Testfamilien und selektives Reporting alarmieren; K3: Bei Protokollbruch Ergebnisse als explorativ zurückstufen; K4: Governance für neue Endpunkte und Replikation etablieren.
Statistik · Multiple TestsStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was Fehlerkontrolle bei multiplen Hypothesen im Szenario „zwanzig Kennzahlen werden gleichzeitig auf Unterschiede geprüft“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Zwanzig vorab definierte Hypothesen; ihre Abhängigkeit und fachliche Familie werden dokumentiert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Warum viele Chancen mehr Zufallstreffer erzeugen erklären
FWER und FDR ohne Gleichsetzung abgrenzen
Effekte trotz Korrektur sichtbar lassen
Keine Korrektur als Ersatz für gute Hypothesen und Messung darstellen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Warum viele Chancen mehr Zufallstreffer erzeugen erklären; K2: FWER und FDR ohne Gleichsetzung abgrenzen; K3: Effekte trotz Korrektur sichtbar lassen; K4: Keine Korrektur als Ersatz für gute Hypothesen und Messung darstellen.
Statistik · Multiple TestsMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „zwanzig Kennzahlen werden gleichzeitig auf Unterschiede geprüft“: beginne mit Ziel und Einheit, begründe Fehlerkontrolle bei multiplen Hypothesen, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Zwanzig vorab definierte Hypothesen; ihre Abhängigkeit und fachliche Familie werden dokumentiert.
Strenge FWER-Kontrolle für folgenschwere konfirmatorische Familie erwägen
Primäre, sekundäre und explorative Endpunkte trennen
Wachsende Zahl von Kennzahlen und Analysen inventarisieren
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Testfamilie anhand gemeinsamer Entscheidung definieren; K2: Familiengrenze vor Ergebnisblick begründen; K3: Strenge FWER-Kontrolle für folgenschwere konfirmatorische Familie erwägen; K4: Primäre, sekundäre und explorative Endpunkte trennen; K5: Wachsende Zahl von Kennzahlen und Analysen inventarisieren.
Statistik · Lineare RegressionKonzept erklärenmittel
Erkläre im Kontext „ein kontinuierliches Ergebnis wird mit mehreren Merkmalen beschrieben“ das Konzept lineares Modell und Koeffizienteninterpretation in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Lineares Arbeitsmodell; Beobachtungseinheit und Zeitpunkt sind definiert; keine automatische Kausalinterpretation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Bedingten Erwartungswert als lineare Funktion der Merkmale formulieren
Koeffizient als bedingte Assoziation bei konstant gehaltenen übrigen Merkmalen erklären
Residuum von unbeobachtetem kausalem Effekt unterscheiden
Aussageziel Vorhersage, Beschreibung oder Inferenz vor Interpretation klären
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Ein hohes R² beweist ein korrektes Modell und einen kausalen Zusammenhang.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Bedingten Erwartungswert als lineare Funktion der Merkmale formulieren; K2: Koeffizient als bedingte Assoziation bei konstant gehaltenen übrigen Merkmalen erklären; K3: Residuum von unbeobachtetem kausalem Effekt unterscheiden; K4: Aussageziel Vorhersage, Beschreibung oder Inferenz vor Interpretation klären.
Modell ŷ=5+2x−3z. Berechne ŷ für x=4,z=1 und interpretiere den x-Koeffizienten ohne Kausalbehauptung.
Annahmen: Lineares Arbeitsmodell; Beobachtungseinheit und Zeitpunkt sind definiert; keine automatische Kausalinterpretation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
5+2·4−3·1=10 berechnen
Änderung von x um eins mit +2 im vorhergesagten Ergebnis verbinden
z dabei konstant halten
Koeffizient als modellbedingte Assoziation und nicht automatisch kausalen Effekt bezeichnen
Schwache Antwort: Sagen, x verursache sicher zwei Einheiten mehr, oder z beim Vergleich ignorieren.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: 5+2·4−3·1=10 berechnen; K2: Änderung von x um eins mit +2 im vorhergesagten Ergebnis verbinden; K3: z dabei konstant halten; K4: Koeffizient als modellbedingte Assoziation und nicht automatisch kausalen Effekt bezeichnen.
Debugge für „ein kontinuierliches Ergebnis wird mit mehreren Merkmalen beschrieben“ die Aussage: „Ein hohes R² beweist ein korrektes Modell und einen kausalen Zusammenhang.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Lineares Arbeitsmodell; Beobachtungseinheit und Zeitpunkt sind definiert; keine automatische Kausalinterpretation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
R² als erklärte Stichprobenvariation einordnen
Fehlspezifikation und Out-of-sample-Leistung separat prüfen
Confounding und Design für Kausalität verlangen
Residualdiagnostik und entscheidungsnahe Evaluation ergänzen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Ein hohes R² beweist ein korrektes Modell und einen kausalen Zusammenhang.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: R² als erklärte Stichprobenvariation einordnen; K2: Fehlspezifikation und Out-of-sample-Leistung separat prüfen; K3: Confounding und Design für Kausalität verlangen; K4: Residualdiagnostik und entscheidungsnahe Evaluation ergänzen.
Statistik · Lineare RegressionAnnahmen prüfenschwer
Welche Annahmen musst du bei „ein kontinuierliches Ergebnis wird mit mehreren Merkmalen beschrieben“ für lineares Modell und Koeffizienteninterpretation prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Lineares Arbeitsmodell; Beobachtungseinheit und Zeitpunkt sind definiert; keine automatische Kausalinterpretation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Linearität und Spezifikation gegen Restmuster prüfen
Homoskedastizität und Einfluss einzelner Punkte untersuchen
Bei Verletzung Transformation, robuste Unsicherheit oder alternatives Modell erwägen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Linearität und Spezifikation gegen Restmuster prüfen; K2: Unabhängigkeit beziehungsweise Clusterstruktur bestimmen; K3: Homoskedastizität und Einfluss einzelner Punkte untersuchen; K4: Bei Verletzung Transformation, robuste Unsicherheit oder alternatives Modell erwägen.
Vergleiche OLS, regularisierte lineare Regression und ein flexibles nichtlineares Modell für das kontinuierliche Ergebnis.
Annahmen: Lineares Arbeitsmodell; Beobachtungseinheit und Zeitpunkt sind definiert; keine automatische Kausalinterpretation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
OLS als transparente Baseline nutzen
Regularisierung bei vielen korrelierten Merkmalen erwägen
Flexibilität nur bei validiertem Nichtlinearitätsgewinn rechtfertigen
Interpretation, Shift, Latenz und Wartung in Wahl einbeziehen
Schwache Antwort: Das komplexeste Modell allein wegen Training-R² wählen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: OLS als transparente Baseline nutzen; K2: Regularisierung bei vielen korrelierten Merkmalen erwägen; K3: Flexibilität nur bei validiertem Nichtlinearitätsgewinn rechtfertigen; K4: Interpretation, Shift, Latenz und Wartung in Wahl einbeziehen.
Statistik · Lineare RegressionEvaluationsdesignschwer
Entwirf für „ein kontinuierliches Ergebnis wird mit mehreren Merkmalen beschrieben“ eine Evaluation von lineares Modell und Koeffizienteninterpretation, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Lineares Arbeitsmodell; Beobachtungseinheit und Zeitpunkt sind definiert; keine automatische Kausalinterpretation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Zeit- oder gruppengerechten Split an Einsatz anpassen
MAE/RMSE und Residualmuster gemeinsam prüfen
Unsicherheit und relevante Subgruppen analysieren
Baseline und Akzeptanzschwelle vor Modellvergleich festlegen
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Zeit- oder gruppengerechten Split an Einsatz anpassen; K2: MAE/RMSE und Residualmuster gemeinsam prüfen; K3: Unsicherheit und relevante Subgruppen analysieren; K4: Baseline und Akzeptanzschwelle vor Modellvergleich festlegen.
Statistik · Lineare RegressionBetriebsdiagnoseschwer
Nach Einführung im Szenario „ein kontinuierliches Ergebnis wird mit mehreren Merkmalen beschrieben“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Lineares Arbeitsmodell; Beobachtungseinheit und Zeitpunkt sind definiert; keine automatische Kausalinterpretation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Fehlerverteilung, Featurebereich und Residuen überwachen
Extrapolation und einflussreiche neue Punkte alarmieren
Bei Out-of-range-Eingaben Baseline oder Abstention verwenden
Rekalibrierung oder Redesign nach Ursachenprüfung validieren
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Fehlerverteilung, Featurebereich und Residuen überwachen; K2: Extrapolation und einflussreiche neue Punkte alarmieren; K3: Bei Out-of-range-Eingaben Baseline oder Abstention verwenden; K4: Rekalibrierung oder Redesign nach Ursachenprüfung validieren.
Statistik · Lineare RegressionStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was lineares Modell und Koeffizienteninterpretation im Szenario „ein kontinuierliches Ergebnis wird mit mehreren Merkmalen beschrieben“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Lineares Arbeitsmodell; Beobachtungseinheit und Zeitpunkt sind definiert; keine automatische Kausalinterpretation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Geradenannahme und bedingten Vergleich erklären
Koeffizient mit Einheit und konstant gehaltenen Variablen formulieren
Vorhersagefehler und Extrapolationsgrenze zeigen
Kausalität ausdrücklich offenlassen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Geradenannahme und bedingten Vergleich erklären; K2: Koeffizient mit Einheit und konstant gehaltenen Variablen formulieren; K3: Vorhersagefehler und Extrapolationsgrenze zeigen; K4: Kausalität ausdrücklich offenlassen.
Statistik · Lineare RegressionMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „ein kontinuierliches Ergebnis wird mit mehreren Merkmalen beschrieben“: beginne mit Ziel und Einheit, begründe lineares Modell und Koeffizienteninterpretation, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Lineares Arbeitsmodell; Beobachtungseinheit und Zeitpunkt sind definiert; keine automatische Kausalinterpretation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Bedingten Erwartungswert als lineare Funktion der Merkmale formulieren
Linearität und Spezifikation gegen Restmuster prüfen
OLS als transparente Baseline nutzen
Zeit- oder gruppengerechten Split an Einsatz anpassen
Fehlerverteilung, Featurebereich und Residuen überwachen
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Bedingten Erwartungswert als lineare Funktion der Merkmale formulieren; K2: Linearität und Spezifikation gegen Restmuster prüfen; K3: OLS als transparente Baseline nutzen; K4: Zeit- oder gruppengerechten Split an Einsatz anpassen; K5: Fehlerverteilung, Featurebereich und Residuen überwachen.
Statistik · Logistische RegressionKonzept erklärenmittel
Erkläre im Kontext „eine binäre Wahrscheinlichkeit soll geschätzt und später geschwellenbasiert genutzt werden“ das Konzept logistische Regression, Odds und Regularisierung in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Binäres Ziel; Merkmale sind zum Entscheidungszeitpunkt verfügbar; Einsatz verlangt Wahrscheinlichkeiten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Linearen Prädiktor auf Log-Odds statt direkt auf Wahrscheinlichkeit modellieren
Koeffizienten als Änderung der Log-Odds beziehungsweise Odds Ratio erklären
Wahrscheinlichkeit und harte Klasse trennen
Regularisierung und Schwelle als getrennte Entscheidungen behandeln
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Ein positiver Koeffizient erhöht die Wahrscheinlichkeit immer um denselben Prozentpunktbetrag.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Linearen Prädiktor auf Log-Odds statt direkt auf Wahrscheinlichkeit modellieren; K2: Koeffizienten als Änderung der Log-Odds beziehungsweise Odds Ratio erklären; K3: Wahrscheinlichkeit und harte Klasse trennen; K4: Regularisierung und Schwelle als getrennte Entscheidungen behandeln.
Ein Koeffizient β=ln(2) gehört zu x. Interpretiere ihn als Odds Ratio und berechne aus Ausgangswahrscheinlichkeit 0,20 die neue Wahrscheinlichkeit nach +1 in x, wenn sonst alles gleich bleibt.
Annahmen: Binäres Ziel; Merkmale sind zum Entscheidungszeitpunkt verfügbar; Einsatz verlangt Wahrscheinlichkeiten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Odds 0,20/0,80=0,25 berechnen
Odds mit exp(β)=2 auf 0,50 verdoppeln
Neue Wahrscheinlichkeit 0,50/(1+0,50)=1/3≈33,3% berechnen
Nicht fälschlich eine Verdopplung von 20% auf 40% behaupten
Schwache Antwort: Odds Ratio 2 als plus 200 Prozentpunkte oder als sichere Kausalwirkung interpretieren.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Odds 0,20/0,80=0,25 berechnen; K2: Odds mit exp(β)=2 auf 0,50 verdoppeln; K3: Neue Wahrscheinlichkeit 0,50/(1+0,50)=1/3≈33,3% berechnen; K4: Nicht fälschlich eine Verdopplung von 20% auf 40% behaupten.
Statistik · Logistische RegressionDebug a claimmittel
Debugge für „eine binäre Wahrscheinlichkeit soll geschätzt und später geschwellenbasiert genutzt werden“ die Aussage: „Ein positiver Koeffizient erhöht die Wahrscheinlichkeit immer um denselben Prozentpunktbetrag.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Binäres Ziel; Merkmale sind zum Entscheidungszeitpunkt verfügbar; Einsatz verlangt Wahrscheinlichkeiten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Konstante Änderung auf Log-Odds-Skala erklären
Nichtlineare Rücktransformation zur Wahrscheinlichkeit zeigen
Ausgangswahrscheinlichkeit als relevant benennen
Marginale Effekte für konkrete Werte oder Bereiche berichten
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Ein positiver Koeffizient erhöht die Wahrscheinlichkeit immer um denselben Prozentpunktbetrag.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Konstante Änderung auf Log-Odds-Skala erklären; K2: Nichtlineare Rücktransformation zur Wahrscheinlichkeit zeigen; K3: Ausgangswahrscheinlichkeit als relevant benennen; K4: Marginale Effekte für konkrete Werte oder Bereiche berichten.
Statistik · Logistische RegressionAnnahmen prüfenschwer
Welche Annahmen musst du bei „eine binäre Wahrscheinlichkeit soll geschätzt und später geschwellenbasiert genutzt werden“ für logistische Regression, Odds und Regularisierung prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Binäres Ziel; Merkmale sind zum Entscheidungszeitpunkt verfügbar; Einsatz verlangt Wahrscheinlichkeiten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Lineare Beziehung kontinuierlicher Merkmale zu Log-Odds prüfen
Separation, seltene Ereignisse und Multikollinearität untersuchen
Sampling- und Basisratenverschiebung berücksichtigen
Bei Fehlspezifikation Splines, Interaktionen oder alternative kalibrierte Modelle prüfen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Lineare Beziehung kontinuierlicher Merkmale zu Log-Odds prüfen; K2: Separation, seltene Ereignisse und Multikollinearität untersuchen; K3: Sampling- und Basisratenverschiebung berücksichtigen; K4: Bei Fehlspezifikation Splines, Interaktionen oder alternative kalibrierte Modelle prüfen.
Statistik · Logistische RegressionVergleichenschwer
Wähle zwischen unregularisierter Logit, L1/L2-Logit und Baumensemble für das binäre Ziel.
Annahmen: Binäres Ziel; Merkmale sind zum Entscheidungszeitpunkt verfügbar; Einsatz verlangt Wahrscheinlichkeiten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Unregularisierte Logit als transparente Referenz einordnen
L1/L2 bei Instabilität oder vielen Merkmalen validieren
Ensemble nur bei ausreichendem nichtlinearem Gewinn rechtfertigen
Kalibrierung, Schwellenkosten und Wartung in Vergleich aufnehmen
Schwache Antwort: Modell anhand Accuracy bei Standardschwelle 0,5 auswählen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Unregularisierte Logit als transparente Referenz einordnen; K2: L1/L2 bei Instabilität oder vielen Merkmalen validieren; K3: Ensemble nur bei ausreichendem nichtlinearem Gewinn rechtfertigen; K4: Kalibrierung, Schwellenkosten und Wartung in Vergleich aufnehmen.
Statistik · Logistische RegressionEvaluationsdesignschwer
Entwirf für „eine binäre Wahrscheinlichkeit soll geschätzt und später geschwellenbasiert genutzt werden“ eine Evaluation von logistische Regression, Odds und Regularisierung, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Binäres Ziel; Merkmale sind zum Entscheidungszeitpunkt verfügbar; Einsatz verlangt Wahrscheinlichkeiten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Wahrscheinlichkeitskalibrierung und Ranking getrennt prüfen
Schwelle aus Fehlerkosten und Kapazität ableiten
Zeit-/Gruppen-Split passend zum Einsatz wählen
Subgruppenfehler und Unsicherheit an Akzeptanzgrenzen binden
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Wahrscheinlichkeitskalibrierung und Ranking getrennt prüfen; K2: Schwelle aus Fehlerkosten und Kapazität ableiten; K3: Zeit-/Gruppen-Split passend zum Einsatz wählen; K4: Subgruppenfehler und Unsicherheit an Akzeptanzgrenzen binden.
Statistik · Logistische RegressionBetriebsdiagnoseschwer
Nach Einführung im Szenario „eine binäre Wahrscheinlichkeit soll geschätzt und später geschwellenbasiert genutzt werden“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Binäres Ziel; Merkmale sind zum Entscheidungszeitpunkt verfügbar; Einsatz verlangt Wahrscheinlichkeiten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Basisrate, Kalibrierung und Schwellenvolumen beobachten
Separation durch neue Kategorien oder Featuredrift alarmieren
Bei Kalibrierungsbruch manuelle oder konservative Policy nutzen
Rekalibrieren, neu fitten oder Modell zurückrollen nach validiertem Vergleich
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Basisrate, Kalibrierung und Schwellenvolumen beobachten; K2: Separation durch neue Kategorien oder Featuredrift alarmieren; K3: Bei Kalibrierungsbruch manuelle oder konservative Policy nutzen; K4: Rekalibrieren, neu fitten oder Modell zurückrollen nach validiertem Vergleich.
Statistik · Logistische RegressionStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was logistische Regression, Odds und Regularisierung im Szenario „eine binäre Wahrscheinlichkeit soll geschätzt und später geschwellenbasiert genutzt werden“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Binäres Ziel; Merkmale sind zum Entscheidungszeitpunkt verfügbar; Einsatz verlangt Wahrscheinlichkeiten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Odds von Wahrscheinlichkeit verständlich unterscheiden
Wahrscheinlichkeitsänderung als abhängig vom Ausgangsniveau erklären
Modellscore von Entscheidungsschwelle trennen
Keine Kausalwirkung aus Koeffizienten ableiten
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Odds von Wahrscheinlichkeit verständlich unterscheiden; K2: Wahrscheinlichkeitsänderung als abhängig vom Ausgangsniveau erklären; K3: Modellscore von Entscheidungsschwelle trennen; K4: Keine Kausalwirkung aus Koeffizienten ableiten.
Statistik · Logistische RegressionMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „eine binäre Wahrscheinlichkeit soll geschätzt und später geschwellenbasiert genutzt werden“: beginne mit Ziel und Einheit, begründe logistische Regression, Odds und Regularisierung, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Binäres Ziel; Merkmale sind zum Entscheidungszeitpunkt verfügbar; Einsatz verlangt Wahrscheinlichkeiten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Linearen Prädiktor auf Log-Odds statt direkt auf Wahrscheinlichkeit modellieren
Lineare Beziehung kontinuierlicher Merkmale zu Log-Odds prüfen
Unregularisierte Logit als transparente Referenz einordnen
Wahrscheinlichkeitskalibrierung und Ranking getrennt prüfen
Basisrate, Kalibrierung und Schwellenvolumen beobachten
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Linearen Prädiktor auf Log-Odds statt direkt auf Wahrscheinlichkeit modellieren; K2: Lineare Beziehung kontinuierlicher Merkmale zu Log-Odds prüfen; K3: Unregularisierte Logit als transparente Referenz einordnen; K4: Wahrscheinlichkeitskalibrierung und Ranking getrennt prüfen; K5: Basisrate, Kalibrierung und Schwellenvolumen beobachten.
Statistik · Diagnostik und RobustheitKonzept erklärenmittel
Erkläre im Kontext „wenige extreme Beobachtungen und ein Trichtermuster prägen ein Regressionsmodell“ das Konzept Residualdiagnostik und robuste Analyse in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Beobachtungen sind nicht vorschnell als Fehler löschbar; fachlicher Entstehungsprozess wird geprüft.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Residual als beobachtet minus vorhergesagt definieren
Muster statt nur mittlere Fehlerhöhe untersuchen
Leverage und Einfluss von bloß großem Residuum unterscheiden
Robuste Verfahren als andere Zielgewichtung, nicht als automatische Datenreparatur behandeln
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Alle Punkte außerhalb von drei Standardabweichungen sind Datenfehler und müssen entfernt werden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Residual als beobachtet minus vorhergesagt definieren; K2: Muster statt nur mittlere Fehlerhöhe untersuchen; K3: Leverage und Einfluss von bloß großem Residuum unterscheiden; K4: Robuste Verfahren als andere Zielgewichtung, nicht als automatische Datenreparatur behandeln.
Statistik · Diagnostik und RobustheitRechnenmittel
Vier Residuen sind −2, −1, 1 und 6. Berechne mittleren absoluten Fehler und RMSE und erkläre den Unterschied.
Annahmen: Beobachtungen sind nicht vorschnell als Fehler löschbar; fachlicher Entstehungsprozess wird geprüft.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
MAE=(2+1+1+6)/4=2,5 berechnen
Quadratmittel (4+1+1+36)/4=10,5 bilden
RMSE=√10,5≈3,24 berechnen
Größere Empfindlichkeit des RMSE gegenüber dem Residuum 6 erklären
Schwache Antwort: MAE und RMSE gleichsetzen oder das große Residuum ohne Ursachenprüfung löschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: MAE=(2+1+1+6)/4=2,5 berechnen; K2: Quadratmittel (4+1+1+36)/4=10,5 bilden; K3: RMSE=√10,5≈3,24 berechnen; K4: Größere Empfindlichkeit des RMSE gegenüber dem Residuum 6 erklären.
Statistik · Diagnostik und RobustheitDebug a claimmittel
Debugge für „wenige extreme Beobachtungen und ein Trichtermuster prägen ein Regressionsmodell“ die Aussage: „Alle Punkte außerhalb von drei Standardabweichungen sind Datenfehler und müssen entfernt werden.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Beobachtungen sind nicht vorschnell als Fehler löschbar; fachlicher Entstehungsprozess wird geprüft.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Statistische Auffälligkeit von Messfehler unterscheiden
Datenentstehung und fachliche Plausibilität prüfen
Einflussanalyse und Sensitivität mit/ohne Punkt durchführen
Entfernung nur regelbasiert und dokumentiert, sonst robust modellieren
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Alle Punkte außerhalb von drei Standardabweichungen sind Datenfehler und müssen entfernt werden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Statistische Auffälligkeit von Messfehler unterscheiden; K2: Datenentstehung und fachliche Plausibilität prüfen; K3: Einflussanalyse und Sensitivität mit/ohne Punkt durchführen; K4: Entfernung nur regelbasiert und dokumentiert, sonst robust modellieren.
Statistik · Diagnostik und RobustheitAnnahmen prüfenschwer
Welche Annahmen musst du bei „wenige extreme Beobachtungen und ein Trichtermuster prägen ein Regressionsmodell“ für Residualdiagnostik und robuste Analyse prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Beobachtungen sind nicht vorschnell als Fehler löschbar; fachlicher Entstehungsprozess wird geprüft.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Messfehler, echte Extremfälle und neue Population trennen
Varianzstruktur und funktionale Form diagnostizieren
Einfluss einzelner Punkte mit und ohne Fall vergleichen
Robuste SE, Transformation, gewichtetes oder anderes Modell je Ursache wählen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Messfehler, echte Extremfälle und neue Population trennen; K2: Varianzstruktur und funktionale Form diagnostizieren; K3: Einfluss einzelner Punkte mit und ohne Fall vergleichen; K4: Robuste SE, Transformation, gewichtetes oder anderes Modell je Ursache wählen.
Statistik · Diagnostik und RobustheitVergleichenschwer
Vergleiche OLS mit robusten Standardfehlern, robuste Regression und Zieltransformation für das Trichtermuster.
Annahmen: Beobachtungen sind nicht vorschnell als Fehler löschbar; fachlicher Entstehungsprozess wird geprüft.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Robuste SE als Inferenzkorrektur, nicht Fitänderung erklären
Robuste Regression bei kontaminierten Residuen erwägen
Transformation bei plausibler Varianz-/Skalenstruktur prüfen
Wahl über Aussageziel, Diagnose und out-of-sample-Verhalten treffen
Schwache Antwort: Heteroskedastizität allein durch mehr Daten als gelöst ansehen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Robuste SE als Inferenzkorrektur, nicht Fitänderung erklären; K2: Robuste Regression bei kontaminierten Residuen erwägen; K3: Transformation bei plausibler Varianz-/Skalenstruktur prüfen; K4: Wahl über Aussageziel, Diagnose und out-of-sample-Verhalten treffen.
Statistik · Diagnostik und RobustheitEvaluationsdesignschwer
Entwirf für „wenige extreme Beobachtungen und ein Trichtermuster prägen ein Regressionsmodell“ eine Evaluation von Residualdiagnostik und robuste Analyse, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Beobachtungen sind nicht vorschnell als Fehler löschbar; fachlicher Entstehungsprozess wird geprüft.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Residualplots und Fehler nach Vorhersagebereich prüfen
MAE, RMSE und Quantilfehler gemeinsam berichten
Sensitivität gegenüber einflussreichen Punkten analysieren
Stop-Regel bei systematischem Fehler in relevanten Bereichen definieren
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Residualplots und Fehler nach Vorhersagebereich prüfen; K2: MAE, RMSE und Quantilfehler gemeinsam berichten; K3: Sensitivität gegenüber einflussreichen Punkten analysieren; K4: Stop-Regel bei systematischem Fehler in relevanten Bereichen definieren.
Statistik · Diagnostik und RobustheitBetriebsdiagnoseschwer
Nach Einführung im Szenario „wenige extreme Beobachtungen und ein Trichtermuster prägen ein Regressionsmodell“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Beobachtungen sind nicht vorschnell als Fehler löschbar; fachlicher Entstehungsprozess wird geprüft.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Residualverteilung und Featurebereich über Zeit beobachten
Neue Extremcluster und Varianzanstieg alarmieren
Bei Instabilität konservative Bandbreite oder robuste Baseline nutzen
Datenursache beheben und Modellvergleich erneut durchführen
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Residualverteilung und Featurebereich über Zeit beobachten; K2: Neue Extremcluster und Varianzanstieg alarmieren; K3: Bei Instabilität konservative Bandbreite oder robuste Baseline nutzen; K4: Datenursache beheben und Modellvergleich erneut durchführen.
Statistik · Diagnostik und RobustheitStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was Residualdiagnostik und robuste Analyse im Szenario „wenige extreme Beobachtungen und ein Trichtermuster prägen ein Regressionsmodell“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Beobachtungen sind nicht vorschnell als Fehler löschbar; fachlicher Entstehungsprozess wird geprüft.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Warum Durchschnittsmetrik Muster verbergen kann erklären
Ausreißer als Untersuchungsanlass statt Müll bezeichnen
Unterschiedliche Fehlermaße mit Fehlerkosten verbinden
Empfehlung nach Sensitivitätsanalyse formulieren
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Warum Durchschnittsmetrik Muster verbergen kann erklären; K2: Ausreißer als Untersuchungsanlass statt Müll bezeichnen; K3: Unterschiedliche Fehlermaße mit Fehlerkosten verbinden; K4: Empfehlung nach Sensitivitätsanalyse formulieren.
Statistik · Diagnostik und RobustheitMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „wenige extreme Beobachtungen und ein Trichtermuster prägen ein Regressionsmodell“: beginne mit Ziel und Einheit, begründe Residualdiagnostik und robuste Analyse, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Beobachtungen sind nicht vorschnell als Fehler löschbar; fachlicher Entstehungsprozess wird geprüft.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Residual als beobachtet minus vorhergesagt definieren
Messfehler, echte Extremfälle und neue Population trennen
Robuste SE als Inferenzkorrektur, nicht Fitänderung erklären
Residualplots und Fehler nach Vorhersagebereich prüfen
Residualverteilung und Featurebereich über Zeit beobachten
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Residual als beobachtet minus vorhergesagt definieren; K2: Messfehler, echte Extremfälle und neue Population trennen; K3: Robuste SE als Inferenzkorrektur, nicht Fitänderung erklären; K4: Residualplots und Fehler nach Vorhersagebereich prüfen; K5: Residualverteilung und Featurebereich über Zeit beobachten.
Statistik · Confounding und KausalitätKonzept erklärenmittel
Erkläre im Kontext „eine beobachtete Nutzung ist mit einem besseren Ergebnis assoziiert“ das Konzept Confounding und kausale Identifikation in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Beobachtungsdaten; Exposition ist nicht randomisiert; zeitliche Reihenfolge und Messung müssen geklärt werden.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Assoziation von kausalem Effekt unterscheiden
Confounder als gemeinsame Ursache von Exposition und Ergebnis erklären
Kausalen Zielparameter und hypothetischen Vergleich definieren
Identifikation aus Design und Annahmen statt Modellkomplexität ableiten
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Wenn ein flexibles Modell alle verfügbaren Variablen kontrolliert, ist der verbleibende Koeffizient kausal.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Assoziation von kausalem Effekt unterscheiden; K2: Confounder als gemeinsame Ursache von Exposition und Ergebnis erklären; K3: Kausalen Zielparameter und hypothetischen Vergleich definieren; K4: Identifikation aus Design und Annahmen statt Modellkomplexität ableiten.
Statistik · Confounding und KausalitätRechnenmittel
In Daten beträgt Ergebnisrate bei Nutzung 70% und ohne Nutzung 50%. Berechne die rohe Differenz und erkläre, warum 20 Prozentpunkte noch kein kausaler Effekt sind.
Annahmen: Beobachtungsdaten; Exposition ist nicht randomisiert; zeitliche Reihenfolge und Messung müssen geklärt werden.
Design, Adjustierungsset und Sensitivitätsanalyse vor Kausalaussage verlangen
Schwache Antwort: 20 Prozentpunkte als sicheren Behandlungseffekt berichten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Rohe Differenz 70%−50%=20 Prozentpunkte berechnen; K2: Selbstselektion als möglichen Confounder nennen; K3: Kontrafaktischen Vergleich derselben Zielpopulation erklären; K4: Design, Adjustierungsset und Sensitivitätsanalyse vor Kausalaussage verlangen.
Statistik · Confounding und KausalitätDebug a claimmittel
Debugge für „eine beobachtete Nutzung ist mit einem besseren Ergebnis assoziiert“ die Aussage: „Wenn ein flexibles Modell alle verfügbaren Variablen kontrolliert, ist der verbleibende Koeffizient kausal.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Beobachtungsdaten; Exposition ist nicht randomisiert; zeitliche Reihenfolge und Messung müssen geklärt werden.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Kausalität nicht aus Vorhersagefit ableiten
Vorbehandlungs-Confounder von Collidern und Mediatoren trennen
Nicht gemessene Confounder als Grenze nennen
DAG/fachliches Design und Sensitivität als Reparatur einsetzen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Wenn ein flexibles Modell alle verfügbaren Variablen kontrolliert, ist der verbleibende Koeffizient kausal.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Kausalität nicht aus Vorhersagefit ableiten; K2: Vorbehandlungs-Confounder von Collidern und Mediatoren trennen; K3: Nicht gemessene Confounder als Grenze nennen; K4: DAG/fachliches Design und Sensitivität als Reparatur einsetzen.
Statistik · Confounding und KausalitätAnnahmen prüfenschwer
Welche Annahmen musst du bei „eine beobachtete Nutzung ist mit einem besseren Ergebnis assoziiert“ für Confounding und kausale Identifikation prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Beobachtungsdaten; Exposition ist nicht randomisiert; zeitliche Reihenfolge und Messung müssen geklärt werden.
Post-Treatment-Variablen und Collider nicht blind adjustieren
Positivität und Messqualität prüfen
Bei nicht plausibler Austauschbarkeit Kausalaussage begrenzen oder Experiment/Quasi-Design suchen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Relevante Vorbehandlungs-Confounder fachlich begründen; K2: Post-Treatment-Variablen und Collider nicht blind adjustieren; K3: Positivität und Messqualität prüfen; K4: Bei nicht plausibler Austauschbarkeit Kausalaussage begrenzen oder Experiment/Quasi-Design suchen.
Statistik · Confounding und KausalitätVergleichenschwer
Vergleiche Randomisierung, Adjustierung in Beobachtungsdaten und Difference-in-Differences für die Nutzungsfrage.
Annahmen: Beobachtungsdaten; Exposition ist nicht randomisiert; zeitliche Reihenfolge und Messung müssen geklärt werden.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Randomisierung bei Machbarkeit als starke Identifikationsstrategie einordnen
Adjustierung nur unter Austauschbarkeits- und Positivitätsannahmen nutzen
Difference-in-Differences an Paralleltrend und klare Intervention binden
Wahl an Ethik, Machbarkeit, Datenzeit und Zielparameter knüpfen
Schwache Antwort: Eine Methode allein wegen höherer Modellkomplexität bevorzugen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Randomisierung bei Machbarkeit als starke Identifikationsstrategie einordnen; K2: Adjustierung nur unter Austauschbarkeits- und Positivitätsannahmen nutzen; K3: Difference-in-Differences an Paralleltrend und klare Intervention binden; K4: Wahl an Ethik, Machbarkeit, Datenzeit und Zielparameter knüpfen.
Statistik · Confounding und KausalitätEvaluationsdesignschwer
Entwirf für „eine beobachtete Nutzung ist mit einem besseren Ergebnis assoziiert“ eine Evaluation von Confounding und kausale Identifikation, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Beobachtungsdaten; Exposition ist nicht randomisiert; zeitliche Reihenfolge und Messung müssen geklärt werden.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Balance beziehungsweise Pretrends je Design prüfen
Effekt mit Intervall und Sensitivitätsanalyse berichten
Negative Controls oder Placebotests erwägen
Kausalaussage bei nicht tragfähiger Identifikation ausdrücklich stoppen
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Balance beziehungsweise Pretrends je Design prüfen; K2: Effekt mit Intervall und Sensitivitätsanalyse berichten; K3: Negative Controls oder Placebotests erwägen; K4: Kausalaussage bei nicht tragfähiger Identifikation ausdrücklich stoppen.
Statistik · Confounding und KausalitätBetriebsdiagnoseschwer
Nach Einführung im Szenario „eine beobachtete Nutzung ist mit einem besseren Ergebnis assoziiert“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Beobachtungsdaten; Exposition ist nicht randomisiert; zeitliche Reihenfolge und Messung müssen geklärt werden.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Änderungen in Zuweisungsmechanismus und Population beobachten
Verletzung von Positivität oder Pretrends alarmieren
Bei Designbruch nur Assoziation als Fallback berichten
Neue Identifikationsstrategie vor weiterer Wirkungsbehauptung validieren
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Änderungen in Zuweisungsmechanismus und Population beobachten; K2: Verletzung von Positivität oder Pretrends alarmieren; K3: Bei Designbruch nur Assoziation als Fallback berichten; K4: Neue Identifikationsstrategie vor weiterer Wirkungsbehauptung validieren.
Statistik · Confounding und KausalitätStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was Confounding und kausale Identifikation im Szenario „eine beobachtete Nutzung ist mit einem besseren Ergebnis assoziiert“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Beobachtungsdaten; Exposition ist nicht randomisiert; zeitliche Reihenfolge und Messung müssen geklärt werden.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Beobachteten Unterschied und hypothetischen Effekt trennen
Confounding mit einem einfachen gemeinsamen-Ursache-Beispiel erklären
Unbeobachtbare Annahmen offen benennen
Keine Handlungsempfehlung als kausal verkaufen, wenn Identifikation fehlt
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Beobachteten Unterschied und hypothetischen Effekt trennen; K2: Confounding mit einem einfachen gemeinsamen-Ursache-Beispiel erklären; K3: Unbeobachtbare Annahmen offen benennen; K4: Keine Handlungsempfehlung als kausal verkaufen, wenn Identifikation fehlt.
Statistik · Confounding und KausalitätMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „eine beobachtete Nutzung ist mit einem besseren Ergebnis assoziiert“: beginne mit Ziel und Einheit, begründe Confounding und kausale Identifikation, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Beobachtungsdaten; Exposition ist nicht randomisiert; zeitliche Reihenfolge und Messung müssen geklärt werden.
Randomisierung bei Machbarkeit als starke Identifikationsstrategie einordnen
Balance beziehungsweise Pretrends je Design prüfen
Änderungen in Zuweisungsmechanismus und Population beobachten
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Assoziation von kausalem Effekt unterscheiden; K2: Relevante Vorbehandlungs-Confounder fachlich begründen; K3: Randomisierung bei Machbarkeit als starke Identifikationsstrategie einordnen; K4: Balance beziehungsweise Pretrends je Design prüfen; K5: Änderungen in Zuweisungsmechanismus und Population beobachten.
Statistik · ExperimentdesignKonzept erklärenmittel
Erkläre im Kontext „eine Prozessänderung soll gegen den bisherigen Ablauf getestet werden“ das Konzept randomisiertes kontrolliertes Experiment in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Zuweisung ist ethisch und technisch möglich; Interferenz und Attrition müssen geprüft werden.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Randomisierungs-, Behandlungs- und Analyseeinheit unterscheiden
Primäres Estimand und Intention-to-treat festlegen
Effekt, Intervall und Guardrails gemeinsam auswerten
Rolloutentscheidung an praktische Wirkung und Risiken binden
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Randomisierung garantiert, dass jede einzelne Kovariate exakt ausgeglichen ist.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Randomisierungs-, Behandlungs- und Analyseeinheit unterscheiden; K2: Primäres Estimand und Intention-to-treat festlegen; K3: Effekt, Intervall und Guardrails gemeinsam auswerten; K4: Rolloutentscheidung an praktische Wirkung und Risiken binden.
In Kontrolle 200/2.000 und Treatment 230/2.000 Erfolge: Berechne Ratendifferenz und Number Needed to Treat als 1/Differenz; nenne eine Grenze der NNT-Interpretation.
Annahmen: Zuweisung ist ethisch und technisch möglich; Interferenz und Attrition müssen geprüft werden.
Unsicherheit, Zeitraum und Stabilität der Differenz als Grenze nennen
Schwache Antwort: Relative Änderung 15% mit 15 Prozentpunkten verwechseln oder NNT ohne Intervall berichten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Raten 10% und 11,5% berechnen; K2: Absolute Differenz 0,015 beziehungsweise 1,5 Prozentpunkte erhalten; K3: NNT≈1/0,015≈66,7, also rund 67 berechnen; K4: Unsicherheit, Zeitraum und Stabilität der Differenz als Grenze nennen.
Debugge für „eine Prozessänderung soll gegen den bisherigen Ablauf getestet werden“ die Aussage: „Randomisierung garantiert, dass jede einzelne Kovariate exakt ausgeglichen ist.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Zuweisung ist ethisch und technisch möglich; Interferenz und Attrition müssen geprüft werden.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Ausgleich als Eigenschaft im Erwartungs- beziehungsweise Wiederholungssinn erklären
Zufällige Imbalance in endlicher Stichprobe zulassen
Vorab Stratifikation und präzisionssteigernde Adjustierung unterscheiden
Keine nachträgliche selektive Balance-Reparatur betreiben
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Randomisierung garantiert, dass jede einzelne Kovariate exakt ausgeglichen ist.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Ausgleich als Eigenschaft im Erwartungs- beziehungsweise Wiederholungssinn erklären; K2: Zufällige Imbalance in endlicher Stichprobe zulassen; K3: Vorab Stratifikation und präzisionssteigernde Adjustierung unterscheiden; K4: Keine nachträgliche selektive Balance-Reparatur betreiben.
Welche Annahmen musst du bei „eine Prozessänderung soll gegen den bisherigen Ablauf getestet werden“ für randomisiertes kontrolliertes Experiment prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Zuweisung ist ethisch und technisch möglich; Interferenz und Attrition müssen geprüft werden.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Einheit passend zu möglicher Interferenz wählen
Zuweisungsintegrität und Exposition messen
Post-Randomisierungsselektion vermeiden
Bei Clusterung, Noncompliance oder Spillover designgerechte Analyse vorsehen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Einheit passend zu möglicher Interferenz wählen; K2: Zuweisungsintegrität und Exposition messen; K3: Post-Randomisierungsselektion vermeiden; K4: Bei Clusterung, Noncompliance oder Spillover designgerechte Analyse vorsehen.
Wähle zwischen individueller, Cluster- und Switchback-Randomisierung für den Prozess.
Annahmen: Zuweisung ist ethisch und technisch möglich; Interferenz und Attrition müssen geprüft werden.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Individuelle Zuweisung bei geringer Interferenz bevorzugen
Clusterdesign bei geteiltem Workflow begründen
Switchback bei zeitlich wechselbarer Systemintervention erwägen
Analyse, Power und Carryover passend zur Einheit planen
Schwache Antwort: Zeilen randomisieren, obwohl dieselbe Person oder Schicht beide Varianten beeinflusst.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Individuelle Zuweisung bei geringer Interferenz bevorzugen; K2: Clusterdesign bei geteiltem Workflow begründen; K3: Switchback bei zeitlich wechselbarer Systemintervention erwägen; K4: Analyse, Power und Carryover passend zur Einheit planen.
Statistik · ExperimentdesignEvaluationsdesignschwer
Entwirf für „eine Prozessänderung soll gegen den bisherigen Ablauf getestet werden“ eine Evaluation von randomisiertes kontrolliertes Experiment, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Zuweisung ist ethisch und technisch möglich; Interferenz und Attrition müssen geprüft werden.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
ITT-Effekt mit vorab definiertem primären Endpunkt schätzen
Konfidenzintervall und praktische Mindestwirkung vergleichen
Guardrails und Attrition prüfen
Rollout, weiterer Test oder Stop nach vorab dokumentierten Regeln entscheiden
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: ITT-Effekt mit vorab definiertem primären Endpunkt schätzen; K2: Konfidenzintervall und praktische Mindestwirkung vergleichen; K3: Guardrails und Attrition prüfen; K4: Rollout, weiterer Test oder Stop nach vorab dokumentierten Regeln entscheiden.
Statistik · ExperimentdesignBetriebsdiagnoseschwer
Nach Einführung im Szenario „eine Prozessänderung soll gegen den bisherigen Ablauf getestet werden“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Zuweisung ist ethisch und technisch möglich; Interferenz und Attrition müssen geprüft werden.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Zuweisungsfehler, Exposition und Sample-Ratio-Mismatch überwachen
Interferenz, Novelty und Guardrail-Schaden alarmieren
Bei Integritätsbruch Experiment pausieren und sicheren Standardprozess nutzen
Ursache beheben, Analyseplan dokumentieren und erst dann fortsetzen
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Zuweisungsfehler, Exposition und Sample-Ratio-Mismatch überwachen; K2: Interferenz, Novelty und Guardrail-Schaden alarmieren; K3: Bei Integritätsbruch Experiment pausieren und sicheren Standardprozess nutzen; K4: Ursache beheben, Analyseplan dokumentieren und erst dann fortsetzen.
Statistik · ExperimentdesignStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was randomisiertes kontrolliertes Experiment im Szenario „eine Prozessänderung soll gegen den bisherigen Ablauf getestet werden“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Zuweisung ist ethisch und technisch möglich; Interferenz und Attrition müssen geprüft werden.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Was Randomisierung leistet und nicht garantiert erklären
Absolute Wirkung und Unsicherheit zeigen
Guardrails und betroffene Personen benennen
Entscheidung nicht mit statistischer Signifikanz gleichsetzen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Was Randomisierung leistet und nicht garantiert erklären; K2: Absolute Wirkung und Unsicherheit zeigen; K3: Guardrails und betroffene Personen benennen; K4: Entscheidung nicht mit statistischer Signifikanz gleichsetzen.
Statistik · ExperimentdesignMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „eine Prozessänderung soll gegen den bisherigen Ablauf getestet werden“: beginne mit Ziel und Einheit, begründe randomisiertes kontrolliertes Experiment, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Zuweisung ist ethisch und technisch möglich; Interferenz und Attrition müssen geprüft werden.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Randomisierungs-, Behandlungs- und Analyseeinheit unterscheiden
Einheit passend zu möglicher Interferenz wählen
Individuelle Zuweisung bei geringer Interferenz bevorzugen
ITT-Effekt mit vorab definiertem primären Endpunkt schätzen
Zuweisungsfehler, Exposition und Sample-Ratio-Mismatch überwachen
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Randomisierungs-, Behandlungs- und Analyseeinheit unterscheiden; K2: Einheit passend zu möglicher Interferenz wählen; K3: Individuelle Zuweisung bei geringer Interferenz bevorzugen; K4: ITT-Effekt mit vorab definiertem primären Endpunkt schätzen; K5: Zuweisungsfehler, Exposition und Sample-Ratio-Mismatch überwachen.
Statistik · Abhängigkeit und ZeitKonzept erklärenmittel
Erkläre im Kontext „wiederholte Messungen derselben Einheit werden wie unabhängige Zeilen behandelt“ das Konzept Abhängigkeit, Cluster und zeitgerechte Inferenz in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Mehrere Messungen je Einheit; zukünftiger Einsatz folgt auf vergangene Daten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Beobachtungszeile von unabhängiger Informationseinheit trennen
Korrelation innerhalb einer Einheit als Varianztreiber erklären
Zeitordnung und Autokorrelation berücksichtigen
Design, Split und Unsicherheit an Cluster- beziehungsweise Zeitstruktur anpassen
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Cross-Validation mit zufällig gemischten Zeilen ist immer konservativ, weil jede Zeile nur einmal im Test liegt.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Beobachtungszeile von unabhängiger Informationseinheit trennen; K2: Korrelation innerhalb einer Einheit als Varianztreiber erklären; K3: Zeitordnung und Autokorrelation berücksichtigen; K4: Design, Split und Unsicherheit an Cluster- beziehungsweise Zeitstruktur anpassen.
100 Personen liefern je 10 nahezu identische Messungen. Vergleiche nominelles n=1.000 mit effektiver Stichprobengröße n_eff≈n/[1+(m−1)ρ] für m=10 und ρ=0,8.
Annahmen: Mehrere Messungen je Einheit; zukünftiger Einsatz folgt auf vergangene Daten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Design-Effekt 1+9·0,8=8,2 berechnen
n_eff≈1.000/8,2≈122 erhalten
Zusätzliche Zeilen derselben Person nicht als 900 unabhängige Personen behandeln
Unsicherheit und Split auf Personenebene anpassen
Schwache Antwort: Standardfehler mit √1.000 skalieren und Personen-ID ignorieren.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Design-Effekt 1+9·0,8=8,2 berechnen; K2: n_eff≈1.000/8,2≈122 erhalten; K3: Zusätzliche Zeilen derselben Person nicht als 900 unabhängige Personen behandeln; K4: Unsicherheit und Split auf Personenebene anpassen.
Statistik · Abhängigkeit und ZeitDebug a claimmittel
Debugge für „wiederholte Messungen derselben Einheit werden wie unabhängige Zeilen behandelt“ die Aussage: „Cross-Validation mit zufällig gemischten Zeilen ist immer konservativ, weil jede Zeile nur einmal im Test liegt.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Mehrere Messungen je Einheit; zukünftiger Einsatz folgt auf vergangene Daten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Informationsaustausch über gleiche Einheit oder Zukunft benennen
Testunabhängigkeit auf Deployment-Einheit beziehen
Gruppen- oder Zeit-Split als Reparatur wählen
Leistungseinbruch gegenüber zufälligem Split transparent berichten
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Cross-Validation mit zufällig gemischten Zeilen ist immer konservativ, weil jede Zeile nur einmal im Test liegt.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Informationsaustausch über gleiche Einheit oder Zukunft benennen; K2: Testunabhängigkeit auf Deployment-Einheit beziehen; K3: Gruppen- oder Zeit-Split als Reparatur wählen; K4: Leistungseinbruch gegenüber zufälligem Split transparent berichten.
Statistik · Abhängigkeit und ZeitAnnahmen prüfenschwer
Welche Annahmen musst du bei „wiederholte Messungen derselben Einheit werden wie unabhängige Zeilen behandelt“ für Abhängigkeit, Cluster und zeitgerechte Inferenz prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Mehrere Messungen je Einheit; zukünftiger Einsatz folgt auf vergangene Daten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Cluster-ID und Messzeit vollständig erfassen
Innerhalb-Cluster-Korrelation und Seasonality prüfen
Keine Zukunftsinformation in Merkmale oder Splits lassen
Clusterrobuste, hierarchische oder Zeitreihenmethode je Ziel wählen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Cluster-ID und Messzeit vollständig erfassen; K2: Innerhalb-Cluster-Korrelation und Seasonality prüfen; K3: Keine Zukunftsinformation in Merkmale oder Splits lassen; K4: Clusterrobuste, hierarchische oder Zeitreihenmethode je Ziel wählen.
Statistik · Abhängigkeit und ZeitVergleichenschwer
Vergleiche clusterrobuste Standardfehler, Mixed Model und Aggregation auf Einheitsebene.
Annahmen: Mehrere Messungen je Einheit; zukünftiger Einsatz folgt auf vergangene Daten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Clusterrobuste SE bei marginalem Modell und vielen Clustern einordnen
Mixed Model für hierarchische Variation erwägen
Aggregation nur bei passendem Estimand verwenden
Wahl an Zielparameter, Clusterzahl und Vorhersageebene knüpfen
Schwache Antwort: Aggregation allein zur technischen Bequemlichkeit wählen und das Estimand unbemerkt ändern.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Clusterrobuste SE bei marginalem Modell und vielen Clustern einordnen; K2: Mixed Model für hierarchische Variation erwägen; K3: Aggregation nur bei passendem Estimand verwenden; K4: Wahl an Zielparameter, Clusterzahl und Vorhersageebene knüpfen.
Statistik · Abhängigkeit und ZeitEvaluationsdesignschwer
Entwirf für „wiederholte Messungen derselben Einheit werden wie unabhängige Zeilen behandelt“ eine Evaluation von Abhängigkeit, Cluster und zeitgerechte Inferenz, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Mehrere Messungen je Einheit; zukünftiger Einsatz folgt auf vergangene Daten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Split nach unabhängiger Einheit und Zeitrichtung entwerfen
Clusterzahl statt nur Zeilenzahl berichten
Fehler nach Horizont und Clustergröße analysieren
Modell bei unrealistisch optimistischer Random-Split-Güte nicht freigeben
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Split nach unabhängiger Einheit und Zeitrichtung entwerfen; K2: Clusterzahl statt nur Zeilenzahl berichten; K3: Fehler nach Horizont und Clustergröße analysieren; K4: Modell bei unrealistisch optimistischer Random-Split-Güte nicht freigeben.
Statistik · Abhängigkeit und ZeitBetriebsdiagnoseschwer
Nach Einführung im Szenario „wiederholte Messungen derselben Einheit werden wie unabhängige Zeilen behandelt“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Mehrere Messungen je Einheit; zukünftiger Einsatz folgt auf vergangene Daten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Clustergrößen, neue Einheiten und zeitliche Abhängigkeit überwachen
Shift in Messfrequenz und Autokorrelation alarmieren
Bei unbekannten Einheiten konservative Baseline oder Abstention nutzen
Split- und Unsicherheitsdesign nach Prozessänderung neu validieren
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Clustergrößen, neue Einheiten und zeitliche Abhängigkeit überwachen; K2: Shift in Messfrequenz und Autokorrelation alarmieren; K3: Bei unbekannten Einheiten konservative Baseline oder Abstention nutzen; K4: Split- und Unsicherheitsdesign nach Prozessänderung neu validieren.
Statistik · Abhängigkeit und ZeitStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was Abhängigkeit, Cluster und zeitgerechte Inferenz im Szenario „wiederholte Messungen derselben Einheit werden wie unabhängige Zeilen behandelt“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Mehrere Messungen je Einheit; zukünftiger Einsatz folgt auf vergangene Daten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Viele Messungen versus viele unabhängige Einheiten unterscheiden
Pseudoreplikation anschaulich erklären
Effektive Information und Unsicherheit gemeinsam zeigen
Keine Präzision aus reiner Zeilenmenge versprechen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Viele Messungen versus viele unabhängige Einheiten unterscheiden; K2: Pseudoreplikation anschaulich erklären; K3: Effektive Information und Unsicherheit gemeinsam zeigen; K4: Keine Präzision aus reiner Zeilenmenge versprechen.
Statistik · Abhängigkeit und ZeitMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „wiederholte Messungen derselben Einheit werden wie unabhängige Zeilen behandelt“: beginne mit Ziel und Einheit, begründe Abhängigkeit, Cluster und zeitgerechte Inferenz, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Mehrere Messungen je Einheit; zukünftiger Einsatz folgt auf vergangene Daten.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Beobachtungszeile von unabhängiger Informationseinheit trennen
Cluster-ID und Messzeit vollständig erfassen
Clusterrobuste SE bei marginalem Modell und vielen Clustern einordnen
Split nach unabhängiger Einheit und Zeitrichtung entwerfen
Clustergrößen, neue Einheiten und zeitliche Abhängigkeit überwachen
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Beobachtungszeile von unabhängiger Informationseinheit trennen; K2: Cluster-ID und Messzeit vollständig erfassen; K3: Clusterrobuste SE bei marginalem Modell und vielen Clustern einordnen; K4: Split nach unabhängiger Einheit und Zeitrichtung entwerfen; K5: Clustergrößen, neue Einheiten und zeitliche Abhängigkeit überwachen.
ML · Problem Framing und BaselinesKonzept erklärenmittel
Erkläre im Kontext „ein unscharfer Wunsch nach Automatisierung soll in ein prüfbares Datenprodukt übersetzt werden“ das Konzept entscheidungsorientiertes ML-Framing in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Allgemeines Lernszenario ohne behaupteten APKV-Prozess; Modell soll eine konkrete Handlung unterstützen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Nutzer, betroffene Personen und unterstützte Entscheidung zuerst definieren
Analyseeinheit, Ziel, Horizont und Verfügbarkeit festlegen
einfache fachliche oder regelbasierte Baseline bestimmen
Nicht-Ziel, Fehlerkosten und Stop-Kriterium vor Modellwahl dokumentieren
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Wenn ein Modell eine bessere Offline-Metrik hat, ist der Business Case bewiesen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Nutzer, betroffene Personen und unterstützte Entscheidung zuerst definieren; K2: Analyseeinheit, Ziel, Horizont und Verfügbarkeit festlegen; K3: einfache fachliche oder regelbasierte Baseline bestimmen; K4: Nicht-Ziel, Fehlerkosten und Stop-Kriterium vor Modellwahl dokumentieren.
Eine Regel bearbeitet 1.000 Fälle mit 70% Precision bei 40% Recall; ein Modell 75% Precision bei 60% Recall. Bei 200 echten Positiven: Berechne True Positives und ausgelöste Reviews beider Ansätze.
Annahmen: Allgemeines Lernszenario ohne behaupteten APKV-Prozess; Modell soll eine konkrete Handlung unterstützen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Regel-TP=0,40·200=80 berechnen
Regel-Reviews=80/0,70≈114 berechnen
Modell-TP=0,60·200=120 und Reviews=120/0,75=160 berechnen
40 zusätzliche Treffer gegen rund 46 zusätzliche Reviews und Fehlerkosten abwägen
Schwache Antwort: Nur die höheren Modellprozente nennen und Betriebskapazität ignorieren.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Regel-TP=0,40·200=80 berechnen; K2: Regel-Reviews=80/0,70≈114 berechnen; K3: Modell-TP=0,60·200=120 und Reviews=120/0,75=160 berechnen; K4: 40 zusätzliche Treffer gegen rund 46 zusätzliche Reviews und Fehlerkosten abwägen.
ML · Problem Framing und BaselinesDebug a claimmittel
Debugge für „ein unscharfer Wunsch nach Automatisierung soll in ein prüfbares Datenprodukt übersetzt werden“ die Aussage: „Wenn ein Modell eine bessere Offline-Metrik hat, ist der Business Case bewiesen.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Allgemeines Lernszenario ohne behaupteten APKV-Prozess; Modell soll eine konkrete Handlung unterstützen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Offline-Prognose von Workflowwirkung trennen
Baseline, Handlungsregel und Kapazität einbeziehen
Kunden-/Betriebsmaß und Nebenwirkungen definieren
Pilot oder Stop bei fehlendem inkrementellem Nutzen vorsehen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Wenn ein Modell eine bessere Offline-Metrik hat, ist der Business Case bewiesen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Offline-Prognose von Workflowwirkung trennen; K2: Baseline, Handlungsregel und Kapazität einbeziehen; K3: Kunden-/Betriebsmaß und Nebenwirkungen definieren; K4: Pilot oder Stop bei fehlendem inkrementellem Nutzen vorsehen.
ML · Problem Framing und BaselinesAnnahmen prüfenschwer
Welche Annahmen musst du bei „ein unscharfer Wunsch nach Automatisierung soll in ein prüfbares Datenprodukt übersetzt werden“ für entscheidungsorientiertes ML-Framing prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Allgemeines Lernszenario ohne behaupteten APKV-Prozess; Modell soll eine konkrete Handlung unterstützen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Prüfen, ob Vorhersage die Entscheidung überhaupt verbessern kann
Label als beobachtbare und zeitgerechte Zielgröße validieren
Nutzerkapazität und Folgen falscher Aktionen klären
Bei fehlender Handlung, unzuverlässigem Label oder unverhältnismäßigem Risiko kein ML empfehlen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Prüfen, ob Vorhersage die Entscheidung überhaupt verbessern kann; K2: Label als beobachtbare und zeitgerechte Zielgröße validieren; K3: Nutzerkapazität und Folgen falscher Aktionen klären; K4: Bei fehlender Handlung, unzuverlässigem Label oder unverhältnismäßigem Risiko kein ML empfehlen.
ML · Problem Framing und BaselinesVergleichenschwer
Entscheide zwischen Prozessänderung, Regelbaseline und ML-Modell für den Automatisierungswunsch.
Annahmen: Allgemeines Lernszenario ohne behaupteten APKV-Prozess; Modell soll eine konkrete Handlung unterstützen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Mess- oder Prozessproblem vor Modellproblem prüfen
Regelbaseline bei stabiler Logik und geringer Variantenbreite nutzen
ML nur bei ausreichender generalisierbarer Signalstruktur erwägen
Komplexität durch inkrementellen Nutzen nach Kosten und Risiko rechtfertigen
Schwache Antwort: ML allein wegen verfügbarer Daten oder Modernitätsargument wählen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Mess- oder Prozessproblem vor Modellproblem prüfen; K2: Regelbaseline bei stabiler Logik und geringer Variantenbreite nutzen; K3: ML nur bei ausreichender generalisierbarer Signalstruktur erwägen; K4: Komplexität durch inkrementellen Nutzen nach Kosten und Risiko rechtfertigen.
ML · Problem Framing und BaselinesEvaluationsdesignschwer
Entwirf für „ein unscharfer Wunsch nach Automatisierung soll in ein prüfbares Datenprodukt übersetzt werden“ eine Evaluation von entscheidungsorientiertes ML-Framing, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Allgemeines Lernszenario ohne behaupteten APKV-Prozess; Modell soll eine konkrete Handlung unterstützen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Deployment-Einheit und zeitgerechten Holdout festlegen
Baseline und inkrementelle Fehlerkosten vergleichen
Kapazität, Adoption und betroffene Gruppen prüfen
Pilot mit vorab definiertem Nutzen-, Guardrail- und Stop-Kriterium planen
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Deployment-Einheit und zeitgerechten Holdout festlegen; K2: Baseline und inkrementelle Fehlerkosten vergleichen; K3: Kapazität, Adoption und betroffene Gruppen prüfen; K4: Pilot mit vorab definiertem Nutzen-, Guardrail- und Stop-Kriterium planen.
ML · Problem Framing und BaselinesBetriebsdiagnoseschwer
Nach Einführung im Szenario „ein unscharfer Wunsch nach Automatisierung soll in ein prüfbares Datenprodukt übersetzt werden“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Allgemeines Lernszenario ohne behaupteten APKV-Prozess; Modell soll eine konkrete Handlung unterstützen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Input-, Label-, Policy- und Workflowänderungen getrennt überwachen
Volumen, Overrides und unbeabsichtigte Anreize alarmieren
Regel oder manuellen Prozess als Fallback erhalten
Fortsetzen, vereinfachen oder einstellen anhand realer Wirkung entscheiden
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Input-, Label-, Policy- und Workflowänderungen getrennt überwachen; K2: Volumen, Overrides und unbeabsichtigte Anreize alarmieren; K3: Regel oder manuellen Prozess als Fallback erhalten; K4: Fortsetzen, vereinfachen oder einstellen anhand realer Wirkung entscheiden.
ML · Problem Framing und BaselinesStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was entscheidungsorientiertes ML-Framing im Szenario „ein unscharfer Wunsch nach Automatisierung soll in ein prüfbares Datenprodukt übersetzt werden“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Allgemeines Lernszenario ohne behaupteten APKV-Prozess; Modell soll eine konkrete Handlung unterstützen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Vom Entscheidungsproblem statt vom Algorithmus beginnen
Baseline als Lern- und Vergleichspunkt erklären
Offline-Güte von realer Wirkung trennen
Auch No-ML als legitime Empfehlung sichtbar machen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Vom Entscheidungsproblem statt vom Algorithmus beginnen; K2: Baseline als Lern- und Vergleichspunkt erklären; K3: Offline-Güte von realer Wirkung trennen; K4: Auch No-ML als legitime Empfehlung sichtbar machen.
ML · Problem Framing und BaselinesMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „ein unscharfer Wunsch nach Automatisierung soll in ein prüfbares Datenprodukt übersetzt werden“: beginne mit Ziel und Einheit, begründe entscheidungsorientiertes ML-Framing, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Allgemeines Lernszenario ohne behaupteten APKV-Prozess; Modell soll eine konkrete Handlung unterstützen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Nutzer, betroffene Personen und unterstützte Entscheidung zuerst definieren
Prüfen, ob Vorhersage die Entscheidung überhaupt verbessern kann
Mess- oder Prozessproblem vor Modellproblem prüfen
Deployment-Einheit und zeitgerechten Holdout festlegen
Input-, Label-, Policy- und Workflowänderungen getrennt überwachen
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Nutzer, betroffene Personen und unterstützte Entscheidung zuerst definieren; K2: Prüfen, ob Vorhersage die Entscheidung überhaupt verbessern kann; K3: Mess- oder Prozessproblem vor Modellproblem prüfen; K4: Deployment-Einheit und zeitgerechten Holdout festlegen; K5: Input-, Label-, Policy- und Workflowänderungen getrennt überwachen.
ML · Datenvorbereitung und Feature SelectionKonzept erklärenmittel
Erkläre im Kontext „numerische, kategoriale und fehlende Werte sollen reproduzierbar verarbeitet werden“ das Konzept train-only Preprocessing und Feature Selection in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Feature Selection innerhalb der Validierung fitten
Feature-Semantik, Missingness und unbekannte Kategorien für Inferenz dokumentieren
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Feature Selection vor Cross-Validation ist harmlos, weil dabei noch kein Modell trainiert wird.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Transformationen als fit-abhängige Teile der Modellpipeline behandeln; K2: unterschiedliche Spaltentypen gezielt transformieren; K3: Feature Selection innerhalb der Validierung fitten; K4: Feature-Semantik, Missingness und unbekannte Kategorien für Inferenz dokumentieren.
ML · Datenvorbereitung und Feature SelectionRechnenmittel
Trainingswerte eines Features sind 2,4,6,8. Berechne Mittelwert und Standardabweichung mit Populationsnenner; standardisiere den Testwert 10 ausschließlich mit Trainingswerten.
Test-z=(10−5)/√5≈2,236 ohne Testwert im Fit berechnen
Schwache Antwort: Testwert 10 in Mittelwert und Skalierung einbeziehen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Trainingsmittelwert 5 berechnen; K2: Varianz [(−3)²+(−1)²+1²+3²]/4=5 erhalten; K3: Standardabweichung √5≈2,236 berechnen; K4: Test-z=(10−5)/√5≈2,236 ohne Testwert im Fit berechnen.
ML · Datenvorbereitung und Feature SelectionDebug a claimmittel
Debugge für „numerische, kategoriale und fehlende Werte sollen reproduzierbar verarbeitet werden“ die Aussage: „Feature Selection vor Cross-Validation ist harmlos, weil dabei noch kein Modell trainiert wird.“ Leite anschließend eine belastbare Korrektur ab.
Ziel- oder datenabhängige Auswahl als Fit-Schritt erkennen
Information aus Validierungsfolds als Leakage erklären
Selector und Estimator gemeinsam in Pipeline fitten
Vollständig unberührten Test erst nach Auswahl verwenden
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Feature Selection vor Cross-Validation ist harmlos, weil dabei noch kein Modell trainiert wird.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Ziel- oder datenabhängige Auswahl als Fit-Schritt erkennen; K2: Information aus Validierungsfolds als Leakage erklären; K3: Selector und Estimator gemeinsam in Pipeline fitten; K4: Vollständig unberührten Test erst nach Auswahl verwenden.
ML · Datenvorbereitung und Feature SelectionAnnahmen prüfenschwer
Welche Annahmen musst du bei „numerische, kategoriale und fehlende Werte sollen reproduzierbar verarbeitet werden“ für train-only Preprocessing und Feature Selection prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Skalierung und Imputation nur auf Trainingsdaten schätzen
Missingness-Mechanismus und Semantik je Feature prüfen
Kategorien und Schemaänderungen im Betrieb antizipieren
Bei instabiler Semantik Feature entfernen, robuste Kodierung oder einfacheres Modell wählen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Skalierung und Imputation nur auf Trainingsdaten schätzen; K2: Missingness-Mechanismus und Semantik je Feature prüfen; K3: Kategorien und Schemaänderungen im Betrieb antizipieren; K4: Bei instabiler Semantik Feature entfernen, robuste Kodierung oder einfacheres Modell wählen.
One-Hot bei ungeordneter moderater Kardinalität als Baseline nutzen
Ordinale Kodierung nur bei fachlich echter Ordnung einsetzen
Target Encoding nur fold-sicher mit Glättung und Leakage-Schutz erwägen
Wahl an Modellfamilie, Kardinalität, unbekannte Kategorien und Betrieb binden
Schwache Antwort: Beliebige Kategorien als 1,2,3 kodieren und metrische Ordnung unterstellen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: One-Hot bei ungeordneter moderater Kardinalität als Baseline nutzen; K2: Ordinale Kodierung nur bei fachlich echter Ordnung einsetzen; K3: Target Encoding nur fold-sicher mit Glättung und Leakage-Schutz erwägen; K4: Wahl an Modellfamilie, Kardinalität, unbekannte Kategorien und Betrieb binden.
ML · Datenvorbereitung und Feature SelectionEvaluationsdesignschwer
Entwirf für „numerische, kategoriale und fehlende Werte sollen reproduzierbar verarbeitet werden“ eine Evaluation von train-only Preprocessing und Feature Selection, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Schema-, Missingness- und Unknown-Category-Fälle testen
Ablation von Featuregruppen und Stabilität der Auswahl prüfen
Pipeline bei nicht reproduzierbarer Inferenz oder Leakage nicht freigeben
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Gesamte Pipeline innerhalb jedes Folds fitten; K2: Schema-, Missingness- und Unknown-Category-Fälle testen; K3: Ablation von Featuregruppen und Stabilität der Auswahl prüfen; K4: Pipeline bei nicht reproduzierbarer Inferenz oder Leakage nicht freigeben.
ML · Datenvorbereitung und Feature SelectionBetriebsdiagnoseschwer
Nach Einführung im Szenario „numerische, kategoriale und fehlende Werte sollen reproduzierbar verarbeitet werden“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Schema, Missingness, Kategorien und Transformationsausgabe überwachen
unbekannte Kategorien und Featureverlust alarmieren
sichere Defaults oder Ablehnung als Fallback definieren
Transformations- und Modellversion gemeinsam zurückrollen
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Schema, Missingness, Kategorien und Transformationsausgabe überwachen; K2: unbekannte Kategorien und Featureverlust alarmieren; K3: sichere Defaults oder Ablehnung als Fallback definieren; K4: Transformations- und Modellversion gemeinsam zurückrollen.
ML · Datenvorbereitung und Feature SelectionStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was train-only Preprocessing und Feature Selection im Szenario „numerische, kategoriale und fehlende Werte sollen reproduzierbar verarbeitet werden“ leistet, was nicht und welche Entscheidung noch offen ist.
Warum Testdaten nicht zur Vorbereitung gehören verdeutlichen
Kodierung als Annahme über Semantik darstellen
Einfachheit und Betriebsstabilität neben Scoregewinn nennen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Preprocessing als gelerntes Modellteil erklären; K2: Warum Testdaten nicht zur Vorbereitung gehören verdeutlichen; K3: Kodierung als Annahme über Semantik darstellen; K4: Einfachheit und Betriebsstabilität neben Scoregewinn nennen.
ML · Datenvorbereitung und Feature SelectionMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „numerische, kategoriale und fehlende Werte sollen reproduzierbar verarbeitet werden“: beginne mit Ziel und Einheit, begründe train-only Preprocessing und Feature Selection, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Transformationen als fit-abhängige Teile der Modellpipeline behandeln
Skalierung und Imputation nur auf Trainingsdaten schätzen
One-Hot bei ungeordneter moderater Kardinalität als Baseline nutzen
Gesamte Pipeline innerhalb jedes Folds fitten
Schema, Missingness, Kategorien und Transformationsausgabe überwachen
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Transformationen als fit-abhängige Teile der Modellpipeline behandeln; K2: Skalierung und Imputation nur auf Trainingsdaten schätzen; K3: One-Hot bei ungeordneter moderater Kardinalität als Baseline nutzen; K4: Gesamte Pipeline innerhalb jedes Folds fitten; K5: Schema, Missingness, Kategorien und Transformationsausgabe überwachen.
ML · Leakage und ValidierungsdesignKonzept erklärenmittel
Erkläre im Kontext „mehrere Zeilen pro Person und zeitlich wachsende Daten sollen zukünftige Fälle abbilden“ das Konzept deployment-naher Train/Validation/Test-Split in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Deployment trifft Vorhersagen für spätere Zeitpunkte und teilweise neue Personen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Split an realer Generalisierungsfrage ausrichten
gleiche Entität nicht über Training und Test verteilen
Zukunft strikt hinter Vergangenheit halten
Testset als selten genutzte finale Evidenz schützen
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Ein zufälliger 80/20-Split ist objektiv und daher für jede Deployment-Situation geeignet.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Split an realer Generalisierungsfrage ausrichten; K2: gleiche Entität nicht über Training und Test verteilen; K3: Zukunft strikt hinter Vergangenheit halten; K4: Testset als selten genutzte finale Evidenz schützen.
Ein Datensatz hat 10.000 Zeilen von 1.000 Personen. Ein zufälliger Zeilensplit teilt 30% der Personen zwischen Train und Test. Wie viele Personen sind betroffen, und warum ist das keine 30%-Testquote?
Annahmen: Deployment trifft Vorhersagen für spätere Zeitpunkte und teilweise neue Personen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
0,30·1.000=300 überlappende Personen berechnen
Personenüberlappung von Zeilenanteil unterscheiden
mögliche Identitäts- oder Verlaufsinformation als Leakage erklären
Group- plus Zeit-Split passend zur Zielpopulation vorschlagen
Schwache Antwort: 300 als Zahl der Testzeilen ausgeben oder Überlappung wegen unterschiedlicher Zeilen ignorieren.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: 0,30·1.000=300 überlappende Personen berechnen; K2: Personenüberlappung von Zeilenanteil unterscheiden; K3: mögliche Identitäts- oder Verlaufsinformation als Leakage erklären; K4: Group- plus Zeit-Split passend zur Zielpopulation vorschlagen.
ML · Leakage und ValidierungsdesignDebug a claimmittel
Debugge für „mehrere Zeilen pro Person und zeitlich wachsende Daten sollen zukünftige Fälle abbilden“ die Aussage: „Ein zufälliger 80/20-Split ist objektiv und daher für jede Deployment-Situation geeignet.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Deployment trifft Vorhersagen für spätere Zeitpunkte und teilweise neue Personen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Objektivität von Relevanz des Splits trennen
Zeit-, Gruppen- und Selektionsstruktur nennen
Deployment-Frage als Auswahlkriterium formulieren
realistische Backtests und unabhängigen finalen Test einsetzen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Ein zufälliger 80/20-Split ist objektiv und daher für jede Deployment-Situation geeignet.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Objektivität von Relevanz des Splits trennen; K2: Zeit-, Gruppen- und Selektionsstruktur nennen; K3: Deployment-Frage als Auswahlkriterium formulieren; K4: realistische Backtests und unabhängigen finalen Test einsetzen.
ML · Leakage und ValidierungsdesignAnnahmen prüfenschwer
Welche Annahmen musst du bei „mehrere Zeilen pro Person und zeitlich wachsende Daten sollen zukünftige Fälle abbilden“ für deployment-naher Train/Validation/Test-Split prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Deployment trifft Vorhersagen für spätere Zeitpunkte und teilweise neue Personen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Entitäts- und Zeitbezug jedes Features ermitteln
Label- und Feature-Timestamps auf as-of-Verfügbarkeit prüfen
Hyperparameter nur mit Training/Validation wählen
Bei unklarer Einsatzpopulation mehrere ehrliche Splits statt günstigsten Split berichten
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Entitäts- und Zeitbezug jedes Features ermitteln; K2: Label- und Feature-Timestamps auf as-of-Verfügbarkeit prüfen; K3: Hyperparameter nur mit Training/Validation wählen; K4: Bei unklarer Einsatzpopulation mehrere ehrliche Splits statt günstigsten Split berichten.
ML · Leakage und ValidierungsdesignVergleichenschwer
Wähle zwischen randomisiertem, gruppiertem, zeitlichem und kombiniertem Split für den Personenverlauf.
Annahmen: Deployment trifft Vorhersagen für spätere Zeitpunkte und teilweise neue Personen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Random-Split nur als Mechanikbaseline einordnen
Group-Split für neue Personen verwenden
Time-Split für zukünftige Perioden verwenden
kombinierten Split bei neuen Personen in zukünftiger Zeit als strengste Zielprüfung planen
Schwache Antwort: Den Split mit der höchsten Metrik als realistischsten auswählen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Random-Split nur als Mechanikbaseline einordnen; K2: Group-Split für neue Personen verwenden; K3: Time-Split für zukünftige Perioden verwenden; K4: kombinierten Split bei neuen Personen in zukünftiger Zeit als strengste Zielprüfung planen.
ML · Leakage und ValidierungsdesignEvaluationsdesignschwer
Entwirf für „mehrere Zeilen pro Person und zeitlich wachsende Daten sollen zukünftige Fälle abbilden“ eine Evaluation von deployment-naher Train/Validation/Test-Split, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Deployment trifft Vorhersagen für spätere Zeitpunkte und teilweise neue Personen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
mehrere Einsatzachsen mit getrennten Holdouts abbilden
Pipeline und Featurebau innerhalb des Splitregimes fitten
Leistungsdifferenz zwischen naivem und ehrlichem Split berichten
Go-live bei starker Leakage-Sensitivität oder fehlender Zielabdeckung stoppen
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: mehrere Einsatzachsen mit getrennten Holdouts abbilden; K2: Pipeline und Featurebau innerhalb des Splitregimes fitten; K3: Leistungsdifferenz zwischen naivem und ehrlichem Split berichten; K4: Go-live bei starker Leakage-Sensitivität oder fehlender Zielabdeckung stoppen.
ML · Leakage und ValidierungsdesignBetriebsdiagnoseschwer
Nach Einführung im Szenario „mehrere Zeilen pro Person und zeitlich wachsende Daten sollen zukünftige Fälle abbilden“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Deployment trifft Vorhersagen für spätere Zeitpunkte und teilweise neue Personen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Entitätsüberlappung und Feature-as-of-Regeln automatisiert prüfen
neue Leakagepfade durch Datenpipelineänderung alarmieren
bei Verstoß letzte validierte Pipeline als Fallback nutzen
Backtests nach jeder relevanten Zeit- oder Schemaänderung wiederholen
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Entitätsüberlappung und Feature-as-of-Regeln automatisiert prüfen; K2: neue Leakagepfade durch Datenpipelineänderung alarmieren; K3: bei Verstoß letzte validierte Pipeline als Fallback nutzen; K4: Backtests nach jeder relevanten Zeit- oder Schemaänderung wiederholen.
ML · Leakage und ValidierungsdesignStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was deployment-naher Train/Validation/Test-Split im Szenario „mehrere Zeilen pro Person und zeitlich wachsende Daten sollen zukünftige Fälle abbilden“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Deployment trifft Vorhersagen für spätere Zeitpunkte und teilweise neue Personen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Testset als Simulation der Zukunft erklären
warum gleiche Person auf beiden Seiten zu leicht ist verdeutlichen
optimistische versus realistische Güte transparent zeigen
Unsicherheit über Zielpopulation offen benennen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Testset als Simulation der Zukunft erklären; K2: warum gleiche Person auf beiden Seiten zu leicht ist verdeutlichen; K3: optimistische versus realistische Güte transparent zeigen; K4: Unsicherheit über Zielpopulation offen benennen.
ML · Leakage und ValidierungsdesignMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „mehrere Zeilen pro Person und zeitlich wachsende Daten sollen zukünftige Fälle abbilden“: beginne mit Ziel und Einheit, begründe deployment-naher Train/Validation/Test-Split, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Deployment trifft Vorhersagen für spätere Zeitpunkte und teilweise neue Personen.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Split an realer Generalisierungsfrage ausrichten
Entitäts- und Zeitbezug jedes Features ermitteln
Random-Split nur als Mechanikbaseline einordnen
mehrere Einsatzachsen mit getrennten Holdouts abbilden
Entitätsüberlappung und Feature-as-of-Regeln automatisiert prüfen
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Split an realer Generalisierungsfrage ausrichten; K2: Entitäts- und Zeitbezug jedes Features ermitteln; K3: Random-Split nur als Mechanikbaseline einordnen; K4: mehrere Einsatzachsen mit getrennten Holdouts abbilden; K5: Entitätsüberlappung und Feature-as-of-Regeln automatisiert prüfen.
ML · Lineare Modelle und RegularisierungKonzept erklärenmittel
Erkläre im Kontext „viele korrelierte Merkmale treffen auf eine begrenzte Stichprobe“ das Konzept regularisiertes lineares Vorhersagemodell in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Überwachtes tabellarisches Problem; Modell dient Vorhersage, nicht automatischer Kausalinterpretation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Loss und Regularisierung als gemeinsames Trainingsziel erklären
L1 und L2 als unterschiedliche Komplexitätskontrollen einordnen
Skalierung für fairen Penaltyvergleich beachten
Hyperparameter innerhalb der Validierung auswählen
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: L1 findet automatisch die wahren kausalen Variablen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Loss und Regularisierung als gemeinsames Trainingsziel erklären; K2: L1 und L2 als unterschiedliche Komplexitätskontrollen einordnen; K3: Skalierung für fairen Penaltyvergleich beachten; K4: Hyperparameter innerhalb der Validierung auswählen.
ML · Lineare Modelle und RegularisierungRechnenmittel
Zwei Modelle haben Trainingsloss 20. Modell A Koeffizienten (3,4), Modell B (1,1). Berechne bei λ=0,5 das L2-Ziel Loss+λΣβ² und wähle den kleineren Wert.
Annahmen: Überwachtes tabellarisches Problem; Modell dient Vorhersage, nicht automatischer Kausalinterpretation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
A-Penalty 0,5·(9+16)=12,5 berechnen
A-Ziel 32,5 erhalten
B-Penalty 0,5·(1+1)=1 und B-Ziel 21 erhalten
B für dieses Trainingsziel wählen, aber Validierungsleistung separat verlangen
Schwache Antwort: Nur Trainingsloss vergleichen oder L2 mit Summe absoluter Koeffizienten berechnen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: A-Penalty 0,5·(9+16)=12,5 berechnen; K2: A-Ziel 32,5 erhalten; K3: B-Penalty 0,5·(1+1)=1 und B-Ziel 21 erhalten; K4: B für dieses Trainingsziel wählen, aber Validierungsleistung separat verlangen.
ML · Lineare Modelle und RegularisierungDebug a claimmittel
Debugge für „viele korrelierte Merkmale treffen auf eine begrenzte Stichprobe“ die Aussage: „L1 findet automatisch die wahren kausalen Variablen.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Überwachtes tabellarisches Problem; Modell dient Vorhersage, nicht automatischer Kausalinterpretation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
prädiktive Auswahl von kausaler Identifikation trennen
Instabilität bei korrelierten Merkmalen erklären
Auswahl über Folds und Seeds prüfen
fachliches Design und externe Evidenz für Kausalität verlangen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: L1 findet automatisch die wahren kausalen Variablen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: prädiktive Auswahl von kausaler Identifikation trennen; K2: Instabilität bei korrelierten Merkmalen erklären; K3: Auswahl über Folds und Seeds prüfen; K4: fachliches Design und externe Evidenz für Kausalität verlangen.
ML · Lineare Modelle und RegularisierungAnnahmen prüfenschwer
Welche Annahmen musst du bei „viele korrelierte Merkmale treffen auf eine begrenzte Stichprobe“ für regularisiertes lineares Vorhersagemodell prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Überwachtes tabellarisches Problem; Modell dient Vorhersage, nicht automatischer Kausalinterpretation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
annähernd passende funktionale Form prüfen
Merkmalsskalen und Kollinearität untersuchen
Regularisierungsstärke nur auf Trainingsfolds wählen
bei starken Nichtlinearitäten Interaktionen, Splines oder anderes Modell vergleichen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: annähernd passende funktionale Form prüfen; K2: Merkmalsskalen und Kollinearität untersuchen; K3: Regularisierungsstärke nur auf Trainingsfolds wählen; K4: bei starken Nichtlinearitäten Interaktionen, Splines oder anderes Modell vergleichen.
ML · Lineare Modelle und RegularisierungVergleichenschwer
Vergleiche L1, L2 und Elastic Net für viele korrelierte Merkmale.
Annahmen: Überwachtes tabellarisches Problem; Modell dient Vorhersage, nicht automatischer Kausalinterpretation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
L1 für Sparsity mit Instabilitätsrisiko einordnen
L2 für verteilte Schrumpfung korrelierter Signale nutzen
Elastic Net als Kombination validieren
Auswahl an Generalisierung, Stabilität, Interpretierbarkeit und Wartung binden
Schwache Antwort: Nullkoeffizienten als endgültigen Beweis irrelevanter Merkmale behandeln.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: L1 für Sparsity mit Instabilitätsrisiko einordnen; K2: L2 für verteilte Schrumpfung korrelierter Signale nutzen; K3: Elastic Net als Kombination validieren; K4: Auswahl an Generalisierung, Stabilität, Interpretierbarkeit und Wartung binden.
ML · Lineare Modelle und RegularisierungEvaluationsdesignschwer
Entwirf für „viele korrelierte Merkmale treffen auf eine begrenzte Stichprobe“ eine Evaluation von regularisiertes lineares Vorhersagemodell, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Überwachtes tabellarisches Problem; Modell dient Vorhersage, nicht automatischer Kausalinterpretation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Regularisierungsparameter in verschachtelter oder sauberer CV wählen
Baseline und unregularisiertes Modell vergleichen
Kalibrierung beziehungsweise Residuen und Stabilität prüfen
Komplexität nur bei reproduzierbarem Holdoutgewinn akzeptieren
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Regularisierungsparameter in verschachtelter oder sauberer CV wählen; K2: Baseline und unregularisiertes Modell vergleichen; K3: Kalibrierung beziehungsweise Residuen und Stabilität prüfen; K4: Komplexität nur bei reproduzierbarem Holdoutgewinn akzeptieren.
ML · Lineare Modelle und RegularisierungBetriebsdiagnoseschwer
Nach Einführung im Szenario „viele korrelierte Merkmale treffen auf eine begrenzte Stichprobe“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Überwachtes tabellarisches Problem; Modell dient Vorhersage, nicht automatischer Kausalinterpretation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Feature-Skalen, Koeffizientennorm und Eingabebereich überwachen
Instabilität bei Refit oder neuen Kategorien alarmieren
einfaches validiertes Modell als Fallback bereithalten
Regularisierung und Features gemeinsam versionieren und zurückrollen
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Feature-Skalen, Koeffizientennorm und Eingabebereich überwachen; K2: Instabilität bei Refit oder neuen Kategorien alarmieren; K3: einfaches validiertes Modell als Fallback bereithalten; K4: Regularisierung und Features gemeinsam versionieren und zurückrollen.
ML · Lineare Modelle und RegularisierungStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was regularisiertes lineares Vorhersagemodell im Szenario „viele korrelierte Merkmale treffen auf eine begrenzte Stichprobe“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Überwachtes tabellarisches Problem; Modell dient Vorhersage, nicht automatischer Kausalinterpretation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Regularisierung als kontrolliertes Schrumpfen erklären
Bias gegen Varianz und Stabilität abwägen
Koeffizienten nicht automatisch kausal lesen
Scoregewinn gegen Transparenz und Wartung stellen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Regularisierung als kontrolliertes Schrumpfen erklären; K2: Bias gegen Varianz und Stabilität abwägen; K3: Koeffizienten nicht automatisch kausal lesen; K4: Scoregewinn gegen Transparenz und Wartung stellen.
ML · Lineare Modelle und RegularisierungMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „viele korrelierte Merkmale treffen auf eine begrenzte Stichprobe“: beginne mit Ziel und Einheit, begründe regularisiertes lineares Vorhersagemodell, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Überwachtes tabellarisches Problem; Modell dient Vorhersage, nicht automatischer Kausalinterpretation.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Loss und Regularisierung als gemeinsames Trainingsziel erklären
annähernd passende funktionale Form prüfen
L1 für Sparsity mit Instabilitätsrisiko einordnen
Regularisierungsparameter in verschachtelter oder sauberer CV wählen
Feature-Skalen, Koeffizientennorm und Eingabebereich überwachen
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Loss und Regularisierung als gemeinsames Trainingsziel erklären; K2: annähernd passende funktionale Form prüfen; K3: L1 für Sparsity mit Instabilitätsrisiko einordnen; K4: Regularisierungsparameter in verschachtelter oder sauberer CV wählen; K5: Feature-Skalen, Koeffizientennorm und Eingabebereich überwachen.
Erkläre im Kontext „nichtlineare Interaktionen in tabellarischen Daten sollen gegen eine lineare Baseline geprüft werden“ das Konzept Baumensemble mit kontrollierter Komplexität in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Tabellarische Features sind zum Inferenzzeitpunkt verfügbar; keine kausale Interpretation von Importance.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Baum als rekursive Partition mit lokal konstanten Vorhersagen erklären
Tiefe und Mindestblattgröße als Varianzregler einordnen
Bagging und Boosting unterscheiden
zusätzliche Komplexität nur über out-of-sample-Nutzen rechtfertigen
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Hohe impurity-basierte Feature Importance beweist, dass das Merkmal fachlich wichtig und kausal ist.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Baum als rekursive Partition mit lokal konstanten Vorhersagen erklären; K2: Tiefe und Mindestblattgröße als Varianzregler einordnen; K3: Bagging und Boosting unterscheiden; K4: zusätzliche Komplexität nur über out-of-sample-Nutzen rechtfertigen.
Ein Knoten enthält 60 positive und 40 negative Fälle. Berechne Gini=1−p²−(1−p)². Nach Split entstehen reine Knoten; wie groß ist die gewichtete Gini-Reduktion?
Annahmen: Tabellarische Features sind zum Inferenzzeitpunkt verfügbar; keine kausale Interpretation von Importance.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
p=0,6 bestimmen
Eltern-Gini=1−0,36−0,16=0,48 berechnen
gewichtete Kinder-Gini bei reinen Knoten 0 erhalten
Reduktion 0,48 berechnen und als Trainingskriterium, nicht als Testgüte einordnen
Schwache Antwort: Gini 0,48 als Accuracy oder garantierten Generalisierungsgewinn interpretieren.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: p=0,6 bestimmen; K2: Eltern-Gini=1−0,36−0,16=0,48 berechnen; K3: gewichtete Kinder-Gini bei reinen Knoten 0 erhalten; K4: Reduktion 0,48 berechnen und als Trainingskriterium, nicht als Testgüte einordnen.
Debugge für „nichtlineare Interaktionen in tabellarischen Daten sollen gegen eine lineare Baseline geprüft werden“ die Aussage: „Hohe impurity-basierte Feature Importance beweist, dass das Merkmal fachlich wichtig und kausal ist.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Tabellarische Features sind zum Inferenzzeitpunkt verfügbar; keine kausale Interpretation von Importance.
Permutation, Ablation und Stabilität als Diagnose ergänzen
Kausal- und Handlungsbehauptung ohne Design ablehnen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Hohe impurity-basierte Feature Importance beweist, dass das Merkmal fachlich wichtig und kausal ist.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: trainingsbezogene Splitnutzung erklären; K2: Bias zugunsten vieler möglicher Splitpunkte nennen; K3: Permutation, Ablation und Stabilität als Diagnose ergänzen; K4: Kausal- und Handlungsbehauptung ohne Design ablehnen.
Welche Annahmen musst du bei „nichtlineare Interaktionen in tabellarischen Daten sollen gegen eine lineare Baseline geprüft werden“ für Baumensemble mit kontrollierter Komplexität prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Tabellarische Features sind zum Inferenzzeitpunkt verfügbar; keine kausale Interpretation von Importance.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
kleine Blätter und seltene Kategorien auf Überanpassung prüfen
zeitliche und gruppenbezogene Stabilität testen
Importance nicht mit Kausalität oder Handlungshebel gleichsetzen
bei geringer Datenmenge oder strenger Erklärbarkeit lineare beziehungsweise regelbasierte Alternative behalten
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: kleine Blätter und seltene Kategorien auf Überanpassung prüfen; K2: zeitliche und gruppenbezogene Stabilität testen; K3: Importance nicht mit Kausalität oder Handlungshebel gleichsetzen; K4: bei geringer Datenmenge oder strenger Erklärbarkeit lineare beziehungsweise regelbasierte Alternative behalten.
Vergleiche einzelnen Baum, Random Forest und Gradient Boosting für das tabellarische Problem.
Annahmen: Tabellarische Features sind zum Inferenzzeitpunkt verfügbar; keine kausale Interpretation von Importance.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Einzelbaum als interpretierbare, aber instabile Baseline nutzen
Random Forest für Varianzreduktion und Parallelität einordnen
Boosting für sequentielle Fehlerkorrektur mit Tuningrisiko erklären
Latenz, Kalibrierung, Datenvolumen und Wartung in Wahl einbeziehen
Schwache Antwort: Ensemble automatisch als genauer und wartungsfrei erklären.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Einzelbaum als interpretierbare, aber instabile Baseline nutzen; K2: Random Forest für Varianzreduktion und Parallelität einordnen; K3: Boosting für sequentielle Fehlerkorrektur mit Tuningrisiko erklären; K4: Latenz, Kalibrierung, Datenvolumen und Wartung in Wahl einbeziehen.
Entwirf für „nichtlineare Interaktionen in tabellarischen Daten sollen gegen eine lineare Baseline geprüft werden“ eine Evaluation von Baumensemble mit kontrollierter Komplexität, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Tabellarische Features sind zum Inferenzzeitpunkt verfügbar; keine kausale Interpretation von Importance.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
ehrlichen Zeit-/Gruppen-Holdout verwenden
Baseline, Kalibrierung und Fehlerkosten vergleichen
Tiefe-, Seed- und Subgruppenstabilität prüfen
Ensemble ohne klaren inkrementellen Nutzen nicht freigeben
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: ehrlichen Zeit-/Gruppen-Holdout verwenden; K2: Baseline, Kalibrierung und Fehlerkosten vergleichen; K3: Tiefe-, Seed- und Subgruppenstabilität prüfen; K4: Ensemble ohne klaren inkrementellen Nutzen nicht freigeben.
Nach Einführung im Szenario „nichtlineare Interaktionen in tabellarischen Daten sollen gegen eine lineare Baseline geprüft werden“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Tabellarische Features sind zum Inferenzzeitpunkt verfügbar; keine kausale Interpretation von Importance.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Featurebereiche, Blattbelegung und Prediction-Drift beobachten
seltene neue Pfade und Kalibrierungsbruch alarmieren
einfachen Baum oder Regelbaseline als Fallback erhalten
Retrain nur mit reproduzierbarem Backtest und Rollbackartefakt
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Featurebereiche, Blattbelegung und Prediction-Drift beobachten; K2: seltene neue Pfade und Kalibrierungsbruch alarmieren; K3: einfachen Baum oder Regelbaseline als Fallback erhalten; K4: Retrain nur mit reproduzierbarem Backtest und Rollbackartefakt.
ML · Bäume und EnsemblesStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was Baumensemble mit kontrollierter Komplexität im Szenario „nichtlineare Interaktionen in tabellarischen Daten sollen gegen eine lineare Baseline geprüft werden“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Tabellarische Features sind zum Inferenzzeitpunkt verfügbar; keine kausale Interpretation von Importance.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Partitionen und lokale Regeln anschaulich erklären
Ensemblegewinn gegen Transparenzverlust stellen
Importance-Grenzen offenlegen
Entscheidung an realen Fehlerkosten statt Baumtiefe binden
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Partitionen und lokale Regeln anschaulich erklären; K2: Ensemblegewinn gegen Transparenzverlust stellen; K3: Importance-Grenzen offenlegen; K4: Entscheidung an realen Fehlerkosten statt Baumtiefe binden.
ML · Bäume und EnsemblesMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „nichtlineare Interaktionen in tabellarischen Daten sollen gegen eine lineare Baseline geprüft werden“: beginne mit Ziel und Einheit, begründe Baumensemble mit kontrollierter Komplexität, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Tabellarische Features sind zum Inferenzzeitpunkt verfügbar; keine kausale Interpretation von Importance.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Baum als rekursive Partition mit lokal konstanten Vorhersagen erklären
kleine Blätter und seltene Kategorien auf Überanpassung prüfen
Einzelbaum als interpretierbare, aber instabile Baseline nutzen
ehrlichen Zeit-/Gruppen-Holdout verwenden
Featurebereiche, Blattbelegung und Prediction-Drift beobachten
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Baum als rekursive Partition mit lokal konstanten Vorhersagen erklären; K2: kleine Blätter und seltene Kategorien auf Überanpassung prüfen; K3: Einzelbaum als interpretierbare, aber instabile Baseline nutzen; K4: ehrlichen Zeit-/Gruppen-Holdout verwenden; K5: Featurebereiche, Blattbelegung und Prediction-Drift beobachten.
Erkläre im Kontext „ein mittelgroßer Datensatz besitzt unterschiedlich skalierte Merkmale und knappe Latenz“ das Konzept distanz- und kernelbasierte Modellwahl in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Numerische Darstellung hat fachlich sinnvolle Geometrie; Latenz- und Speicherbudget sind bekannt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Ähnlichkeit als zentrale Modellannahme explizit machen
Skalierung vor Distanzberechnung innerhalb der Pipeline fitten
k beziehungsweise C und gamma als Bias-Varianz-Regler verstehen
Training-, Speicher- und Inferenzkosten getrennt vergleichen
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: RBF-SVM ist nichtlinear und deshalb immer stärker als ein lineares Modell.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Ähnlichkeit als zentrale Modellannahme explizit machen; K2: Skalierung vor Distanzberechnung innerhalb der Pipeline fitten; K3: k beziehungsweise C und gamma als Bias-Varianz-Regler verstehen; K4: Training-, Speicher- und Inferenzkosten getrennt vergleichen.
Punkt q=(3,4), Nachbarn a=(0,0) Klasse A und b=(3,3) Klasse B. Berechne euklidische Distanzen und die 1-NN-Vorhersage.
Annahmen: Numerische Darstellung hat fachlich sinnvolle Geometrie; Latenz- und Speicherbudget sind bekannt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
d(q,a)=√(3²+4²)=5 berechnen
d(q,b)=√(0²+1²)=1 berechnen
Klasse B als 1-NN-Ausgabe wählen
darauf hinweisen, dass Skalierung und nur zwei Referenzpunkte die Aussage begrenzen
Schwache Antwort: Koordinaten einzeln vergleichen oder Distanz ohne Einheitenskalierung universell deuten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: d(q,a)=√(3²+4²)=5 berechnen; K2: d(q,b)=√(0²+1²)=1 berechnen; K3: Klasse B als 1-NN-Ausgabe wählen; K4: darauf hinweisen, dass Skalierung und nur zwei Referenzpunkte die Aussage begrenzen.
Debugge für „ein mittelgroßer Datensatz besitzt unterschiedlich skalierte Merkmale und knappe Latenz“ die Aussage: „RBF-SVM ist nichtlinear und deshalb immer stärker als ein lineares Modell.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Numerische Darstellung hat fachlich sinnvolle Geometrie; Latenz- und Speicherbudget sind bekannt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Flexibilität von Generalisierung trennen
C und gamma als Tuning- und Overfittingquellen nennen
Rechen- und Kalibrierungsbedarf einbeziehen
lineare Baseline auf ehrlichem Holdout verlangen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: RBF-SVM ist nichtlinear und deshalb immer stärker als ein lineares Modell.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Flexibilität von Generalisierung trennen; K2: C und gamma als Tuning- und Overfittingquellen nennen; K3: Rechen- und Kalibrierungsbedarf einbeziehen; K4: lineare Baseline auf ehrlichem Holdout verlangen.
Welche Annahmen musst du bei „ein mittelgroßer Datensatz besitzt unterschiedlich skalierte Merkmale und knappe Latenz“ für distanz- und kernelbasierte Modellwahl prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Numerische Darstellung hat fachlich sinnvolle Geometrie; Latenz- und Speicherbudget sind bekannt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Merkmalsskalen und irrelevante Dimensionen prüfen
lokale Dichte und Klassenüberlappung untersuchen
Kernelparameter nur per CV wählen
bei hoher Dimension, sehr großem n oder harter Latenz lineare beziehungsweise approximative Alternative erwägen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Merkmalsskalen und irrelevante Dimensionen prüfen; K2: lokale Dichte und Klassenüberlappung untersuchen; K3: Kernelparameter nur per CV wählen; K4: bei hoher Dimension, sehr großem n oder harter Latenz lineare beziehungsweise approximative Alternative erwägen.
Wähle zwischen k-NN, linearer SVM und RBF-SVM unter hoher n, mittlerer Dimension und strikter Inferenzlatenz.
Annahmen: Numerische Darstellung hat fachlich sinnvolle Geometrie; Latenz- und Speicherbudget sind bekannt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
k-NN-Inferenz- und Speicherlast benennen
lineare SVM als skalierbare Baseline erwägen
RBF nur bei validierter Nichtlinearität und tragbarer Laufzeit nutzen
Wahl mit Skalierung, Kalibrierung und Betriebsbudget begründen
Schwache Antwort: Nur den höchsten CV-Score ohne Laufzeitmessung auswählen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: k-NN-Inferenz- und Speicherlast benennen; K2: lineare SVM als skalierbare Baseline erwägen; K3: RBF nur bei validierter Nichtlinearität und tragbarer Laufzeit nutzen; K4: Wahl mit Skalierung, Kalibrierung und Betriebsbudget begründen.
Entwirf für „ein mittelgroßer Datensatz besitzt unterschiedlich skalierte Merkmale und knappe Latenz“ eine Evaluation von distanz- und kernelbasierte Modellwahl, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Numerische Darstellung hat fachlich sinnvolle Geometrie; Latenz- und Speicherbudget sind bekannt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Skalierung innerhalb jedes Folds fitten
Hyperparameter und Latenz gemeinsam messen
Kalibrierung und Randfälle nahe Entscheidungsgrenze prüfen
Modell bei unerfülltem Latenz- oder Stabilitätsbudget ablehnen
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Skalierung innerhalb jedes Folds fitten; K2: Hyperparameter und Latenz gemeinsam messen; K3: Kalibrierung und Randfälle nahe Entscheidungsgrenze prüfen; K4: Modell bei unerfülltem Latenz- oder Stabilitätsbudget ablehnen.
Nach Einführung im Szenario „ein mittelgroßer Datensatz besitzt unterschiedlich skalierte Merkmale und knappe Latenz“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Numerische Darstellung hat fachlich sinnvolle Geometrie; Latenz- und Speicherbudget sind bekannt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Distanzverteilung, Support-Vektorzahl und Inferenzzeit beobachten
neue Skalen oder Dichteverschiebung alarmieren
lineare beziehungsweise regelbasierte Alternative als Fallback nutzen
Index, Skalierer und Modell gemeinsam versionieren
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Distanzverteilung, Support-Vektorzahl und Inferenzzeit beobachten; K2: neue Skalen oder Dichteverschiebung alarmieren; K3: lineare beziehungsweise regelbasierte Alternative als Fallback nutzen; K4: Index, Skalierer und Modell gemeinsam versionieren.
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was distanz- und kernelbasierte Modellwahl im Szenario „ein mittelgroßer Datensatz besitzt unterschiedlich skalierte Merkmale und knappe Latenz“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Numerische Darstellung hat fachlich sinnvolle Geometrie; Latenz- und Speicherbudget sind bekannt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Ähnlichkeit und Entscheidungsgrenze anschaulich erklären
Warum Skalierung die Nachbarschaft ändert zeigen
Flexibilität gegen Latenz und Wartung abwägen
keine universelle Modellrangliste behaupten
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Ähnlichkeit und Entscheidungsgrenze anschaulich erklären; K2: Warum Skalierung die Nachbarschaft ändert zeigen; K3: Flexibilität gegen Latenz und Wartung abwägen; K4: keine universelle Modellrangliste behaupten.
Führe einen dreiminütigen Deep Dive zu „ein mittelgroßer Datensatz besitzt unterschiedlich skalierte Merkmale und knappe Latenz“: beginne mit Ziel und Einheit, begründe distanz- und kernelbasierte Modellwahl, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Numerische Darstellung hat fachlich sinnvolle Geometrie; Latenz- und Speicherbudget sind bekannt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Ähnlichkeit als zentrale Modellannahme explizit machen
Merkmalsskalen und irrelevante Dimensionen prüfen
k-NN-Inferenz- und Speicherlast benennen
Skalierung innerhalb jedes Folds fitten
Distanzverteilung, Support-Vektorzahl und Inferenzzeit beobachten
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Ähnlichkeit als zentrale Modellannahme explizit machen; K2: Merkmalsskalen und irrelevante Dimensionen prüfen; K3: k-NN-Inferenz- und Speicherlast benennen; K4: Skalierung innerhalb jedes Folds fitten; K5: Distanzverteilung, Support-Vektorzahl und Inferenzzeit beobachten.
ML · Clustering, Anomalien und PCAKonzept erklärenmittel
Erkläre im Kontext „ohne verlässliche Labels sollen Segmente, Auffälligkeiten oder kompakte Repräsentationen gefunden werden“ das Konzept unüberwachtes Lernen mit externer Nutzungsprüfung in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Keine zuverlässigen Ziel-Labels für Training; Merkmalssemantik und Entscheidung nach Analyse sind definiert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
algorithmisches Muster von fachlich nützlicher Struktur trennen
Distanz, Dichte oder Varianz als jeweilige Objective-Annahme erklären
PCA-Komponenten nicht automatisch als kausale Faktoren lesen
Nutzen über nachgelagerten Workflow und Stabilität prüfen
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Ein hoher Silhouette-Score beweist, dass die Cluster fachlich real und handlungsrelevant sind.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: algorithmisches Muster von fachlich nützlicher Struktur trennen; K2: Distanz, Dichte oder Varianz als jeweilige Objective-Annahme erklären; K3: PCA-Komponenten nicht automatisch als kausale Faktoren lesen; K4: Nutzen über nachgelagerten Workflow und Stabilität prüfen.
Zwei standardisierte Punkte sind x=(1,2) und y=(4,6). Berechne die euklidische Distanz; verdopple danach nur die erste Feature-Skala und berechne erneut.
Annahmen: Keine zuverlässigen Ziel-Labels für Training; Merkmalssemantik und Entscheidung nach Analyse sind definiert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Originaldistanz √(3²+4²)=5 berechnen
skalierte Punkte in erster Dimension als 2 und 8 auffassen
neue Distanz √(6²+4²)=√52≈7,21 berechnen
Skalierungsannahme als entscheidend für Cluster und Nachbarn erklären
Schwache Antwort: Skalierung als rein kosmetisch bezeichnen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Originaldistanz √(3²+4²)=5 berechnen; K2: skalierte Punkte in erster Dimension als 2 und 8 auffassen; K3: neue Distanz √(6²+4²)=√52≈7,21 berechnen; K4: Skalierungsannahme als entscheidend für Cluster und Nachbarn erklären.
ML · Clustering, Anomalien und PCADebug a claimmittel
Debugge für „ohne verlässliche Labels sollen Segmente, Auffälligkeiten oder kompakte Repräsentationen gefunden werden“ die Aussage: „Ein hoher Silhouette-Score beweist, dass die Cluster fachlich real und handlungsrelevant sind.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Keine zuverlässigen Ziel-Labels für Training; Merkmalssemantik und Entscheidung nach Analyse sind definiert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
interne Geometriemetrik von externer Validität trennen
Stabilität über Samples und Parameter prüfen
fachliche Interpretation und Wirkungsprüfung verlangen
Cluster ohne Nutzungsentscheidung nicht automatisch operationalisieren
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Ein hoher Silhouette-Score beweist, dass die Cluster fachlich real und handlungsrelevant sind.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: interne Geometriemetrik von externer Validität trennen; K2: Stabilität über Samples und Parameter prüfen; K3: fachliche Interpretation und Wirkungsprüfung verlangen; K4: Cluster ohne Nutzungsentscheidung nicht automatisch operationalisieren.
ML · Clustering, Anomalien und PCAAnnahmen prüfenschwer
Welche Annahmen musst du bei „ohne verlässliche Labels sollen Segmente, Auffälligkeiten oder kompakte Repräsentationen gefunden werden“ für unüberwachtes Lernen mit externer Nutzungsprüfung prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Keine zuverlässigen Ziel-Labels für Training; Merkmalssemantik und Entscheidung nach Analyse sind definiert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Skalierung und Geometrie der Features prüfen
Clusterzahl, Dichte und Anomalierate nicht als Naturkonstanten behandeln
PCA nur auf Trainingsdaten fitten
bei fehlender Handlungsrelevanz deskriptive Exploration statt Produktisierung wählen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Skalierung und Geometrie der Features prüfen; K2: Clusterzahl, Dichte und Anomalierate nicht als Naturkonstanten behandeln; K3: PCA nur auf Trainingsdaten fitten; K4: bei fehlender Handlungsrelevanz deskriptive Exploration statt Produktisierung wählen.
ML · Clustering, Anomalien und PCAVergleichenschwer
Vergleiche k-means, dichtebasiertes Clustering, Isolation-basierte Anomalieerkennung und PCA für das unlabeled Szenario.
Annahmen: Keine zuverlässigen Ziel-Labels für Training; Merkmalssemantik und Entscheidung nach Analyse sind definiert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
k-means an kompakte ungefähr sphärische Cluster binden
Dichtemethode für variable Formen und Noise erwägen
Anomaliedetektor an Novelty-Workflow und Reviewkapazität knüpfen
PCA als Repräsentation statt Segmentierungsbeweis einordnen
Schwache Antwort: Alle vier Methoden als austauschbare Wege zu denselben Gruppen behandeln.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: k-means an kompakte ungefähr sphärische Cluster binden; K2: Dichtemethode für variable Formen und Noise erwägen; K3: Anomaliedetektor an Novelty-Workflow und Reviewkapazität knüpfen; K4: PCA als Repräsentation statt Segmentierungsbeweis einordnen.
ML · Clustering, Anomalien und PCAEvaluationsdesignschwer
Entwirf für „ohne verlässliche Labels sollen Segmente, Auffälligkeiten oder kompakte Repräsentationen gefunden werden“ eine Evaluation von unüberwachtes Lernen mit externer Nutzungsprüfung, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Keine zuverlässigen Ziel-Labels für Training; Merkmalssemantik und Entscheidung nach Analyse sind definiert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Stabilität über Seeds, Samples und Zeit prüfen
interne Metrik mit fachlicher Stichprobe oder Downstream-Nutzen ergänzen
Reviewlast und seltene relevante Muster analysieren
Produktisierung bei nicht reproduzierbarer oder nicht handlungsfähiger Struktur stoppen
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Stabilität über Seeds, Samples und Zeit prüfen; K2: interne Metrik mit fachlicher Stichprobe oder Downstream-Nutzen ergänzen; K3: Reviewlast und seltene relevante Muster analysieren; K4: Produktisierung bei nicht reproduzierbarer oder nicht handlungsfähiger Struktur stoppen.
ML · Clustering, Anomalien und PCABetriebsdiagnoseschwer
Nach Einführung im Szenario „ohne verlässliche Labels sollen Segmente, Auffälligkeiten oder kompakte Repräsentationen gefunden werden“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Keine zuverlässigen Ziel-Labels für Training; Merkmalssemantik und Entscheidung nach Analyse sind definiert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Featuregeometrie, Clusterbelegung und Scoreverteilung beobachten
leere Cluster oder explodierende Alarmrate melden
manuelle Exploration als Fallback erhalten
Repräsentation nach Shift neu fitten und Wirkung erneut prüfen
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Featuregeometrie, Clusterbelegung und Scoreverteilung beobachten; K2: leere Cluster oder explodierende Alarmrate melden; K3: manuelle Exploration als Fallback erhalten; K4: Repräsentation nach Shift neu fitten und Wirkung erneut prüfen.
ML · Clustering, Anomalien und PCAStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was unüberwachtes Lernen mit externer Nutzungsprüfung im Szenario „ohne verlässliche Labels sollen Segmente, Auffälligkeiten oder kompakte Repräsentationen gefunden werden“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Keine zuverlässigen Ziel-Labels für Training; Merkmalssemantik und Entscheidung nach Analyse sind definiert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Musterfindung ohne richtige Zielantwort erklären
Clusterlabels als Modellkonstrukte kennzeichnen
Anomalie als selten/anders, nicht automatisch schlecht beschreiben
Entscheidungsnutzen als separate Evidenz fordern
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Musterfindung ohne richtige Zielantwort erklären; K2: Clusterlabels als Modellkonstrukte kennzeichnen; K3: Anomalie als selten/anders, nicht automatisch schlecht beschreiben; K4: Entscheidungsnutzen als separate Evidenz fordern.
ML · Clustering, Anomalien und PCAMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „ohne verlässliche Labels sollen Segmente, Auffälligkeiten oder kompakte Repräsentationen gefunden werden“: beginne mit Ziel und Einheit, begründe unüberwachtes Lernen mit externer Nutzungsprüfung, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Keine zuverlässigen Ziel-Labels für Training; Merkmalssemantik und Entscheidung nach Analyse sind definiert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
algorithmisches Muster von fachlich nützlicher Struktur trennen
Skalierung und Geometrie der Features prüfen
k-means an kompakte ungefähr sphärische Cluster binden
Stabilität über Seeds, Samples und Zeit prüfen
Featuregeometrie, Clusterbelegung und Scoreverteilung beobachten
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: algorithmisches Muster von fachlich nützlicher Struktur trennen; K2: Skalierung und Geometrie der Features prüfen; K3: k-means an kompakte ungefähr sphärische Cluster binden; K4: Stabilität über Seeds, Samples und Zeit prüfen; K5: Featuregeometrie, Clusterbelegung und Scoreverteilung beobachten.
Erkläre im Kontext „komplexe unstrukturierte Eingaben sollen modelliert werden, obwohl Daten und Latenz begrenzt sind“ das Konzept neuronales Netz mit kontrollierter Generalisierung in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Überwachtes Problem; repräsentative Trainingslabels; Hardware-, Energie- und Latenzbudget sind begrenzt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Schichten als parametrisierte Transformationen und Loss-Minimierung erklären
Training mit Gradienten von Inferenz unterscheiden
Kapazität, Regularisierung und Datenmenge gemeinsam betrachten
Netz nur gegen starke einfachere Baselines und Betriebsbudget rechtfertigen
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Mehr Schichten können jede Datenknappheit kompensieren.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Schichten als parametrisierte Transformationen und Loss-Minimierung erklären; K2: Training mit Gradienten von Inferenz unterscheiden; K3: Kapazität, Regularisierung und Datenmenge gemeinsam betrachten; K4: Netz nur gegen starke einfachere Baselines und Betriebsbudget rechtfertigen.
Ein Neuron hat Gewichte (0,5,−1), Eingabe (4,1), Bias 0,5 und ReLU. Berechne Voraktivierung und Ausgabe.
Annahmen: Überwachtes Problem; repräsentative Trainingslabels; Hardware-, Energie- und Latenzbudget sind begrenzt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Skalarprodukt 0,5·4+(−1)·1=1 berechnen
Bias addieren: z=1,5
ReLU(1,5)=1,5 erhalten
Ein einzelnes Neuron nicht mit kalibrierter Wahrscheinlichkeit verwechseln
Schwache Antwort: ReLU vor der gewichteten Summe anwenden oder 1,5 automatisch als Wahrscheinlichkeit lesen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Skalarprodukt 0,5·4+(−1)·1=1 berechnen; K2: Bias addieren: z=1,5; K3: ReLU(1,5)=1,5 erhalten; K4: Ein einzelnes Neuron nicht mit kalibrierter Wahrscheinlichkeit verwechseln.
Debugge für „komplexe unstrukturierte Eingaben sollen modelliert werden, obwohl Daten und Latenz begrenzt sind“ die Aussage: „Mehr Schichten können jede Datenknappheit kompensieren.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Überwachtes Problem; repräsentative Trainingslabels; Hardware-, Energie- und Latenzbudget sind begrenzt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Kapazität von Information in Daten trennen
höheres Overfitting- und Optimierungsrisiko nennen
Transferlernen und Datenaugmentation nur passend validieren
einfachere Baseline oder engere Aufgabe als Alternative empfehlen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Mehr Schichten können jede Datenknappheit kompensieren.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Kapazität von Information in Daten trennen; K2: höheres Overfitting- und Optimierungsrisiko nennen; K3: Transferlernen und Datenaugmentation nur passend validieren; K4: einfachere Baseline oder engere Aufgabe als Alternative empfehlen.
Welche Annahmen musst du bei „komplexe unstrukturierte Eingaben sollen modelliert werden, obwohl Daten und Latenz begrenzt sind“ für neuronales Netz mit kontrollierter Generalisierung prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Überwachtes Problem; repräsentative Trainingslabels; Hardware-, Energie- und Latenzbudget sind begrenzt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Datenvolumen, Labelqualität und Shift prüfen
Loss und Zielmetrik auf Entscheidung abstimmen
Overfitting, Seeds und Kalibrierung untersuchen
bei geringem inkrementellem Nutzen vortrainierte, lineare oder klassische Alternative wählen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Datenvolumen, Labelqualität und Shift prüfen; K2: Loss und Zielmetrik auf Entscheidung abstimmen; K3: Overfitting, Seeds und Kalibrierung untersuchen; K4: bei geringem inkrementellem Nutzen vortrainierte, lineare oder klassische Alternative wählen.
Vergleiche kleines Netz von Grund auf, Transfer Learning und klassische Feature-basierte Baseline.
Annahmen: Überwachtes Problem; repräsentative Trainingslabels; Hardware-, Energie- und Latenzbudget sind begrenzt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
klassische Baseline für geringe Daten und Transparenz nutzen
kleines Netz bei ausreichendem Signal und kontrollierter Komplexität prüfen
Transfer Learning bei passender Quelldomäne erwägen
Datenschutz, Latenz, Robustheit und Wartung in Wahl einbeziehen
Schwache Antwort: Transfer Learning als garantiert domänengleich und risikofrei behandeln.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: klassische Baseline für geringe Daten und Transparenz nutzen; K2: kleines Netz bei ausreichendem Signal und kontrollierter Komplexität prüfen; K3: Transfer Learning bei passender Quelldomäne erwägen; K4: Datenschutz, Latenz, Robustheit und Wartung in Wahl einbeziehen.
Entwirf für „komplexe unstrukturierte Eingaben sollen modelliert werden, obwohl Daten und Latenz begrenzt sind“ eine Evaluation von neuronales Netz mit kontrollierter Generalisierung, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Überwachtes Problem; repräsentative Trainingslabels; Hardware-, Energie- und Latenzbudget sind begrenzt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
strikten Holdout und Seed-Varianz prüfen
Loss, Entscheidungsmetrik, Kalibrierung und Latenz messen
Shift- und adversariale Sensitivität testen
Netz ohne stabilen inkrementellen Nutzen nicht deployen
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: strikten Holdout und Seed-Varianz prüfen; K2: Loss, Entscheidungsmetrik, Kalibrierung und Latenz messen; K3: Shift- und adversariale Sensitivität testen; K4: Netz ohne stabilen inkrementellen Nutzen nicht deployen.
Nach Einführung im Szenario „komplexe unstrukturierte Eingaben sollen modelliert werden, obwohl Daten und Latenz begrenzt sind“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Überwachtes Problem; repräsentative Trainingslabels; Hardware-, Energie- und Latenzbudget sind begrenzt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Inputdrift, Kalibrierung, Latenz und Ressourcenverbrauch überwachen
NaN, instabile Batches und Confidence-Spitzen alarmieren
kleinere Baseline oder manuelle Prüfung als Fallback vorsehen
Modell-, Daten- und Hardwareversion gemeinsam rollbackfähig halten
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Inputdrift, Kalibrierung, Latenz und Ressourcenverbrauch überwachen; K2: NaN, instabile Batches und Confidence-Spitzen alarmieren; K3: kleinere Baseline oder manuelle Prüfung als Fallback vorsehen; K4: Modell-, Daten- und Hardwareversion gemeinsam rollbackfähig halten.
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was neuronales Netz mit kontrollierter Generalisierung im Szenario „komplexe unstrukturierte Eingaben sollen modelliert werden, obwohl Daten und Latenz begrenzt sind“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Überwachtes Problem; repräsentative Trainingslabels; Hardware-, Energie- und Latenzbudget sind begrenzt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Training und Inferenz klar unterscheiden
Kapazität nicht mit Wissen gleichsetzen
Unsicherheit und Out-of-distribution-Grenzen erklären
Nutzen gegen Kosten und Kontrollierbarkeit abwägen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Training und Inferenz klar unterscheiden; K2: Kapazität nicht mit Wissen gleichsetzen; K3: Unsicherheit und Out-of-distribution-Grenzen erklären; K4: Nutzen gegen Kosten und Kontrollierbarkeit abwägen.
Führe einen dreiminütigen Deep Dive zu „komplexe unstrukturierte Eingaben sollen modelliert werden, obwohl Daten und Latenz begrenzt sind“: beginne mit Ziel und Einheit, begründe neuronales Netz mit kontrollierter Generalisierung, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Überwachtes Problem; repräsentative Trainingslabels; Hardware-, Energie- und Latenzbudget sind begrenzt.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Schichten als parametrisierte Transformationen und Loss-Minimierung erklären
Datenvolumen, Labelqualität und Shift prüfen
klassische Baseline für geringe Daten und Transparenz nutzen
strikten Holdout und Seed-Varianz prüfen
Inputdrift, Kalibrierung, Latenz und Ressourcenverbrauch überwachen
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Schichten als parametrisierte Transformationen und Loss-Minimierung erklären; K2: Datenvolumen, Labelqualität und Shift prüfen; K3: klassische Baseline für geringe Daten und Transparenz nutzen; K4: strikten Holdout und Seed-Varianz prüfen; K5: Inputdrift, Kalibrierung, Latenz und Ressourcenverbrauch überwachen.
ML · Metriken, Schwellen und KalibrierungKonzept erklärenmittel
Erkläre im Kontext „ein Score priorisiert begrenzte manuelle Reviews bei ungleichen Fehlerkosten“ das Konzept entscheidungsnahe Klassifikationsevaluation in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Binäres Ziel; Reviewkapazität und Fehlerkosten sind vorab diskutierbar; Labels kommen verzögert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Ranking, Wahrscheinlichkeitsgüte und harte Entscheidung getrennt bewerten
Confusion-Matrix-Metriken an positive Klasse und Nenner binden
Schwelle aus Kosten, Kapazität und Guardrails wählen
Kalibrierung als Übereinstimmung von vorhergesagten und beobachteten Raten erklären
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: ROC-AUC 0,90 bedeutet, dass 90% der ausgegebenen Wahrscheinlichkeiten korrekt sind.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Ranking, Wahrscheinlichkeitsgüte und harte Entscheidung getrennt bewerten; K2: Confusion-Matrix-Metriken an positive Klasse und Nenner binden; K3: Schwelle aus Kosten, Kapazität und Guardrails wählen; K4: Kalibrierung als Übereinstimmung von vorhergesagten und beobachteten Raten erklären.
ML · Metriken, Schwellen und KalibrierungRechnenmittel
Bei TP=40, FP=10, FN=60, TN=890 berechne Precision, Recall und Accuracy; erkläre, welche Zahl die Reviewtrefferquote beschreibt.
Annahmen: Binäres Ziel; Reviewkapazität und Fehlerkosten sind vorab diskutierbar; Labels kommen verzögert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Precision=40/(40+10)=0,80 berechnen
Recall=40/(40+60)=0,40 berechnen
Accuracy=(40+890)/1.000=0,93 berechnen
Precision als Trefferquote der ausgelösten Reviews identifizieren und niedrigen Recall ergänzen
Schwache Antwort: 93% Accuracy als ausreichenden Nachweis für den seltenen positiven Fall verwenden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Precision=40/(40+10)=0,80 berechnen; K2: Recall=40/(40+60)=0,40 berechnen; K3: Accuracy=(40+890)/1.000=0,93 berechnen; K4: Precision als Trefferquote der ausgelösten Reviews identifizieren und niedrigen Recall ergänzen.
ML · Metriken, Schwellen und KalibrierungDebug a claimmittel
Debugge für „ein Score priorisiert begrenzte manuelle Reviews bei ungleichen Fehlerkosten“ die Aussage: „ROC-AUC 0,90 bedeutet, dass 90% der ausgegebenen Wahrscheinlichkeiten korrekt sind.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Binäres Ziel; Reviewkapazität und Fehlerkosten sind vorab diskutierbar; Labels kommen verzögert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
AUC als Rankingwahrscheinlichkeit erklären
Kalibrierung und individuelle Wahrscheinlichkeit davon trennen
Schwellenleistung und Basisrate ergänzen
Calibration Curve beziehungsweise Brier Loss und Kostenanalyse verlangen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: ROC-AUC 0,90 bedeutet, dass 90% der ausgegebenen Wahrscheinlichkeiten korrekt sind.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: AUC als Rankingwahrscheinlichkeit erklären; K2: Kalibrierung und individuelle Wahrscheinlichkeit davon trennen; K3: Schwellenleistung und Basisrate ergänzen; K4: Calibration Curve beziehungsweise Brier Loss und Kostenanalyse verlangen.
ML · Metriken, Schwellen und KalibrierungAnnahmen prüfenschwer
Welche Annahmen musst du bei „ein Score priorisiert begrenzte manuelle Reviews bei ungleichen Fehlerkosten“ für entscheidungsnahe Klassifikationsevaluation prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Binäres Ziel; Reviewkapazität und Fehlerkosten sind vorab diskutierbar; Labels kommen verzögert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
positive Klasse und Entscheidungseinheit eindeutig definieren
repräsentative Basisrate und Labeldelay berücksichtigen
Schwelle nicht auf finalem Test optimieren
bei instabilen Kosten Sensitivitätskurven und Abstention statt Punktschwelle nutzen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: positive Klasse und Entscheidungseinheit eindeutig definieren; K2: repräsentative Basisrate und Labeldelay berücksichtigen; K3: Schwelle nicht auf finalem Test optimieren; K4: bei instabilen Kosten Sensitivitätskurven und Abstention statt Punktschwelle nutzen.
ML · Metriken, Schwellen und KalibrierungVergleichenschwer
Wähle zwischen ROC-AUC, PR-AUC, Brier Loss und Top-k-Recall für den Reviewworkflow.
Annahmen: Binäres Ziel; Reviewkapazität und Fehlerkosten sind vorab diskutierbar; Labels kommen verzögert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
ROC-AUC als schwellenfreie Rankingübersicht einordnen
PR-AUC bei seltener positiver Klasse und Retrievalfokus ergänzen
Brier Loss für Wahrscheinlichkeitsgüte nutzen
Top-k-Recall an feste Kapazität binden und nie allein berichten
Schwache Antwort: Eine Metrik universell als wichtigste erklären.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: ROC-AUC als schwellenfreie Rankingübersicht einordnen; K2: PR-AUC bei seltener positiver Klasse und Retrievalfokus ergänzen; K3: Brier Loss für Wahrscheinlichkeitsgüte nutzen; K4: Top-k-Recall an feste Kapazität binden und nie allein berichten.
ML · Metriken, Schwellen und KalibrierungEvaluationsdesignschwer
Entwirf für „ein Score priorisiert begrenzte manuelle Reviews bei ungleichen Fehlerkosten“ eine Evaluation von entscheidungsnahe Klassifikationsevaluation, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Binäres Ziel; Reviewkapazität und Fehlerkosten sind vorab diskutierbar; Labels kommen verzögert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
zeitgerechten Holdout mit realer Basisrate wählen
Ranking, Kalibrierung und Schwellenmatrix getrennt berichten
Fehler nach relevanten Gruppen und Unsicherheit prüfen
Kapazitäts-, Kosten- und Guardrail-Schwellen vor Pilot definieren
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: zeitgerechten Holdout mit realer Basisrate wählen; K2: Ranking, Kalibrierung und Schwellenmatrix getrennt berichten; K3: Fehler nach relevanten Gruppen und Unsicherheit prüfen; K4: Kapazitäts-, Kosten- und Guardrail-Schwellen vor Pilot definieren.
ML · Metriken, Schwellen und KalibrierungBetriebsdiagnoseschwer
Nach Einführung im Szenario „ein Score priorisiert begrenzte manuelle Reviews bei ungleichen Fehlerkosten“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Binäres Ziel; Reviewkapazität und Fehlerkosten sind vorab diskutierbar; Labels kommen verzögert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Scoreverteilung, Basisrate, Kalibrierung und Reviewvolumen überwachen
Labeldelay von realer Verschlechterung trennen
Schwelle konservativ anpassen oder manuelle Queue als Fallback nutzen
Rekalibrierung nur auf aktuellem validiertem Fenster freigeben
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Scoreverteilung, Basisrate, Kalibrierung und Reviewvolumen überwachen; K2: Labeldelay von realer Verschlechterung trennen; K3: Schwelle konservativ anpassen oder manuelle Queue als Fallback nutzen; K4: Rekalibrierung nur auf aktuellem validiertem Fenster freigeben.
ML · Metriken, Schwellen und KalibrierungStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was entscheidungsnahe Klassifikationsevaluation im Szenario „ein Score priorisiert begrenzte manuelle Reviews bei ungleichen Fehlerkosten“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Binäres Ziel; Reviewkapazität und Fehlerkosten sind vorab diskutierbar; Labels kommen verzögert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Metriknenner in absoluten Zahlen übersetzen
Score, Wahrscheinlichkeit und Aktion trennen
Trade-off zwischen mehr Treffern und mehr Reviews zeigen
keine Gütezahl als Einstellungs- oder Wirkungsgarantie darstellen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Metriknenner in absoluten Zahlen übersetzen; K2: Score, Wahrscheinlichkeit und Aktion trennen; K3: Trade-off zwischen mehr Treffern und mehr Reviews zeigen; K4: keine Gütezahl als Einstellungs- oder Wirkungsgarantie darstellen.
ML · Metriken, Schwellen und KalibrierungMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „ein Score priorisiert begrenzte manuelle Reviews bei ungleichen Fehlerkosten“: beginne mit Ziel und Einheit, begründe entscheidungsnahe Klassifikationsevaluation, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Binäres Ziel; Reviewkapazität und Fehlerkosten sind vorab diskutierbar; Labels kommen verzögert.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Ranking, Wahrscheinlichkeitsgüte und harte Entscheidung getrennt bewerten
positive Klasse und Entscheidungseinheit eindeutig definieren
ROC-AUC als schwellenfreie Rankingübersicht einordnen
zeitgerechten Holdout mit realer Basisrate wählen
Scoreverteilung, Basisrate, Kalibrierung und Reviewvolumen überwachen
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Ranking, Wahrscheinlichkeitsgüte und harte Entscheidung getrennt bewerten; K2: positive Klasse und Entscheidungseinheit eindeutig definieren; K3: ROC-AUC als schwellenfreie Rankingübersicht einordnen; K4: zeitgerechten Holdout mit realer Basisrate wählen; K5: Scoreverteilung, Basisrate, Kalibrierung und Reviewvolumen überwachen.
ML · Fairness, Erklärbarkeit und RobustheitKonzept erklärenmittel
Erkläre im Kontext „ein assistives Modell berührt unterschiedliche Personengruppen und kann angefochten werden“ das Konzept risikoadäquate Modellprüfung über Gruppen und Störungen in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Assistiver, nicht vollautomatischer Einsatz; rechtmäßige und sinnvolle Gruppenanalyse wird vorab geprüft.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Fairnessfrage aus Workflow, Schaden und betroffenen Personen ableiten
Gruppenmetriken mit Unsicherheit und Basisraten berichten
Erklärung als adressatengerechte Evidenz mit Grenzen behandeln
Robustheit gegen plausible Daten- und Prozessänderungen testen
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Eine globale SHAP-Grafik beweist, dass jede Einzelentscheidung fair und kausal erklärbar ist.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Fairnessfrage aus Workflow, Schaden und betroffenen Personen ableiten; K2: Gruppenmetriken mit Unsicherheit und Basisraten berichten; K3: Erklärung als adressatengerechte Evidenz mit Grenzen behandeln; K4: Robustheit gegen plausible Daten- und Prozessänderungen testen.
ML · Fairness, Erklärbarkeit und RobustheitRechnenmittel
Gruppe A hat 80/100, Gruppe B 36/50 richtige Vorhersagen. Berechne Accuracies und absolute Lücke; nenne, warum diese Rechnung allein kein Fairnessurteil ist.
Annahmen: Assistiver, nicht vollautomatischer Einsatz; rechtmäßige und sinnvolle Gruppenanalyse wird vorab geprüft.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Accuracy A=80% berechnen
Accuracy B=72% berechnen
absolute Lücke 8 Prozentpunkte erhalten
Fehlertypen, Basisraten, Unsicherheit, Workflow und Schaden zusätzlich verlangen
Schwache Antwort: 8 Prozentpunkte automatisch als fair oder unfair klassifizieren.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Accuracy A=80% berechnen; K2: Accuracy B=72% berechnen; K3: absolute Lücke 8 Prozentpunkte erhalten; K4: Fehlertypen, Basisraten, Unsicherheit, Workflow und Schaden zusätzlich verlangen.
ML · Fairness, Erklärbarkeit und RobustheitDebug a claimmittel
Debugge für „ein assistives Modell berührt unterschiedliche Personengruppen und kann angefochten werden“ die Aussage: „Eine globale SHAP-Grafik beweist, dass jede Einzelentscheidung fair und kausal erklärbar ist.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Assistiver, nicht vollautomatischer Einsatz; rechtmäßige und sinnvolle Gruppenanalyse wird vorab geprüft.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
globale Assoziationsbeschreibung von Einzelfallbegründung trennen
Modellabhängigkeit und korrelierte Features nennen
Fairness nicht aus Erklärung ableiten
konkrete Prozess-, Gruppen- und Contestability-Prüfung ergänzen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Eine globale SHAP-Grafik beweist, dass jede Einzelentscheidung fair und kausal erklärbar ist.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: globale Assoziationsbeschreibung von Einzelfallbegründung trennen; K2: Modellabhängigkeit und korrelierte Features nennen; K3: Fairness nicht aus Erklärung ableiten; K4: konkrete Prozess-, Gruppen- und Contestability-Prüfung ergänzen.
ML · Fairness, Erklärbarkeit und RobustheitAnnahmen prüfenschwer
Welche Annahmen musst du bei „ein assistives Modell berührt unterschiedliche Personengruppen und kann angefochten werden“ für risikoadäquate Modellprüfung über Gruppen und Störungen prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Assistiver, nicht vollautomatischer Einsatz; rechtmäßige und sinnvolle Gruppenanalyse wird vorab geprüft.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
relevante Gruppen und mögliche Proxymerkmale fachlich/rechtlich klären
ausreichende Gruppengröße und Konfidenz prüfen
menschliche Kontrolle auf tatsächliche Korrekturmöglichkeit testen
bei nicht beherrschbarem Schaden Einsatz verengen, advisory halten oder ablehnen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: relevante Gruppen und mögliche Proxymerkmale fachlich/rechtlich klären; K2: ausreichende Gruppengröße und Konfidenz prüfen; K3: menschliche Kontrolle auf tatsächliche Korrekturmöglichkeit testen; K4: bei nicht beherrschbarem Schaden Einsatz verengen, advisory halten oder ablehnen.
ML · Fairness, Erklärbarkeit und RobustheitVergleichenschwer
Vergleiche globale Modellkarte, lokale Erklärung, Counterfactual und menschliche Begründung für den assistiven Workflow.
Annahmen: Assistiver, nicht vollautomatischer Einsatz; rechtmäßige und sinnvolle Gruppenanalyse wird vorab geprüft.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Model Card für Intended Use und aggregierte Grenzen nutzen
lokale Erklärung als Modellverhalten, nicht Kausalgrund kommunizieren
Counterfactual auf Plausibilität und Handlungsfähigkeit prüfen
menschliche fachliche Begründung und Widerspruchsweg als zentral erhalten
Schwache Antwort: Eine Erklärungsmethode als universellen Ersatz für Governance wählen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Model Card für Intended Use und aggregierte Grenzen nutzen; K2: lokale Erklärung als Modellverhalten, nicht Kausalgrund kommunizieren; K3: Counterfactual auf Plausibilität und Handlungsfähigkeit prüfen; K4: menschliche fachliche Begründung und Widerspruchsweg als zentral erhalten.
ML · Fairness, Erklärbarkeit und RobustheitEvaluationsdesignschwer
Entwirf für „ein assistives Modell berührt unterschiedliche Personengruppen und kann angefochten werden“ eine Evaluation von risikoadäquate Modellprüfung über Gruppen und Störungen, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Assistiver, nicht vollautomatischer Einsatz; rechtmäßige und sinnvolle Gruppenanalyse wird vorab geprüft.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Gesamt- und relevante Gruppenmetriken mit Intervallen berichten
plausible Shift-, Korruptions- und Proxytests durchführen
Overridequalität und Automation Bias im Pilot prüfen
Einsatz bei unakzeptabler Gruppenwirkung oder fehlender Abhilfe stoppen
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Gesamt- und relevante Gruppenmetriken mit Intervallen berichten; K2: plausible Shift-, Korruptions- und Proxytests durchführen; K3: Overridequalität und Automation Bias im Pilot prüfen; K4: Einsatz bei unakzeptabler Gruppenwirkung oder fehlender Abhilfe stoppen.
ML · Fairness, Erklärbarkeit und RobustheitBetriebsdiagnoseschwer
Nach Einführung im Szenario „ein assistives Modell berührt unterschiedliche Personengruppen und kann angefochten werden“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Assistiver, nicht vollautomatischer Einsatz; rechtmäßige und sinnvolle Gruppenanalyse wird vorab geprüft.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Gruppenfehler, Beschwerden, Overrides und Datenqualität beobachten
kleine Gruppen nicht mit volatilen Punktwerten alarmistisch bewerten
manuelle unabhängige Entscheidung und Eskalation als Fallback erhalten
Remediation, Einschränkung oder Rollback dokumentiert entscheiden
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Gruppenfehler, Beschwerden, Overrides und Datenqualität beobachten; K2: kleine Gruppen nicht mit volatilen Punktwerten alarmistisch bewerten; K3: manuelle unabhängige Entscheidung und Eskalation als Fallback erhalten; K4: Remediation, Einschränkung oder Rollback dokumentiert entscheiden.
ML · Fairness, Erklärbarkeit und RobustheitStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was risikoadäquate Modellprüfung über Gruppen und Störungen im Szenario „ein assistives Modell berührt unterschiedliche Personengruppen und kann angefochten werden“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Assistiver, nicht vollautomatischer Einsatz; rechtmäßige und sinnvolle Gruppenanalyse wird vorab geprüft.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Fairness als kontextbezogene Zielabwägung erklären
Unsicherheit bei Gruppenvergleichen zeigen
Erklärung von Rechtfertigung und Kausalität trennen
Anfechtung, Abhilfe und menschliche Verantwortung benennen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Fairness als kontextbezogene Zielabwägung erklären; K2: Unsicherheit bei Gruppenvergleichen zeigen; K3: Erklärung von Rechtfertigung und Kausalität trennen; K4: Anfechtung, Abhilfe und menschliche Verantwortung benennen.
ML · Fairness, Erklärbarkeit und RobustheitMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „ein assistives Modell berührt unterschiedliche Personengruppen und kann angefochten werden“: beginne mit Ziel und Einheit, begründe risikoadäquate Modellprüfung über Gruppen und Störungen, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Assistiver, nicht vollautomatischer Einsatz; rechtmäßige und sinnvolle Gruppenanalyse wird vorab geprüft.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Fairnessfrage aus Workflow, Schaden und betroffenen Personen ableiten
relevante Gruppen und mögliche Proxymerkmale fachlich/rechtlich klären
Model Card für Intended Use und aggregierte Grenzen nutzen
Gesamt- und relevante Gruppenmetriken mit Intervallen berichten
Gruppenfehler, Beschwerden, Overrides und Datenqualität beobachten
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Fairnessfrage aus Workflow, Schaden und betroffenen Personen ableiten; K2: relevante Gruppen und mögliche Proxymerkmale fachlich/rechtlich klären; K3: Model Card für Intended Use und aggregierte Grenzen nutzen; K4: Gesamt- und relevante Gruppenmetriken mit Intervallen berichten; K5: Gruppenfehler, Beschwerden, Overrides und Datenqualität beobachten.
ML · Data Engineering und SQLKonzept erklärenmittel
Erkläre im Kontext „Events und Stammdaten werden für Training und Batch-Inferenz zusammengeführt“ das Konzept reproduzierbare Datenpipeline mit klarem Grain in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Batchpipeline; historisierte Stammdaten; SQL-Dialekt und Produktionssystem bleiben allgemein.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
eine Zeile, Schlüssel und Grain vertraglich definieren
Joins auf Kardinalität und as-of-Zeit prüfen
Datenqualität als explizite Tests statt stiller Annahmen umsetzen
Transformationen, Code und Datenversion gemeinsam nachvollziehbar machen
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Ein erfolgreicher SQL-Query beweist, dass Grain und Zeitlogik fachlich korrekt sind.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: eine Zeile, Schlüssel und Grain vertraglich definieren; K2: Joins auf Kardinalität und as-of-Zeit prüfen; K3: Datenqualität als explizite Tests statt stiller Annahmen umsetzen; K4: Transformationen, Code und Datenversion gemeinsam nachvollziehbar machen.
Eine Faktentabelle hat 1.000 eindeutige Fälle. Der Join zu einer Dimension erzeugt 1.080 Zeilen; 60 Fälle matchen doppelt. Wie viele Fälle matchen einfach, wenn alle Fälle mindestens einen Match haben?
Annahmen: Batchpipeline; historisierte Stammdaten; SQL-Dialekt und Produktionssystem bleiben allgemein.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Doppelte Fälle tragen 60·2=120 Ergebniszeilen bei
Restliche 940 Fälle tragen je eine Zeile bei
Gesamt 120+940=1.060 erkennen und Widerspruch zu 1.080 feststellen
mindestens weitere Mehrfachmatches oder falsche Annahme diagnostizieren statt Zahl zu erfinden
Schwache Antwort: 1.080 als erwartete Eins-zu-eins-Ausgabe akzeptieren oder 80 Duplikate pauschal löschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Doppelte Fälle tragen 60·2=120 Ergebniszeilen bei; K2: Restliche 940 Fälle tragen je eine Zeile bei; K3: Gesamt 120+940=1.060 erkennen und Widerspruch zu 1.080 feststellen; K4: mindestens weitere Mehrfachmatches oder falsche Annahme diagnostizieren statt Zahl zu erfinden.
Debugge für „Events und Stammdaten werden für Training und Batch-Inferenz zusammengeführt“ die Aussage: „Ein erfolgreicher SQL-Query beweist, dass Grain und Zeitlogik fachlich korrekt sind.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Batchpipeline; historisierte Stammdaten; SQL-Dialekt und Produktionssystem bleiben allgemein.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
syntaktische Ausführung von fachlicher Semantik trennen
Kardinalitäts- und Schlüsseltests verlangen
as-of-Zeit und Leakage prüfen
Stichproben gegen Quelle und Datenvertrag abgleichen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Ein erfolgreicher SQL-Query beweist, dass Grain und Zeitlogik fachlich korrekt sind.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: syntaktische Ausführung von fachlicher Semantik trennen; K2: Kardinalitäts- und Schlüsseltests verlangen; K3: as-of-Zeit und Leakage prüfen; K4: Stichproben gegen Quelle und Datenvertrag abgleichen.
ML · Data Engineering und SQLAnnahmen prüfenschwer
Welche Annahmen musst du bei „Events und Stammdaten werden für Training und Batch-Inferenz zusammengeführt“ für reproduzierbare Datenpipeline mit klarem Grain prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Batchpipeline; historisierte Stammdaten; SQL-Dialekt und Produktionssystem bleiben allgemein.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Primärschlüssel und erwartete Join-Kardinalität prüfen
Eventzeit von Verarbeitungszeit unterscheiden
NULL-Semantik und verspätete Daten definieren
bei unklarer Historisierung Feature streichen oder Snapshotvertrag herstellen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Primärschlüssel und erwartete Join-Kardinalität prüfen; K2: Eventzeit von Verarbeitungszeit unterscheiden; K3: NULL-Semantik und verspätete Daten definieren; K4: bei unklarer Historisierung Feature streichen oder Snapshotvertrag herstellen.
Vergleiche vollständigen Neuaufbau, inkrementelle Pipeline und Streaming für den Datenbestand.
Annahmen: Batchpipeline; historisierte Stammdaten; SQL-Dialekt und Produktionssystem bleiben allgemein.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Neuaufbau als einfache reproduzierbare Referenz einordnen
inkrementell bei Volumen mit Idempotenz und Backfillplan nutzen
Streaming nur bei echtem Latenznutzen und höherer Betriebskomplexität wählen
Wahl an SLA, Korrekturen, Kosten und Auditierbarkeit binden
Schwache Antwort: Streaming allein als moderner und damit besser auswählen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Neuaufbau als einfache reproduzierbare Referenz einordnen; K2: inkrementell bei Volumen mit Idempotenz und Backfillplan nutzen; K3: Streaming nur bei echtem Latenznutzen und höherer Betriebskomplexität wählen; K4: Wahl an SLA, Korrekturen, Kosten und Auditierbarkeit binden.
ML · Data Engineering und SQLEvaluationsdesignschwer
Entwirf für „Events und Stammdaten werden für Training und Batch-Inferenz zusammengeführt“ eine Evaluation von reproduzierbare Datenpipeline mit klarem Grain, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Batchpipeline; historisierte Stammdaten; SQL-Dialekt und Produktionssystem bleiben allgemein.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Schema-, Uniqueness-, Range- und Kardinalitätstests automatisieren
Train/Serve-Parität und as-of-Rekonstruktion prüfen
Backfill und verspätete Daten simulieren
Pipeline bei unbekannter Leakage oder nicht reproduzierbarem Snapshot sperren
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Schema-, Uniqueness-, Range- und Kardinalitätstests automatisieren; K2: Train/Serve-Parität und as-of-Rekonstruktion prüfen; K3: Backfill und verspätete Daten simulieren; K4: Pipeline bei unbekannter Leakage oder nicht reproduzierbarem Snapshot sperren.
ML · Data Engineering und SQLBetriebsdiagnoseschwer
Nach Einführung im Szenario „Events und Stammdaten werden für Training und Batch-Inferenz zusammengeführt“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Batchpipeline; historisierte Stammdaten; SQL-Dialekt und Produktionssystem bleiben allgemein.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Volumen, Frische, NULLs, Duplikate und Joinfaktor überwachen
Schema- und Grainbruch sofort alarmieren
letzten validierten Snapshot als Fallback nutzen
Backfill, Reparatur und Reprocessing mit Lineage dokumentieren
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Volumen, Frische, NULLs, Duplikate und Joinfaktor überwachen; K2: Schema- und Grainbruch sofort alarmieren; K3: letzten validierten Snapshot als Fallback nutzen; K4: Backfill, Reparatur und Reprocessing mit Lineage dokumentieren.
ML · Data Engineering und SQLStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was reproduzierbare Datenpipeline mit klarem Grain im Szenario „Events und Stammdaten werden für Training und Batch-Inferenz zusammengeführt“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Batchpipeline; historisierte Stammdaten; SQL-Dialekt und Produktionssystem bleiben allgemein.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Grain mit einem Satz pro Zeile erklären
warum Joinmehrung fachliche Bedeutung ändert zeigen
Frische und Korrektheit als unterschiedliche SLIs benennen
keinen internen Tech-Stack unterstellen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Grain mit einem Satz pro Zeile erklären; K2: warum Joinmehrung fachliche Bedeutung ändert zeigen; K3: Frische und Korrektheit als unterschiedliche SLIs benennen; K4: keinen internen Tech-Stack unterstellen.
ML · Data Engineering und SQLMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „Events und Stammdaten werden für Training und Batch-Inferenz zusammengeführt“: beginne mit Ziel und Einheit, begründe reproduzierbare Datenpipeline mit klarem Grain, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Batchpipeline; historisierte Stammdaten; SQL-Dialekt und Produktionssystem bleiben allgemein.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
eine Zeile, Schlüssel und Grain vertraglich definieren
Primärschlüssel und erwartete Join-Kardinalität prüfen
Neuaufbau als einfache reproduzierbare Referenz einordnen
Schema-, Uniqueness-, Range- und Kardinalitätstests automatisieren
Volumen, Frische, NULLs, Duplikate und Joinfaktor überwachen
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: eine Zeile, Schlüssel und Grain vertraglich definieren; K2: Primärschlüssel und erwartete Join-Kardinalität prüfen; K3: Neuaufbau als einfache reproduzierbare Referenz einordnen; K4: Schema-, Uniqueness-, Range- und Kardinalitätstests automatisieren; K5: Volumen, Frische, NULLs, Duplikate und Joinfaktor überwachen.
Erkläre im Kontext „ein Modell geht zunächst im Shadow-Modus und später begrenzt produktiv“ das Konzept überwachter Modelllebenszyklus mit Rollback in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Batch- oder API-Einsatz mit protokollierbaren Vorhersagen; Labels treffen verzögert ein.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Modellartefakt, Daten, Code, Konfiguration und Entscheidungspolicy versionieren
Shadow, Pilot und Rollout als getrennte Evidenzstufen planen
Daten-, Konzept-, Leistungs- und Prozessdrift unterscheiden
Fallback, Owner, Incident und Retirement vor Go-live definieren
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: Data Drift bedeutet automatisch, dass sofort nachtrainiert werden muss.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Modellartefakt, Daten, Code, Konfiguration und Entscheidungspolicy versionieren; K2: Shadow, Pilot und Rollout als getrennte Evidenzstufen planen; K3: Daten-, Konzept-, Leistungs- und Prozessdrift unterscheiden; K4: Fallback, Owner, Incident und Retirement vor Go-live definieren.
Referenzverteilung zweier Bins ist (0,5;0,5), aktuell (0,8;0,2). Berechne PSI=Σ(q−p)ln(q/p) näherungsweise.
Annahmen: Batch- oder API-Einsatz mit protokollierbaren Vorhersagen; Labels treffen verzögert ein.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
erster Term (0,8−0,5)ln(1,6)≈0,3·0,470=0,141 berechnen
zweiter Term (0,2−0,5)ln(0,4)≈−0,3·−0,916=0,275 berechnen
PSI≈0,416 summieren
PSI als Driftalarm, nicht als Beweis von Leistungsabfall interpretieren
Schwache Antwort: PSI 0,416 automatisch als Modellfehler oder Retrainbefehl behandeln.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: erster Term (0,8−0,5)ln(1,6)≈0,3·0,470=0,141 berechnen; K2: zweiter Term (0,2−0,5)ln(0,4)≈−0,3·−0,916=0,275 berechnen; K3: PSI≈0,416 summieren; K4: PSI als Driftalarm, nicht als Beweis von Leistungsabfall interpretieren.
Debugge für „ein Modell geht zunächst im Shadow-Modus und später begrenzt produktiv“ die Aussage: „Data Drift bedeutet automatisch, dass sofort nachtrainiert werden muss.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Batch- oder API-Einsatz mit protokollierbaren Vorhersagen; Labels treffen verzögert ein.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Inputänderung von Ziel- und Leistungsänderung trennen
Mess- oder Pipelinefehler zuerst prüfen
Wirkung und repräsentative Labels einbeziehen
Retrain, Rekalibrierung, Policyänderung oder kein Eingriff begründet wählen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: Data Drift bedeutet automatisch, dass sofort nachtrainiert werden muss.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Inputänderung von Ziel- und Leistungsänderung trennen; K2: Mess- oder Pipelinefehler zuerst prüfen; K3: Wirkung und repräsentative Labels einbeziehen; K4: Retrain, Rekalibrierung, Policyänderung oder kein Eingriff begründet wählen.
Welche Annahmen musst du bei „ein Modell geht zunächst im Shadow-Modus und später begrenzt produktiv“ für überwachter Modelllebenszyklus mit Rollback prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Batch- oder API-Einsatz mit protokollierbaren Vorhersagen; Labels treffen verzögert ein.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Monitoring-Signale an bekannte Fehlerfolgen binden
Labeldelay und selektives Feedback berücksichtigen
Rollbackartefakt und kompatible Schnittstelle testen
bei fehlendem Owner, Fallback oder beobachtbarer Wirkung nicht deployen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Monitoring-Signale an bekannte Fehlerfolgen binden; K2: Labeldelay und selektives Feedback berücksichtigen; K3: Rollbackartefakt und kompatible Schnittstelle testen; K4: bei fehlendem Owner, Fallback oder beobachtbarer Wirkung nicht deployen.
Entscheide zwischen Rekalibrierung, vollständigem Retraining, Schwellenänderung und Rollback nach einem Driftalarm.
Annahmen: Batch- oder API-Einsatz mit protokollierbaren Vorhersagen; Labels treffen verzögert ein.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Ursache und betroffene Systemschicht isolieren
Rekalibrierung bei stabiler Rangordnung prüfen
Retraining nur mit aktuellen repräsentativen Labels nutzen
Rollback bei unbeherrschtem Schaden oder unklarer Ursache priorisieren
Schwache Antwort: Automatisches Retraining ohne Holdout, Approval oder Rückfalloption auslösen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Ursache und betroffene Systemschicht isolieren; K2: Rekalibrierung bei stabiler Rangordnung prüfen; K3: Retraining nur mit aktuellen repräsentativen Labels nutzen; K4: Rollback bei unbeherrschtem Schaden oder unklarer Ursache priorisieren.
Entwirf für „ein Modell geht zunächst im Shadow-Modus und später begrenzt produktiv“ eine Evaluation von überwachter Modelllebenszyklus mit Rollback, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Batch- oder API-Einsatz mit protokollierbaren Vorhersagen; Labels treffen verzögert ein.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Offline-Backtest und Shadowvergleich gegen aktuelle Baseline durchführen
technische, Modell-, Workflow- und Guardrail-Metriken prüfen
Labeldelay und Unsicherheit explizit machen
Promotion nur mit dokumentierter Freigabe und getesteter Rollbackfähigkeit
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Offline-Backtest und Shadowvergleich gegen aktuelle Baseline durchführen; K2: technische, Modell-, Workflow- und Guardrail-Metriken prüfen; K3: Labeldelay und Unsicherheit explizit machen; K4: Promotion nur mit dokumentierter Freigabe und getesteter Rollbackfähigkeit.
Nach Einführung im Szenario „ein Modell geht zunächst im Shadow-Modus und später begrenzt produktiv“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Batch- oder API-Einsatz mit protokollierbaren Vorhersagen; Labels treffen verzögert ein.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Datenqualität, Latenz, Score, Entscheidungen und verzögerte Wirkung beobachten
Alert mit Owner, Runbook und Eskalationsstufe verbinden
sichere Baseline als sofortigen Fallback erhalten
Incident-Lernen in Tests, Monitoring und Retiremententscheidung überführen
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Datenqualität, Latenz, Score, Entscheidungen und verzögerte Wirkung beobachten; K2: Alert mit Owner, Runbook und Eskalationsstufe verbinden; K3: sichere Baseline als sofortigen Fallback erhalten; K4: Incident-Lernen in Tests, Monitoring und Retiremententscheidung überführen.
ML · MLOps und MonitoringStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was überwachter Modelllebenszyklus mit Rollback im Szenario „ein Modell geht zunächst im Shadow-Modus und später begrenzt produktiv“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Batch- oder API-Einsatz mit protokollierbaren Vorhersagen; Labels treffen verzögert ein.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Drift als Diagnosehinweis statt Urteil erklären
Offline- und Online-Evidenz trennen
Rollback als Sicherheitsfunktion, nicht als Scheitern darstellen
Verantwortung und Entscheidungsschwellen klar benennen
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Drift als Diagnosehinweis statt Urteil erklären; K2: Offline- und Online-Evidenz trennen; K3: Rollback als Sicherheitsfunktion, nicht als Scheitern darstellen; K4: Verantwortung und Entscheidungsschwellen klar benennen.
ML · MLOps und MonitoringMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „ein Modell geht zunächst im Shadow-Modus und später begrenzt produktiv“: beginne mit Ziel und Einheit, begründe überwachter Modelllebenszyklus mit Rollback, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Batch- oder API-Einsatz mit protokollierbaren Vorhersagen; Labels treffen verzögert ein.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Modellartefakt, Daten, Code, Konfiguration und Entscheidungspolicy versionieren
Monitoring-Signale an bekannte Fehlerfolgen binden
Ursache und betroffene Systemschicht isolieren
Offline-Backtest und Shadowvergleich gegen aktuelle Baseline durchführen
Datenqualität, Latenz, Score, Entscheidungen und verzögerte Wirkung beobachten
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Modellartefakt, Daten, Code, Konfiguration und Entscheidungspolicy versionieren; K2: Monitoring-Signale an bekannte Fehlerfolgen binden; K3: Ursache und betroffene Systemschicht isolieren; K4: Offline-Backtest und Shadowvergleich gegen aktuelle Baseline durchführen; K5: Datenqualität, Latenz, Score, Entscheidungen und verzögerte Wirkung beobachten.
ML · GenAI, RAG und SicherheitKonzept erklärenmittel
Erkläre im Kontext „ein Assistent soll Antworten ausschließlich aus freigegebenen Dokumenten entwerfen“ das Konzept retrieval-gestützte generative Assistenz mit Zugriffskontrolle in höchstens 90 Sekunden. Trenne Definition, Intuition und Entscheidungsnutzen.
Annahmen: Hypothetischer assistiver Wissensworkflow; keine autonome folgenreiche Entscheidung oder unkontrollierte externe Aktion.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Retrieval, Kontextzusammenstellung und Generierung als getrennte Stufen prüfen
Groundedness von sprachlicher Plausibilität unterscheiden
Autorisierung vor Retrieval und Ausgabe durchsetzen
Human Review, Abstention und sichere Nichtantwort als Produktfunktion planen
Schwache Antwort: Nur ein Schlagwort nennen oder behaupten: RAG verhindert Halluzinationen, weil dem Modell Quellen gegeben werden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Retrieval, Kontextzusammenstellung und Generierung als getrennte Stufen prüfen; K2: Groundedness von sprachlicher Plausibilität unterscheiden; K3: Autorisierung vor Retrieval und Ausgabe durchsetzen; K4: Human Review, Abstention und sichere Nichtantwort als Produktfunktion planen.
Für 20 Testfragen liefert Retrieval bei 16 mindestens eine relevante Quelle; 12 Antworten sind vollständig quellengetragen. Berechne Retrieval-Coverage und End-to-end-Groundedness bezogen auf alle Fragen.
Annahmen: Hypothetischer assistiver Wissensworkflow; keine autonome folgenreiche Entscheidung oder unkontrollierte externe Aktion.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Retrieval-Coverage=16/20=80% berechnen
Groundedness=12/20=60% bezogen auf alle Fragen berechnen
vier Retrieval- und vier nachgelagerte Groundingfehler unterscheiden
keine 75% als alleinige End-to-end-Quote verwenden, obwohl 12/16 conditional grounded sind
Schwache Antwort: Nur 12/16=75% berichten und die vier Fragen ohne relevante Quelle ausblenden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Retrieval-Coverage=16/20=80% berechnen; K2: Groundedness=12/20=60% bezogen auf alle Fragen berechnen; K3: vier Retrieval- und vier nachgelagerte Groundingfehler unterscheiden; K4: keine 75% als alleinige End-to-end-Quote verwenden, obwohl 12/16 conditional grounded sind.
Debugge für „ein Assistent soll Antworten ausschließlich aus freigegebenen Dokumenten entwerfen“ die Aussage: „RAG verhindert Halluzinationen, weil dem Modell Quellen gegeben werden.“ Leite anschließend eine belastbare Korrektur ab.
Annahmen: Hypothetischer assistiver Wissensworkflow; keine autonome folgenreiche Entscheidung oder unkontrollierte externe Aktion.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Retrievalfehler und Generierungsfehler getrennt benennen
Ignorieren, Vermischen oder Erfinden trotz Kontext erklären
Groundedness-Tests und Zitatprüfung verlangen
Abstention, Human Review und begrenzte Aktion als Schutz ergänzen
Schwache Antwort: Die Behauptung nur als falsch markieren, ohne Mechanismus und Reparatur zu erklären: RAG verhindert Halluzinationen, weil dem Modell Quellen gegeben werden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Retrievalfehler und Generierungsfehler getrennt benennen; K2: Ignorieren, Vermischen oder Erfinden trotz Kontext erklären; K3: Groundedness-Tests und Zitatprüfung verlangen; K4: Abstention, Human Review und begrenzte Aktion als Schutz ergänzen.
ML · GenAI, RAG und SicherheitAnnahmen prüfenschwer
Welche Annahmen musst du bei „ein Assistent soll Antworten ausschließlich aus freigegebenen Dokumenten entwerfen“ für retrieval-gestützte generative Assistenz mit Zugriffskontrolle prüfen, wie können sie scheitern und welche Alternative würdest du dann wählen?
Annahmen: Hypothetischer assistiver Wissensworkflow; keine autonome folgenreiche Entscheidung oder unkontrollierte externe Aktion.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Dokumentrechte, Aktualität und Chunking prüfen
Frage, Retrieval und Ausgabe gegen Prompt Injection absichern
sensible Datenminimierung und Logginggrenzen definieren
bei fehlender Quellenkontrolle Suche, Templates oder menschlichen Workflow bevorzugen
Schwache Antwort: Annahmen als automatisch erfüllt behandeln oder nur einen Modellnamen austauschen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Dokumentrechte, Aktualität und Chunking prüfen; K2: Frage, Retrieval und Ausgabe gegen Prompt Injection absichern; K3: sensible Datenminimierung und Logginggrenzen definieren; K4: bei fehlender Quellenkontrolle Suche, Templates oder menschlichen Workflow bevorzugen.
Vergleiche FAQ-Regeln, klassische Suche, RAG und Fine-Tuning für den Wissensassistenten.
Annahmen: Hypothetischer assistiver Wissensworkflow; keine autonome folgenreiche Entscheidung oder unkontrollierte externe Aktion.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Regeln/Templates bei kleinem stabilen Antwortset nutzen
Suche bei Quellenfindung ohne freie Synthese bevorzugen
RAG bei veränderlichem Korpus und kontrollierter Quellenbindung prüfen
Fine-Tuning nicht als Aktualitäts- oder Zugriffsersatz missverstehen
Schwache Antwort: Fine-Tuning als Methode wählen, um geheime aktuelle Dokumente sicher abrufbar zu machen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Regeln/Templates bei kleinem stabilen Antwortset nutzen; K2: Suche bei Quellenfindung ohne freie Synthese bevorzugen; K3: RAG bei veränderlichem Korpus und kontrollierter Quellenbindung prüfen; K4: Fine-Tuning nicht als Aktualitäts- oder Zugriffsersatz missverstehen.
ML · GenAI, RAG und SicherheitEvaluationsdesignschwer
Entwirf für „ein Assistent soll Antworten ausschließlich aus freigegebenen Dokumenten entwerfen“ eine Evaluation von retrieval-gestützte generative Assistenz mit Zugriffskontrolle, die zur späteren Entscheidung passt. Nenne Split oder Design, Kennzahlen, Unsicherheit und Stop-Regel.
Annahmen: Hypothetischer assistiver Wissensworkflow; keine autonome folgenreiche Entscheidung oder unkontrollierte externe Aktion.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Retrieval-Relevanz und Antwort-Groundedness getrennt labeln
Angriffstests, Rechte und Nichtantwortqualität prüfen
Latenz, Kosten und Reviewaufwand messen
Pilot bei Quellenbruch, Datenleck oder unzuverlässiger Abstention stoppen
Schwache Antwort: Eine einzige Durchschnittskennzahl auf einem zufälligen Split berichten und daraus direkt den Rollout ableiten.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Retrieval-Relevanz und Antwort-Groundedness getrennt labeln; K2: Angriffstests, Rechte und Nichtantwortqualität prüfen; K3: Latenz, Kosten und Reviewaufwand messen; K4: Pilot bei Quellenbruch, Datenleck oder unzuverlässiger Abstention stoppen.
ML · GenAI, RAG und SicherheitBetriebsdiagnoseschwer
Nach Einführung im Szenario „ein Assistent soll Antworten ausschließlich aus freigegebenen Dokumenten entwerfen“ verschlechtert sich das Ergebnis. Strukturiere Diagnose, Schutzmaßnahme, Fallback und Entscheidung über Fortsetzung oder Rollback.
Annahmen: Hypothetischer assistiver Wissensworkflow; keine autonome folgenreiche Entscheidung oder unkontrollierte externe Aktion.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Korpusversion, Rechte, Retrievaltreffer, Groundedness und Overrides überwachen
Prompt-Injection- und Exfiltrationssignale alarmieren
sichere Suche oder keine Antwort als Fallback anbieten
Index, Prompt, Modell und Policies getrennt rollbackfähig halten
Schwache Antwort: Sofort blind nachtrainieren, ohne Daten-, Mess-, Prozess- und Wirkungsänderungen zu trennen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Korpusversion, Rechte, Retrievaltreffer, Groundedness und Overrides überwachen; K2: Prompt-Injection- und Exfiltrationssignale alarmieren; K3: sichere Suche oder keine Antwort als Fallback anbieten; K4: Index, Prompt, Modell und Policies getrennt rollbackfähig halten.
ML · GenAI, RAG und SicherheitStakeholder-Erklärungmittel
Erkläre einer fachlichen Person ohne Statistik- oder ML-Spezialisierung, was retrieval-gestützte generative Assistenz mit Zugriffskontrolle im Szenario „ein Assistent soll Antworten ausschließlich aus freigegebenen Dokumenten entwerfen“ leistet, was nicht und welche Entscheidung noch offen ist.
Annahmen: Hypothetischer assistiver Wissensworkflow; keine autonome folgenreiche Entscheidung oder unkontrollierte externe Aktion.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
RAG als Such-plus-Generierungsarchitektur erklären
Quellenbezug nicht mit Wahrheit garantieren
Nichtantwort und Review als Qualitätsmerkmale darstellen
keine internen APKV-Daten oder Systeme behaupten
Schwache Antwort: Technische Güte mit sicherem fachlichem Nutzen gleichsetzen oder Unsicherheit verschweigen.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 4 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: RAG als Such-plus-Generierungsarchitektur erklären; K2: Quellenbezug nicht mit Wahrheit garantieren; K3: Nichtantwort und Review als Qualitätsmerkmale darstellen; K4: keine internen APKV-Daten oder Systeme behaupten.
ML · GenAI, RAG und SicherheitMündlicher Deep Diveschwer
Führe einen dreiminütigen Deep Dive zu „ein Assistent soll Antworten ausschließlich aus freigegebenen Dokumenten entwerfen“: beginne mit Ziel und Einheit, begründe retrieval-gestützte generative Assistenz mit Zugriffskontrolle, prüfe die wichtigste Annahme und ende mit Evaluation, Betrieb und klarer Empfehlung.
Annahmen: Hypothetischer assistiver Wissensworkflow; keine autonome folgenreiche Entscheidung oder unkontrollierte externe Aktion.
0 Versuche · 00:00 aktiv · noch nicht terminiert
Rubrik und Antwortbausteine
Erwartete Elemente
Retrieval, Kontextzusammenstellung und Generierung als getrennte Stufen prüfen
Dokumentrechte, Aktualität und Chunking prüfen
Regeln/Templates bei kleinem stabilen Antwortset nutzen
Retrieval-Relevanz und Antwort-Groundedness getrennt labeln
Korpusversion, Rechte, Retrievaltreffer, Groundedness und Overrides überwachen
Schwache Antwort: Beim Verfahren beginnen, Ziel und Einheit überspringen und ohne überprüfbare Empfehlung enden.
Bewertung: 0: keine tragfähige Einordnung. 1: ein relevanter Punkt ohne Begründung. 2: zwei Kernelemente korrekt. 3: mindestens drei Elemente mit Annahmen oder Rechenweg. 4: alle 5 item-spezifischen Kriterien verbunden, verständlich und mit einer Entscheidungsfolge. Kriterien: K1: Retrieval, Kontextzusammenstellung und Generierung als getrennte Stufen prüfen; K2: Dokumentrechte, Aktualität und Chunking prüfen; K3: Regeln/Templates bei kleinem stabilen Antwortset nutzen; K4: Retrieval-Relevanz und Antwort-Groundedness getrennt labeln; K5: Korpusversion, Rechte, Retrievaltreffer, Groundedness und Overrides überwachen.