Text & Dokumente

Zahlen & Berechnung

Daten & Formate

Sicherheit

Entwicklung & DevOps

Künstliche Intelligenz

Finanzen

Gesundheit & Wohlbefinden

Produktivität

Spiele & Unterhaltung

Multimedia & Design

Unternehmen

Was es ist und wofür es dient

Bewertet einen binären Klassifikator (sagt Ja/Nein, 1/0 voraus). Das Modell liefert kein Urteil, sondern einen Score von 0 bis 1 — die Wahrscheinlichkeit, Klasse 1 zu sein — und du entscheidest, wo der Schnitt liegt. Dieses Werkzeug erzeugt Beispieldaten und zeigt dir live, wie die Bewertung funktioniert: Score-Histogramm, Konfusionsmatrix, Metriken und die Kurven ROC und PR. Alles wird sofort in deinem Browser neu berechnet; es muss nichts trainiert werden.

Die Steuerelemente: ein Spielzeug-Datensatz

Die Daten sind synthetisch, damit du experimentieren kannst, ohne eigene Daten mitzubringen:

• Qualität — wie gut der Klassifikator ist: 0 = Zufall (die Scores von Positiven und Negativen überlappen sich), 1 = fast perfekt (sauber getrennt).
• Balance — der Anteil der Beispiele, die positiv sind; verringere ihn, um unausgewogene Klassen zu simulieren.
• Stichproben — wie viele Beispiele erzeugt werden (100–1000).
• Neu erzeugen — löst die Daten mit einem anderen Seed neu aus, unter Beibehaltung der Einstellungen, um die Variabilität zu sehen.

Der Schwellenwert entscheidet alles

Der Schwellenwert ist die Trennlinie: Score ≥ Schwellenwert → wird als positiv vorhergesagt. Im Histogramm sind die Balken die Scores der Negativen (0) und der Positiven (1); die senkrechte Linie ist dein Schwellenwert. Verschiebe ihn und beobachte: Ihn zu senken erfasst mehr echte Positive (mehr Recall), lässt aber mehr Fehlalarme durch (weniger Präzision); ihn zu erhöhen bewirkt das Gegenteil. Es gibt keinen perfekten Schwellenwert: Es hängt davon ab, welcher Fehler dich mehr kostet.

Die Konfusionsmatrix, Zelle für Zelle

Kreuzt das tatsächliche (Zeilen) mit dem vorhergesagten (Spalten) Ergebnis beim aktuellen Schwellenwert:

• TP (echt positiv) — war 1 und du hast 1 getippt: ein richtig erkannter Positiver.
• FN (falsch negativ) — war 1 und du hast 0 gesagt: ein Positiver, der dir entgeht.
• FP (falsch positiv) — war 0 und du hast 1 gesagt: ein Fehlalarm.
• TN (echt negativ) — war 0 und du hast 0 getippt: ein richtig verworfener Negativer.

Die Diagonale TP + TN (grün) sind die Treffer; außerhalb davon FP + FN (rot) die Fehler. Die Farbe wird mit der Anzahl intensiver.

Die Metriken und was jede bedeutet

Werden aus den vier Zellen berechnet:

• Genauigkeit (Accuracy) = (TP+TN)/total — Prozentsatz der Treffer. Täuscht, wenn die Klassen unausgewogen sind.
• Präzision = TP/(TP+FP) — von dem, was du als positiv markierst, wie viel stimmt.
• Recall (TPR oder Sensitivität) = TP/(TP+FN) — von den tatsächlich Positiven, wie viele du erwischst.
• Spezifität = TN/(TN+FP) — von den tatsächlich Negativen, wie viele du verwirfst.
• F1 = harmonisches Mittel aus Präzision und Recall 2·P·R/(P+R) — eine einzige Zahl, die das Gleichgewicht zwischen beiden belohnt.

ROC und AUC

Die ROC-Kurve durchläuft ALLE Schwellenwerte gleichzeitig und stellt Treffer (TPR = Recall) gegen Fehlalarme (FPR = FP/(FP+TN)) gegenüber. Der markierte Punkt ist dein aktueller Schwellenwert, und die Diagonale ist der Zufall. Der AUC (Fläche unter der Kurve) fasst die Qualität unabhängig vom Schwellenwert zusammen: 1 = perfekt, 0.5 = Zufall. Entspricht der Wahrscheinlichkeit, dass ein zufälliger Positiver höher bewertet wird als ein zufälliger Negativer.

PR, AP und die Unausgewogenheit

Die PR-Kurve stellt Präzision gegen Recall über die Schwellenwerte hinweg gegenüber; ihre Zusammenfassung ist der AP (durchschnittliche Präzision). Die horizontale Basislinie ist der Anteil der Positiven: das, was ein zufälliger Klassifikator erreichen würde. Bei stark unausgewogenen Klassen sinkt diese Linie, und sie wirklich zu übertreffen ist schwer — deshalb ist die PR ehrlicher als die Genauigkeit, wenn es nur wenige Positive gibt. Senke die „Balance“ und überprüfe es.

ROC oder PR? Wann welche verwenden

• Verwende ROC/AUC, wenn die Klassen ausgewogen sind oder dir Treffer und Fehlalarme gleich wichtig sind; sie ist robust und leicht zwischen Modellen zu vergleichen.
• Verwende PR/AP, wenn die Positiven selten sind (Betrug, Krankheit, Spam) und es dir darauf ankommt, sie richtig zu erkennen: Die ROC kann großartig aussehen, während die tatsächliche Präzision schlecht ist.

Trick: Senke die „Qualität“, und du wirst sehen, wie sich die ROC an die Diagonale anschmiegt; senke die „Balance“, und du wirst sehen, wie die Genauigkeit lügt, der AP aber nicht.

Konfusionsmatrix, ROC und PR

Bewerte einen binären Klassifikator: verschiebe den Schwellenwert und beobachte Metriken und Kurven live

Qualität

0.600

Balance

50.0%

Stichproben

500

Modell-Scores

Negative (0)Positive (1)← Schwellenwert 0.500 →

Konfusionsmatrix

	Vorhersage
Tatsächlich	1	0
1	220TP	26FN
0	29FP	225TN

Korrektklassifikationsrate89.0%

Precision88.4%

Recall (TPR)89.4%

Spezifität88.6%

F10.889

ROC · AUC = 0.960

FPR (Fehlalarme)↑ TPR (Treffer)

PR · AP = 0.959

Recall↑ Precision

Den Schwellenwert wählen und diese Kurven lesen ist tägliches Brot beim Bewerten eines Modells. Probiere: senke die «Qualität» und beobachte, wie sich die ROC an die Diagonale schmiegt; senke die «Balance» und sieh, wie die Korrektklassifikationsrate lügt, der AP aber nicht. Verwandt: Hypothesentest und Neuronales Netz.