Text & Dokumente
Zahlen & Berechnung
Daten & Formate
Sicherheit
Entwicklung & DevOps
Künstliche Intelligenz
Finanzen
Gesundheit & Wohlbefinden
Produktivität
Spiele & Unterhaltung
Multimedia & Design
Unternehmen
Bedienungsanleitung
Was es ist und wofür es dient

Die Regression sucht die Kurve, die am besten durch eine Punktwolke verläuft, um den Wert y anhand eines x vorherzusagen. Jeder Punkt ist eine Beobachtung (zum Beispiel Lernstunden → Note); die angepasste Kurve fasst den Trend zusammen und erlaubt dir, das y eines nicht gemessenen x zu schätzen. Hier siehst du es live: du bewegst Punkte und die Kurve, der Fehler und das R² werden sofort neu berechnet, alles in deinem Browser.

So wird es benutzt (Schritt für Schritt)

1. Ziehe einen beliebigen Punkt, um ihn zu verschieben; die Kurve passt sich beim Loslassen neu an.
2. Klicke in eine Lücke des Diagramms, um einen neuen Punkt hinzuzufügen.
3. Bewege den Regler Grad, um von einer Geraden zu einer Kurve zu wechseln, und Regularisierung λ, um sie zu glätten.
4. Lies unten den MSE und das R² der Anpassung.
5. Buttons: Letzten entfernen löscht den letzten Punkt, Leeren löscht alle und Zurücksetzen kehrt zum Ausgangsbeispiel zurück (10 Punkte, Grad 1, λ 0).

Lineare Regression (die Gerade)

Mit Grad 1 ist die Anpassung eine Gerade y = a·x + b: die klassische lineare Regression. Es ist das einfachste und robusteste Modell: erfasst den allgemeinen Trend (ob y mit wachsendem x steigt oder fällt, und mit welcher Steigung), ohne sich vom Rauschen jedes Punktes mitreißen zu lassen. Fang immer hiermit an; erhöhe den Grad nur, wenn die Gerade der Form der Daten eindeutig nicht folgt.

Kleinste Quadrate (wie die Anpassung erfolgt)

Die Kurve wird nach der Methode der kleinsten Quadrate gewählt: gesucht wird die, die die Summe der quadrierten Fehler zwischen jedem Punkt und der Kurve (die Residuen) minimiert. Sie werden quadriert, damit sich Fehler nach oben und unten nicht aufheben und größere Fehler stärker bestraft werden. Intern wird ein exaktes lineares Gleichungssystem gelöst (Normalgleichungen), nicht durch Ausprobieren. Diesen Fehler zu minimieren entspricht der Maximum-Likelihood-Schätzung (MLE), wenn angenommen wird, dass das Rauschen der Daten gaußförmig ist.

Polynomgrad und Überanpassung

Der Grad (von 1 bis 7) bestimmt, wie viele Kurven das Polynom bilden kann: Grad 1 = Gerade, 2 = Parabel, und je höher der Grad, desto mehr Wellen. Ein hoher Grad reduziert den Fehler auf diesen Punkten, verschlechtert sich aber meist: er überanpasst (Overfitting), das heißt, er verläuft fast durch jeden Punkt, jagt dem Rauschen hinterher und generalisiert schlecht auf neue Daten. Das ist das Bias-Varianz-Gleichgewicht: zu einfach erfasst nicht die Form, zu komplex merkt sich das Rauschen. Wähle den niedrigsten Grad, der dem Trend folgt.

Residuen, MSE und R²

Die grauen vertikalen Linien sind die Residuen: der Abstand jedes Punktes zur Kurve, also der Fehler, den das Modell an diesem Punkt macht.

• MSE (Loss) — mittlerer quadratischer Fehler: der Durchschnitt dieser quadrierten Residuen. Niedriger = bessere Anpassung; genau das minimiert die Anpassung.
• R² — Bestimmtheitsmaß: welchen Anteil der Variation von y das Modell erklärt. Reicht von 0 bis 1: 1 = die Kurve verläuft durch alle Punkte, 0 = verbessert die Vorhersage gegenüber dem bloßen Mittelwert nicht (und kann negativ sein, wenn sie schlechter passt als der Mittelwert selbst).

Fehler mit ungesehenen Daten

Der MSE misst, wie gut die Kurve ihre eigenen Punkte lernt, und mit höherem Grad sinkt er immer weiter. Der Fehler mit ungesehenen Daten misst, was zählt: wie gut sie einen neuen Punkt errät. Er wird berechnet, indem man jeden Punkt auslässt, ohne ihn neu anpasst und schaut, wie weit die Vorhersage für ihn daneben liegt (Kreuzvalidierung „Leave-one-out"). Mit den Beispieldaten: Grad 1 → 0,36; Grad 7 → 25,7, obwohl sein MSE niedriger ist. Wenn der eine sinkt und der andere steigt, ist das Overfitting; erhöhe λ, und du wirst sehen, wie es ausgebremst wird.

Die Gleichung und die Vorhersage

Oben rechts steht die Gleichung der angepassten Kurve: bei Grad 1, y = a·x + b. Diese Koeffizienten sind alles, was das Modell aus den Punkten gelernt hat; trainieren heißt, sie zu suchen, und deshalb ändern sie sich, während du ziehst.

Das Steuerelement Vorhersage bei x bedeutet, das Modell zu benutzen: wähle ein x und lies das y ab, das die Kurve liefert (der grüne Punkt). Wenn du es außerhalb des Datenbereichs nimmst, extrapolierst du: bei Grad 1 bleibt die Gerade vernünftig; bei Grad 7 schießt die Kurve an den Rändern hoch, und das ist der direkteste Weg zu sehen, warum ein Modell, das sich seinen Daten wunderbar anpasst, katastrophal schlecht vorhersagen kann.

Regularisierung λ (Ridge = MAP)

Die Regularisierung λ (von 0 bis 10) bekämpft die Überanpassung, ohne den Grad zu senken: sie bestraft große Gewichte des Polynoms (Ridge), was die Kurve glättet und weniger empfindlich gegenüber Rauschen macht. Mit λ = 0 ist es reine Kleinste-Quadrate-Anpassung; steigt λ, flacht die Kurve ab und tendiert zu einer Geraden. Es entspricht dem Hinzufügen eines gaußschen Priors über die Gewichte: bayessch gesehen wechselst du von MLE zu MAP. Die Bestrafung betrifft nicht den konstanten Term (Achsenabschnitt).

Regression und MLEKleinste Quadrate, Overfitting, Ridge
Regression und MLEAnpassung nach kleinsten Quadraten, Overfitting und Regularisierung (Ridge = MAP)
02468100246810xy

Bewege den Mauszeiger über das Diagramm, um die Koordinaten abzulesen.Tipp auf das Diagramm oder einen Punkt, um die Koordinaten abzulesen.

Zieh die Punkte. Klick auf eine freie Stelle fügt einen Punkt hinzu. Die grauen Linien sind die Residuen (Fehler jedes Punkts).

Um die Ansicht zu verschieben, zieh mit der rechten Maustaste oder gedrücktem Mausrad (auf einem Touchscreen: gedrückt halten und ziehen). Das Mausrad zoomt hinein und heraus.

Zieh die Punkte. Ein Tipp auf eine leere Stelle fügt einen Punkt hinzu. Die grauen Linien sind die Residuen (der Fehler jedes Punkts).

Um die Ansicht zu verschieben, halt einen Moment gedrückt und zieh. Die Schaltflächen oben zoomen hinein, heraus und passen die Ansicht ein.

y = 0,687·x + 1,658

Grad
1
Regularisierung λ
0
Vorhersage bei x
5
Vorhersagex = 5 → y = 5,094
MSE (Loss)0,236
R²0,942
Fehler mit ungesehenen Daten0,363

Den MSE zu minimieren = Maximum-Likelihood mit gaußschem Rauschen (MLE). Den Grad zu erhöhen überanpasst verrauschte Daten; λ (Ridge) entspricht einem gaußschen Prior über die Gewichte → MAP. Das ist der Bias-Varianz-Kompromiss.