Die Regression sucht die Kurve, die am besten durch eine Punktwolke verläuft, um den Wert y anhand eines x vorherzusagen. Jeder Punkt ist eine Beobachtung (zum Beispiel Lernstunden → Note); die angepasste Kurve fasst den Trend zusammen und erlaubt dir, das y eines nicht gemessenen x zu schätzen. Hier siehst du es live: du bewegst Punkte und die Kurve, der Fehler und das R² werden sofort neu berechnet, alles in deinem Browser.
1. Ziehe einen beliebigen Punkt, um ihn zu verschieben; die Kurve passt sich beim Loslassen neu an.
2. Klicke in eine Lücke des Diagramms, um einen neuen Punkt hinzuzufügen.
3. Bewege den Regler Grad, um von einer Geraden zu einer Kurve zu wechseln, und Regularisierung λ, um sie zu glätten.
4. Lies unten den MSE und das R² der Anpassung.
5. Buttons: Letzten entfernen löscht den letzten Punkt, Leeren löscht alle und Zurücksetzen kehrt zum Ausgangsbeispiel zurück (10 Punkte, Grad 1, λ 0).
Mit Grad 1 ist die Anpassung eine Gerade y = a·x + b: die klassische lineare Regression. Es ist das einfachste und robusteste Modell: erfasst den allgemeinen Trend (ob y mit wachsendem x steigt oder fällt, und mit welcher Steigung), ohne sich vom Rauschen jedes Punktes mitreißen zu lassen. Fang immer hiermit an; erhöhe den Grad nur, wenn die Gerade der Form der Daten eindeutig nicht folgt.
Die Kurve wird nach der Methode der kleinsten Quadrate gewählt: gesucht wird die, die die Summe der quadrierten Fehler zwischen jedem Punkt und der Kurve (die Residuen) minimiert. Sie werden quadriert, damit sich Fehler nach oben und unten nicht aufheben und größere Fehler stärker bestraft werden. Intern wird ein exaktes lineares Gleichungssystem gelöst (Normalgleichungen), nicht durch Ausprobieren. Diesen Fehler zu minimieren entspricht der Maximum-Likelihood-Schätzung (MLE), wenn angenommen wird, dass das Rauschen der Daten gaußförmig ist.
Der Grad (von 1 bis 7) bestimmt, wie viele Kurven das Polynom bilden kann: Grad 1 = Gerade, 2 = Parabel, und je höher der Grad, desto mehr Wellen. Ein hoher Grad reduziert den Fehler auf diesen Punkten, verschlechtert sich aber meist: er überanpasst (Overfitting), das heißt, er verläuft fast durch jeden Punkt, jagt dem Rauschen hinterher und generalisiert schlecht auf neue Daten. Das ist das Bias-Varianz-Gleichgewicht: zu einfach erfasst nicht die Form, zu komplex merkt sich das Rauschen. Wähle den niedrigsten Grad, der dem Trend folgt.
Die grauen vertikalen Linien sind die Residuen: der Abstand jedes Punktes zur Kurve, also der Fehler, den das Modell an diesem Punkt macht.
• MSE (Loss) — mittlerer quadratischer Fehler: der Durchschnitt dieser quadrierten Residuen. Niedriger = bessere Anpassung; genau das minimiert die Anpassung.
• R² — Bestimmtheitsmaß: welchen Anteil der Variation von y das Modell erklärt. Reicht von 0 bis 1: 1 = die Kurve verläuft durch alle Punkte, 0 = verbessert die Vorhersage gegenüber dem bloßen Mittelwert nicht (und kann negativ sein, wenn sie schlechter passt als der Mittelwert selbst).
Die Regularisierung λ (von 0 bis 10) bekämpft die Überanpassung, ohne den Grad zu senken: sie bestraft große Gewichte des Polynoms (Ridge), was die Kurve glättet und weniger empfindlich gegenüber Rauschen macht. Mit λ = 0 ist es reine Kleinste-Quadrate-Anpassung; steigt λ, flacht die Kurve ab und tendiert zu einer Geraden. Es entspricht dem Hinzufügen eines gaußschen Priors über die Gewichte: bayessch gesehen wechselst du von MLE zu MAP. Die Bestrafung betrifft nicht den konstanten Term (Achsenabschnitt).
Zieh die Punkte. Klick auf eine freie Stelle fügt einen Punkt hinzu. Die grauen Linien sind die Residuen (Fehler jedes Punkts).
Den MSE zu minimieren = Maximum-Likelihood mit gaußschem Rauschen (MLE). Den Grad zu erhöhen überanpasst verrauschte Daten; λ (Ridge) entspricht einem gaußschen Prior über die Gewichte → MAP. Das ist der Bias-Varianz-Kompromiss.