Rastersuche: C × γ (SVM mit RBF)
Testet alle 16 Kombinationen mit Kreuzvalidierung und behält die, die bei Unbekanntem am besten trifft.
Die Klasse eines Punktes ist die, die unter seinen k nächsten Nachbarn am häufigsten vorkommt. Beim Training lernt es nichts: Es speichert nur die Daten. Mit k = 1 wird sogar das Rauschen auswendig gelernt (trifft bei den eigenen Daten 100 %, aber deutlich weniger bei neuen); bei sehr großem k flacht die Grenze ab, bis nichts mehr unterschieden wird.
Die Support-Vector-Machine sucht die Grenze, die den breitesten Rand zwischen den beiden Klassen lässt. Entschieden wird sie nur von den Punkten direkt am Rand: den Stützvektoren (im Bild umkreist). C legt fest, wie stark Punkte auf der falschen Seite bestraft werden: Mit kleinem C wird viel verziehen und der Rand ist breit; mit großem C verbiegt sie sich, um keinen zu verfehlen.
Eine gerade Grenze trennt keine Ringe. Der Kernel ändert, wie die Ähnlichkeit zwischen zwei Punkten gemessen wird, und damit zieht die SVM gekrümmte Grenzen, ohne ein einziges neues Merkmal zu berechnen. Der polynomiale misst (x·y/4 + 1)^Grad; der RBF, exp(−γ·Abstand²): Mit großem γ ähnelt jeder Punkt nur den ganz nahen (sehr gewellte Grenze); mit kleinem γ fast allen (fast gerade Grenze).
Die Trefferquote mit den Trainingsdaten täuscht: k = 1 trifft immer zu 100 %. Die Kreuzvalidierung mit 5 Faltungen teilt die Daten in 5 Teile, trainiert mit 4 und misst mit dem übrigen, fünfmal. Die Validierungskurve zeigt Training und Validierung beim Verändern eines Hyperparameters: Wo sie sich trennen, liegt Overfitting vor. Die Lernkurve zeigt es beim Hinzufügen von Daten: Treffen sich beide unten, fehlt dem Modell Kapazität; bleibt eine Lücke zwischen ihnen, fehlen Daten.
En la vista ¿Cuánto puede aprender?: la dimensión VC de una familia de clasificadores es el mayor número de puntos que, bien colocados, separa con CUALQUIER etiquetado (los «hace añicos»). Una recta en el plano: 3 (con 4 siempre falla algún etiquetado, como el del XOR). Cuanto mayor, más puede aprender… y memorizar. PAC («probablemente, aproximadamente correcto»): cuántos ejemplos garantizan que el error pase de ε como mucho en una fracción δ de las veces. Para un rectángulo, m ≥ (4/ε)·ln(4/δ); la simulación enseña que la cota es pesimista pero se cumple.
Testet alle 16 Kombinationen mit Kreuzvalidierung und behält die, die bei Unbekanntem am besten trifft.