Recherche sur grille : C × γ (SVM avec RBF)
Teste les 16 combinaisons avec validation croisée et garde celle qui réussit le mieux sur ce qu'il n'a pas vu.
La classe d'un point est celle qui revient le plus souvent parmi ses k voisins les plus proches. Il n'apprend rien à l'entraînement : il garde juste les données. Avec k = 1, on apprend par cœur jusqu'au bruit (100 % de réussite sur ses propres données, bien moins ailleurs) ; avec un k très grand, la frontière s'aplatit jusqu'à ne plus rien distinguer.
La machine à vecteurs de support cherche la frontière qui laisse la marge la plus large entre les deux classes. Seuls les points collés à la marge la déterminent : les vecteurs de support (entourés sur le dessin). C fixe à quel point les points du mauvais côté sont pénalisés : avec un C petit, elle pardonne beaucoup et la marge est large ; avec un C grand, elle se plie pour n'en rater aucun.
Une frontière droite ne sépare pas des anneaux. Le noyau change la façon de mesurer la ressemblance entre deux points, ce qui permet à la SVM de tracer des frontières courbes sans calculer aucune nouvelle caractéristique. Le polynomial mesure (x·y/4 + 1)^degré ; le RBF, exp(−γ·distance²) : avec un γ grand, chaque point ne ressemble qu'aux plus proches (frontière très sinueuse) ; avec un γ petit, à presque tous (frontière presque droite).
La précision sur les données d'entraînement trompe : k = 1 réussit toujours à 100 %. La validation croisée à 5 plis divise les données en 5 parties, entraîne avec 4 et mesure avec celle qui reste, 5 fois. La courbe de validation montre l'entraînement et la validation en faisant varier un hyperparamètre : là où elles se séparent, il y a surapprentissage. La courbe d'apprentissage, en ajoutant des données : si les deux se rejoignent en bas, le modèle manque de capacité ; s'il reste un écart entre elles, il manque de données.
En la vista ¿Cuánto puede aprender?: la dimensión VC de una familia de clasificadores es el mayor número de puntos que, bien colocados, separa con CUALQUIER etiquetado (los «hace añicos»). Una recta en el plano: 3 (con 4 siempre falla algún etiquetado, como el del XOR). Cuanto mayor, más puede aprender… y memorizar. PAC («probablemente, aproximadamente correcto»): cuántos ejemplos garantizan que el error pase de ε como mucho en una fracción δ de las veces. Para un rectángulo, m ≥ (4/ε)·ln(4/δ); la simulación enseña que la cota es pesimista pero se cumple.
Teste les 16 combinaisons avec validation croisée et garde celle qui réussit le mieux sur ce qu'il n'a pas vu.