Texte & documents
Nombres & calcul
Données & formats
Sécurité
Développement & DevOps
Intelligence artificielle
Finances
Santé et bien-être
Productivité
Jeux et divertissement
Multimédia & design
Entreprise
Guide d'utilisation
kNN : les voisins votent

La classe d'un point est celle qui revient le plus souvent parmi ses k voisins les plus proches. Il n'apprend rien à l'entraînement : il garde juste les données. Avec k = 1, on apprend par cœur jusqu'au bruit (100 % de réussite sur ses propres données, bien moins ailleurs) ; avec un k très grand, la frontière s'aplatit jusqu'à ne plus rien distinguer.

SVM : la marge la plus large

La machine à vecteurs de support cherche la frontière qui laisse la marge la plus large entre les deux classes. Seuls les points collés à la marge la déterminent : les vecteurs de support (entourés sur le dessin). C fixe à quel point les points du mauvais côté sont pénalisés : avec un C petit, elle pardonne beaucoup et la marge est large ; avec un C grand, elle se plie pour n'en rater aucun.

L'astuce du noyau

Une frontière droite ne sépare pas des anneaux. Le noyau change la façon de mesurer la ressemblance entre deux points, ce qui permet à la SVM de tracer des frontières courbes sans calculer aucune nouvelle caractéristique. Le polynomial mesure (x·y/4 + 1)^degré ; le RBF, exp(−γ·distance²) : avec un γ grand, chaque point ne ressemble qu'aux plus proches (frontière très sinueuse) ; avec un γ petit, à presque tous (frontière presque droite).

Validation croisée et courbes

La précision sur les données d'entraînement trompe : k = 1 réussit toujours à 100 %. La validation croisée à 5 plis divise les données en 5 parties, entraîne avec 4 et mesure avec celle qui reste, 5 fois. La courbe de validation montre l'entraînement et la validation en faisant varier un hyperparamètre : là où elles se séparent, il y a surapprentissage. La courbe d'apprentissage, en ajoutant des données : si les deux se rejoignent en bas, le modèle manque de capacité ; s'il reste un écart entre elles, il manque de données.

¿Cuánto puede aprender? Dimensión VC y PAC

En la vista ¿Cuánto puede aprender?: la dimensión VC de una familia de clasificadores es el mayor número de puntos que, bien colocados, separa con CUALQUIER etiquetado (los «hace añicos»). Una recta en el plano: 3 (con 4 siempre falla algún etiquetado, como el del XOR). Cuanto mayor, más puede aprender… y memorizar. PAC («probablemente, aproximadamente correcto»): cuántos ejemplos garantizan que el error pase de ε como mucho en una fracción δ de las veces. Para un rectángulo, m ≥ (4/ε)·ln(4/δ); la simulación enseña que la cota es pesimista pero se cumple.

ClassificateurskNN, SVM et noyaux avec validation croisée
ClassificateurskNN, SVM et noyaux avec validation croisée

¿Cuántas formas puede separar? La dimensión VC

Coloca n puntos y mira los 2ⁿ etiquetados posibles (azul: positivo; naranja: negativo). Si la familia separa TODOS, esa colocación queda «hecha añicos». La dimensión VC es el mayor n con el que alguna colocación lo consigue: mide cuánto puede llegar a aprender (y a memorizar) la familia.

Este etiquetado se separa (la zona azul es la que el clasificador da por positiva).

Separa los 8 etiquetados: esta colocación de 3 puntos queda hecha añicos.La dimensión VC de esta familia es 3.

¿Cuántos ejemplos hacen falta? Aprendizaje PAC

Hay que aprender un rectángulo (verde) con m puntos al azar. El aprendiz se queda con la caja más ajustada a los positivos (azul); su error es el área verde que se le queda fuera. PAC promete: con m ≥ (4/ε)·ln(4/δ) ejemplos, el error pasa de ε como mucho en una fracción δ de las veces.

En esta prueba, el error es 0,099 (no pasa de ε).

De 300 pruebas con m = 50, el error pasa de ε en el 18,7 % (la promesa con δ = 0,10: como mucho el 10 %).

δcota102050100200400800100 %0

La cota es pesimista a propósito: vale para cualquier rectángulo y cualquier forma de repartir los puntos. En la práctica bastan bastantes menos ejemplos, pero la cota los GARANTIZA.

● classe A▲ classe B✕ mal classé

Recherche sur grille : C × γ (SVM avec RBF)

Teste les 16 combinaisons avec validation croisée et garde celle qui réussit le mieux sur ce qu'il n'a pas vu.