Búsqueda en rejilla: C × γ (SVM con RBF)
Prueba las 16 combinaciones con validación cruzada y se queda con la que mejor acierta con lo que no ha visto.
La clase de un punto es la que más se repite entre sus k vecinos más cercanos. No aprende nada al entrenar: guarda los datos. Con k = 1 se aprende de memoria hasta el ruido (acierta el 100 % de lo suyo y bastante menos fuera); con k muy grande, la frontera se aplana hasta no distinguir nada.
La máquina de vectores de soporte busca la frontera que deja el margen más ancho entre las dos clases. Solo la deciden los puntos pegados al margen: los vectores de soporte (rodeados en el dibujo). C dice cuánto castiga los puntos del lado equivocado: con C pequeño perdona mucho y el margen es ancho; con C grande, se dobla para no fallar ninguno.
Una frontera recta no separa unos anillos. El kernel cambia cómo se mide el parecido entre dos puntos, y con eso la SVM traza fronteras curvas sin calcular ninguna característica nueva. El polinómico mide (x·y/4 + 1)^grado; el RBF, exp(−γ·distancia²): con γ grande cada punto solo se parece a los muy cercanos (frontera muy rizada); con γ pequeño, a casi todos (frontera casi recta).
El acierto con los datos de entreno engaña: k = 1 siempre acierta el 100 %. La validación cruzada de 5 pliegues parte los datos en 5 trozos, entrena con 4 y mide con el que queda, 5 veces. La curva de validación enseña entreno y validación al mover un hiperparámetro: donde se separan, sobreajusta. La curva de aprendizaje, al añadir datos: si las dos se juntan abajo, al modelo le falta capacidad; si queda hueco entre ellas, le faltan datos.
En la vista ¿Cuánto puede aprender?: la dimensión VC de una familia de clasificadores es el mayor número de puntos que, bien colocados, separa con CUALQUIER etiquetado (los «hace añicos»). Una recta en el plano: 3 (con 4 siempre falla algún etiquetado, como el del XOR). Cuanto mayor, más puede aprender… y memorizar. PAC («probablemente, aproximadamente correcto»): cuántos ejemplos garantizan que el error pase de ε como mucho en una fracción δ de las veces. Para un rectángulo, m ≥ (4/ε)·ln(4/δ); la simulación enseña que la cota es pesimista pero se cumple.
Prueba las 16 combinaciones con validación cruzada y se queda con la que mejor acierta con lo que no ha visto.