Texto y documentos
Números y cálculo
Datos y formatos
Seguridad
Desarrollo y DevOps
Inteligencia Artificial
Finanzas
Salud y bienestar
Productividad
Juegos y entretenimiento
Multimedia y diseño
Empresa
Guía de uso
kNN: los vecinos votan

La clase de un punto es la que más se repite entre sus k vecinos más cercanos. No aprende nada al entrenar: guarda los datos. Con k = 1 se aprende de memoria hasta el ruido (acierta el 100 % de lo suyo y bastante menos fuera); con k muy grande, la frontera se aplana hasta no distinguir nada.

SVM: el margen más ancho

La máquina de vectores de soporte busca la frontera que deja el margen más ancho entre las dos clases. Solo la deciden los puntos pegados al margen: los vectores de soporte (rodeados en el dibujo). C dice cuánto castiga los puntos del lado equivocado: con C pequeño perdona mucho y el margen es ancho; con C grande, se dobla para no fallar ninguno.

El truco del kernel

Una frontera recta no separa unos anillos. El kernel cambia cómo se mide el parecido entre dos puntos, y con eso la SVM traza fronteras curvas sin calcular ninguna característica nueva. El polinómico mide (x·y/4 + 1)^grado; el RBF, exp(−γ·distancia²): con γ grande cada punto solo se parece a los muy cercanos (frontera muy rizada); con γ pequeño, a casi todos (frontera casi recta).

Validación cruzada y curvas

El acierto con los datos de entreno engaña: k = 1 siempre acierta el 100 %. La validación cruzada de 5 pliegues parte los datos en 5 trozos, entrena con 4 y mide con el que queda, 5 veces. La curva de validación enseña entreno y validación al mover un hiperparámetro: donde se separan, sobreajusta. La curva de aprendizaje, al añadir datos: si las dos se juntan abajo, al modelo le falta capacidad; si queda hueco entre ellas, le faltan datos.

¿Cuánto puede aprender? Dimensión VC y PAC

En la vista ¿Cuánto puede aprender?: la dimensión VC de una familia de clasificadores es el mayor número de puntos que, bien colocados, separa con CUALQUIER etiquetado (los «hace añicos»). Una recta en el plano: 3 (con 4 siempre falla algún etiquetado, como el del XOR). Cuanto mayor, más puede aprender… y memorizar. PAC («probablemente, aproximadamente correcto»): cuántos ejemplos garantizan que el error pase de ε como mucho en una fracción δ de las veces. Para un rectángulo, m ≥ (4/ε)·ln(4/δ); la simulación enseña que la cota es pesimista pero se cumple.

ClasificadoreskNN, SVM y kernels con validación cruzada
ClasificadoreskNN, SVM y kernels con validación cruzada

¿Cuántas formas puede separar? La dimensión VC

Coloca n puntos y mira los 2ⁿ etiquetados posibles (azul: positivo; naranja: negativo). Si la familia separa TODOS, esa colocación queda «hecha añicos». La dimensión VC es el mayor n con el que alguna colocación lo consigue: mide cuánto puede llegar a aprender (y a memorizar) la familia.

Este etiquetado se separa (la zona azul es la que el clasificador da por positiva).

Separa los 8 etiquetados: esta colocación de 3 puntos queda hecha añicos.La dimensión VC de esta familia es 3.

¿Cuántos ejemplos hacen falta? Aprendizaje PAC

Hay que aprender un rectángulo (verde) con m puntos al azar. El aprendiz se queda con la caja más ajustada a los positivos (azul); su error es el área verde que se le queda fuera. PAC promete: con m ≥ (4/ε)·ln(4/δ) ejemplos, el error pasa de ε como mucho en una fracción δ de las veces.

En esta prueba, el error es 0,099 (no pasa de ε).

De 300 pruebas con m = 50, el error pasa de ε en el 18,7 % (la promesa con δ = 0,10: como mucho el 10 %).

δcota102050100200400800100 %0

La cota es pesimista a propósito: vale para cualquier rectángulo y cualquier forma de repartir los puntos. En la práctica bastan bastantes menos ejemplos, pero la cota los GARANTIZA.

● clase A▲ clase B✕ mal clasificado

Búsqueda en rejilla: C × γ (SVM con RBF)

Prueba las 16 combinaciones con validación cruzada y se queda con la que mejor acierta con lo que no ha visto.