Texto e documentos
Números e cálculo
Dados e formatos
Segurança
Desenvolvimento e DevOps
Inteligência Artificial
Finanças
Saúde & Bem-estar
Produtividade
Jogos & Entretenimento
Multimédia e design
Empresa
Guia de utilização
kNN: os vizinhos votam

A classe de um ponto é a que mais se repete entre os seus k vizinhos mais próximos. Não aprende nada ao treinar: guarda os dados. Com k = 1 aprende-se de memória até ao ruído (acerta 100 % do que é seu e bastante menos fora); com k muito grande, a fronteira aplana-se até não distinguir nada.

SVM: a margem mais larga

A máquina de vetores de suporte procura a fronteira que deixa a margem mais larga entre as duas classes. Só a decidem os pontos colados à margem: os vetores de suporte (assinalados no desenho). C diz o quanto penaliza os pontos do lado errado: com C pequeno perdoa muito e a margem é larga; com C grande, dobra-se para não falhar nenhum.

O truque do kernel

Uma fronteira reta não separa anéis. O kernel muda a forma como se mede a semelhança entre dois pontos, e com isso a SVM traça fronteiras curvas sem calcular nenhuma característica nova. O polinomial mede (x·y/4 + 1)^grau; o RBF, exp(−γ·distância²): com γ grande, cada ponto só se parece com os muito próximos (fronteira muito ondulada); com γ pequeno, com quase todos (fronteira quase reta).

Validação cruzada e curvas

O acerto com os dados de treino engana: k = 1 acerta sempre 100 %. A validação cruzada de 5 partições divide os dados em 5 partes, treina com 4 e mede com a que resta, 5 vezes. A curva de validação mostra treino e validação ao mover um hiperparâmetro: onde se separam, há sobreajuste. A curva de aprendizagem, ao acrescentar dados: se as duas se juntam em baixo, falta capacidade ao modelo; se fica um espaço entre elas, faltam dados.

¿Cuánto puede aprender? Dimensión VC y PAC

En la vista ¿Cuánto puede aprender?: la dimensión VC de una familia de clasificadores es el mayor número de puntos que, bien colocados, separa con CUALQUIER etiquetado (los «hace añicos»). Una recta en el plano: 3 (con 4 siempre falla algún etiquetado, como el del XOR). Cuanto mayor, más puede aprender… y memorizar. PAC («probablemente, aproximadamente correcto»): cuántos ejemplos garantizan que el error pase de ε como mucho en una fracción δ de las veces. Para un rectángulo, m ≥ (4/ε)·ln(4/δ); la simulación enseña que la cota es pesimista pero se cumple.

ClassificadoreskNN, SVM e kernels com validação cruzada
ClassificadoreskNN, SVM e kernels com validação cruzada

¿Cuántas formas puede separar? La dimensión VC

Coloca n puntos y mira los 2ⁿ etiquetados posibles (azul: positivo; naranja: negativo). Si la familia separa TODOS, esa colocación queda «hecha añicos». La dimensión VC es el mayor n con el que alguna colocación lo consigue: mide cuánto puede llegar a aprender (y a memorizar) la familia.

Este etiquetado se separa (la zona azul es la que el clasificador da por positiva).

Separa los 8 etiquetados: esta colocación de 3 puntos queda hecha añicos.La dimensión VC de esta familia es 3.

¿Cuántos ejemplos hacen falta? Aprendizaje PAC

Hay que aprender un rectángulo (verde) con m puntos al azar. El aprendiz se queda con la caja más ajustada a los positivos (azul); su error es el área verde que se le queda fuera. PAC promete: con m ≥ (4/ε)·ln(4/δ) ejemplos, el error pasa de ε como mucho en una fracción δ de las veces.

En esta prueba, el error es 0,099 (no pasa de ε).

De 300 pruebas con m = 50, el error pasa de ε en el 18,7 % (la promesa con δ = 0,10: como mucho el 10 %).

δcota102050100200400800100 %0

La cota es pesimista a propósito: vale para cualquier rectángulo y cualquier forma de repartir los puntos. En la práctica bastan bastantes menos ejemplos, pero la cota los GARANTIZA.

● classe A▲ classe B✕ mal classificado

Busca em grelha: C × γ (SVM com RBF)

Testa as 16 combinações com validação cruzada e fica com a que acerta melhor com o que não viu.