Text & Dokumente
Zahlen & Berechnung
Daten & Formate
Sicherheit
Entwicklung & DevOps
Künstliche Intelligenz
Finanzen
Gesundheit & Wohlbefinden
Produktivität
Spiele & Unterhaltung
Multimedia & Design
Unternehmen
Bedienungsanleitung
kNN: Die Nachbarn stimmen ab

Die Klasse eines Punktes ist die, die unter seinen k nächsten Nachbarn am häufigsten vorkommt. Beim Training lernt es nichts: Es speichert nur die Daten. Mit k = 1 wird sogar das Rauschen auswendig gelernt (trifft bei den eigenen Daten 100 %, aber deutlich weniger bei neuen); bei sehr großem k flacht die Grenze ab, bis nichts mehr unterschieden wird.

SVM: der breiteste Rand

Die Support-Vector-Machine sucht die Grenze, die den breitesten Rand zwischen den beiden Klassen lässt. Entschieden wird sie nur von den Punkten direkt am Rand: den Stützvektoren (im Bild umkreist). C legt fest, wie stark Punkte auf der falschen Seite bestraft werden: Mit kleinem C wird viel verziehen und der Rand ist breit; mit großem C verbiegt sie sich, um keinen zu verfehlen.

Der Kernel-Trick

Eine gerade Grenze trennt keine Ringe. Der Kernel ändert, wie die Ähnlichkeit zwischen zwei Punkten gemessen wird, und damit zieht die SVM gekrümmte Grenzen, ohne ein einziges neues Merkmal zu berechnen. Der polynomiale misst (x·y/4 + 1)^Grad; der RBF, exp(−γ·Abstand²): Mit großem γ ähnelt jeder Punkt nur den ganz nahen (sehr gewellte Grenze); mit kleinem γ fast allen (fast gerade Grenze).

Kreuzvalidierung und Kurven

Die Trefferquote mit den Trainingsdaten täuscht: k = 1 trifft immer zu 100 %. Die Kreuzvalidierung mit 5 Faltungen teilt die Daten in 5 Teile, trainiert mit 4 und misst mit dem übrigen, fünfmal. Die Validierungskurve zeigt Training und Validierung beim Verändern eines Hyperparameters: Wo sie sich trennen, liegt Overfitting vor. Die Lernkurve zeigt es beim Hinzufügen von Daten: Treffen sich beide unten, fehlt dem Modell Kapazität; bleibt eine Lücke zwischen ihnen, fehlen Daten.

¿Cuánto puede aprender? Dimensión VC y PAC

En la vista ¿Cuánto puede aprender?: la dimensión VC de una familia de clasificadores es el mayor número de puntos que, bien colocados, separa con CUALQUIER etiquetado (los «hace añicos»). Una recta en el plano: 3 (con 4 siempre falla algún etiquetado, como el del XOR). Cuanto mayor, más puede aprender… y memorizar. PAC («probablemente, aproximadamente correcto»): cuántos ejemplos garantizan que el error pase de ε como mucho en una fracción δ de las veces. Para un rectángulo, m ≥ (4/ε)·ln(4/δ); la simulación enseña que la cota es pesimista pero se cumple.

KlassifikatorenkNN, SVM und Kernel mit Kreuzvalidierung
KlassifikatorenkNN, SVM und Kernel mit Kreuzvalidierung

¿Cuántas formas puede separar? La dimensión VC

Coloca n puntos y mira los 2ⁿ etiquetados posibles (azul: positivo; naranja: negativo). Si la familia separa TODOS, esa colocación queda «hecha añicos». La dimensión VC es el mayor n con el que alguna colocación lo consigue: mide cuánto puede llegar a aprender (y a memorizar) la familia.

Este etiquetado se separa (la zona azul es la que el clasificador da por positiva).

Separa los 8 etiquetados: esta colocación de 3 puntos queda hecha añicos.La dimensión VC de esta familia es 3.

¿Cuántos ejemplos hacen falta? Aprendizaje PAC

Hay que aprender un rectángulo (verde) con m puntos al azar. El aprendiz se queda con la caja más ajustada a los positivos (azul); su error es el área verde que se le queda fuera. PAC promete: con m ≥ (4/ε)·ln(4/δ) ejemplos, el error pasa de ε como mucho en una fracción δ de las veces.

En esta prueba, el error es 0,099 (no pasa de ε).

De 300 pruebas con m = 50, el error pasa de ε en el 18,7 % (la promesa con δ = 0,10: como mucho el 10 %).

δcota102050100200400800100 %0

La cota es pesimista a propósito: vale para cualquier rectángulo y cualquier forma de repartir los puntos. En la práctica bastan bastantes menos ejemplos, pero la cota los GARANTIZA.

● Klasse A▲ Klasse B✕ falsch klassifiziert

Rastersuche: C × γ (SVM mit RBF)

Testet alle 16 Kombinationen mit Kreuzvalidierung und behält die, die bei Unbekanntem am besten trifft.