Die Attention ist das Herz der Transformer (BERT, GPT…). Jedes Token berechnet für alle anderen, wie stark es sie beim Aufbau seiner Repräsentation «anschauen» soll. Hier siehst du es: Die Matrix ist Token-zu-Token (jede Zeile ergibt in Summe 1) und die Bögen zeigen, wohin das von dir gewählte Token schaut. Schreibe deinen eigenen Satz.
Para decidir a quién mirar, de cada token salen tres vectores: Query (Q, «qué busco»), Key (K, «qué ofrezco») y Value (V, «qué aporto si me miran»).
• El peso del token i sobre el j es el producto escalar de la Query de i por la Key de j.
• Se divide por √dk (escalado, para que los números no se disparen) y se pasa por softmax, que convierte los pesos de cada fila en porcentajes que suman 1.
• En resumen: A = softmax(Q·Kᵀ / √dk). Esta herramienta dibuja esa matriz A; un modelo real usaría esos pesos para mezclar los Value.
Ein Transformer hat nicht EINE Attention, sondern mehrere Heads parallel, jeder mit anderen Projektionen → jeder achtet auf andere Beziehungen (einer auf das vorherige Wort, ein anderer auf das Subjekt…). Wechsle den Head und beobachte, wie sich das Muster verändert.
Modelle, die Text generieren (GPT), können nicht in die Zukunft schauen: Jedes Token beachtet nur die vorherigen. Aktiviere die kausale Maske und du siehst, wie die obere Hälfte der Matrix erlischt — so wird trainiert, das nächste Token vorherzusagen. Ohne Maske (BERT) sieht jedes Token den ganzen Satz.
La matriz de atención es un mapa de calor de token × token: la fila es el token que mira (desde) y la columna el token mirado (hacia).
• Cuanto más azul intensa la celda, mayor el peso; el blanco es casi cero.
• Cada fila suma el 100% (es una distribución).
• Pasa el ratón por una celda para leer el valor exacto (p. ej. gato → gato: 40%).
• La diagonal suele encenderse: casi siempre un token se atiende bastante a sí mismo.
Sobre la tira de la frase, haz clic en una palabra y aparecen arcos hacia las palabras que mira, tomados de esa fila de la matriz. El grosor y la opacidad de cada arco son proporcionales al peso (se ocultan los pesos por debajo del 2%). Vuelve a hacer clic para deseleccionar. Es la misma información que una fila del heatmap, pero dibujada sobre el texto para leerla de un vistazo.
1. Escribe una frase en el campo de arriba (se tokeniza por palabras y signos, hasta 40 tokens).
2. Elige una Cabeza (1–4) para ver distintos patrones.
3. Marca o desmarca la Máscara causal para comparar GPT vs. BERT.
4. Haz clic en una palabra (en la tira o en su etiqueta de fila) para dibujar sus arcos.
5. Pasa el ratón por el heatmap para leer pesos exactos. Todo se recalcula al instante, en tu navegador.
Este visualizador es didáctico y determinista (offline): los vectores de cada token se generan por hash (tokens iguales → mismo vector) más una codificación posicional sinusoidal, y las proyecciones Q/K se fijan con una semilla, así que el resultado es reproducible. El cálculo de atención (producto escalar escalado + softmax, con máscara causal opcional) es el real. Un modelo de verdad aprende Q/K/V a partir de datos y apila decenas de capas y cabezas. Relacionadas: Tokenizador, Mini-LLM y Reductor de dimensionalidad.
Klicke auf ein Wort, um zu sehen, wohin es schaut:
Dies ist der Attention-Mechanismus (skaliertes Skalarprodukt + Softmax). Ein echtes Modell lernt die Q/K/V-Projektionen und stapelt Dutzende Schichten und Heads, aber die Idee ist genau diese. Verwandt: Tokenizer, Mini-LLM und Dimensionsreduktion.