La atención es el mecanismo central de los transformers (BERT, GPT, Llama…). Cada palabra (token) no se procesa aislada: mira a las demás y decide cuánto pesa cada una al construir su propio significado. Así, en «El gato… porque estaba cansado», «estaba» puede aprender a fijarse en el gato. Aquí lo ves de dos formas: la matriz token-a-token (cada fila suma 1 = 100%) y los arcos sobre la frase. Escribe tu propia frase y experimenta.
Para decidir a quién mirar, de cada token salen tres vectores: Query (Q, «qué busco»), Key (K, «qué ofrezco») y Value (V, «qué aporto si me miran»).
• El peso del token i sobre el j es el producto escalar de la Query de i por la Key de j.
• Se divide por √dk (escalado, para que los números no se disparen) y se pasa por softmax, que convierte los pesos de cada fila en porcentajes que suman 1.
• En resumen: A = softmax(Q·Kᵀ / √dk). Esta herramienta dibuja esa matriz A; un modelo real usaría esos pesos para mezclar los Value.
Un transformer no tiene UNA atención, sino varias cabezas (aquí 4) en paralelo. Cada cabeza usa proyecciones Q/K distintas, así que aprende a fijarse en relaciones diferentes: una en la palabra anterior, otra en el sujeto, otra en la concordancia… y luego se combinan. Cambia de Cabeza con los botones 1–4 y observa cómo cambia por completo el patrón para la misma frase.
Los modelos que generan texto (GPT) predicen la siguiente palabra, así que no pueden mirar al futuro: cada token solo atiende a sí mismo y a los anteriores. Activa Máscara causal (GPT) y verás apagarse toda la mitad superior derecha de la matriz — esas posiciones futuras se ponen a 0 antes del softmax. Sin máscara, como en BERT, cada token ve la frase entera, a izquierda y a derecha.
La matriz de atención es un mapa de calor de token × token: la fila es el token que mira (desde) y la columna el token mirado (hacia).
• Cuanto más azul intensa la celda, mayor el peso; el blanco es casi cero.
• Cada fila suma el 100% (es una distribución).
• Pasa el ratón por una celda para leer el valor exacto (p. ej. gato → gato: 40%).
• La diagonal suele encenderse: casi siempre un token se atiende bastante a sí mismo.
Sobre la tira de la frase, haz clic en una palabra y aparecen arcos hacia las palabras que mira, tomados de esa fila de la matriz. El grosor y la opacidad de cada arco son proporcionales al peso (se ocultan los pesos por debajo del 2%). Vuelve a hacer clic para deseleccionar. Es la misma información que una fila del heatmap, pero dibujada sobre el texto para leerla de un vistazo.
1. Escribe una frase en el campo de arriba (se tokeniza por palabras y signos, hasta 40 tokens).
2. Elige una Cabeza (1–4) para ver distintos patrones.
3. Marca o desmarca la Máscara causal para comparar GPT vs. BERT.
4. Haz clic en una palabra (en la tira o en su etiqueta de fila) para dibujar sus arcos.
5. Pasa el ratón por el heatmap para leer pesos exactos. Todo se recalcula al instante, en tu navegador.
Este visualizador es didáctico y determinista (offline): los vectores de cada token se generan por hash (tokens iguales → mismo vector) más una codificación posicional sinusoidal, y las proyecciones Q/K se fijan con una semilla, así que el resultado es reproducible. El cálculo de atención (producto escalar escalado + softmax, con máscara causal opcional) es el real. Un modelo de verdad aprende Q/K/V a partir de datos y apila decenas de capas y cabezas. Relacionadas: Tokenizador, Mini-LLM y Reductor de dimensionalidad.
Haz clic en una palabra para ver a dónde mira:
Esto es el mecanismo de atención (producto escalar escalado + softmax). Un modelo real aprende las proyecciones Q/K/V y apila decenas de capas y cabezas, pero la idea es esta. Relacionado: Tokenizador, Mini-LLM y Reductor de dimensionalidad.