A atenção é o coração dos transformers (BERT, GPT…). Cada token calcula, para todos os outros, o quanto deve «olhar» para eles ao construir a sua representação. Aqui vês isso: a matriz é token a token (cada linha soma 1) e os arcos mostram para onde olha o token que escolheres. Escreve a tua própria frase.
Para decidir a quién mirar, de cada token salen tres vectores: Query (Q, «qué busco»), Key (K, «qué ofrezco») y Value (V, «qué aporto si me miran»).
• El peso del token i sobre el j es el producto escalar de la Query de i por la Key de j.
• Se divide por √dk (escalado, para que los números no se disparen) y se pasa por softmax, que convierte los pesos de cada fila en porcentajes que suman 1.
• En resumen: A = softmax(Q·Kᵀ / √dk). Esta herramienta dibuja esa matriz A; un modelo real usaría esos pesos para mezclar los Value.
Um transformer não tem UMA atenção, mas sim várias cabeças em paralelo, cada uma com projeções distintas → cada uma foca-se em relações diferentes (uma na palavra anterior, outra no sujeito…). Muda de cabeça e observa como o padrão muda.
Os modelos que geram texto (GPT) não podem olhar para o futuro: cada token atende apenas aos anteriores. Ativa a máscara causal e verás a metade superior da matriz apagar-se — é assim que é treinado para prever o token seguinte. Sem máscara (BERT) cada token vê a frase inteira.
La matriz de atención es un mapa de calor de token × token: la fila es el token que mira (desde) y la columna el token mirado (hacia).
• Cuanto más azul intensa la celda, mayor el peso; el blanco es casi cero.
• Cada fila suma el 100% (es una distribución).
• Pasa el ratón por una celda para leer el valor exacto (p. ej. gato → gato: 40%).
• La diagonal suele encenderse: casi siempre un token se atiende bastante a sí mismo.
Sobre la tira de la frase, haz clic en una palabra y aparecen arcos hacia las palabras que mira, tomados de esa fila de la matriz. El grosor y la opacidad de cada arco son proporcionales al peso (se ocultan los pesos por debajo del 2%). Vuelve a hacer clic para deseleccionar. Es la misma información que una fila del heatmap, pero dibujada sobre el texto para leerla de un vistazo.
1. Escribe una frase en el campo de arriba (se tokeniza por palabras y signos, hasta 40 tokens).
2. Elige una Cabeza (1–4) para ver distintos patrones.
3. Marca o desmarca la Máscara causal para comparar GPT vs. BERT.
4. Haz clic en una palabra (en la tira o en su etiqueta de fila) para dibujar sus arcos.
5. Pasa el ratón por el heatmap para leer pesos exactos. Todo se recalcula al instante, en tu navegador.
Este visualizador es didáctico y determinista (offline): los vectores de cada token se generan por hash (tokens iguales → mismo vector) más una codificación posicional sinusoidal, y las proyecciones Q/K se fijan con una semilla, así que el resultado es reproducible. El cálculo de atención (producto escalar escalado + softmax, con máscara causal opcional) es el real. Un modelo de verdad aprende Q/K/V a partir de datos y apila decenas de capas y cabezas. Relacionadas: Tokenizador, Mini-LLM y Reductor de dimensionalidad.
Clica numa palavra para ver para onde olha:
Isto é o mecanismo de atenção (produto escalar escalado + softmax). Um modelo real aprende as projeções Q/K/V e empilha dezenas de camadas e cabeças, mas a ideia é esta. Relacionado: Tokenizador, Mini-LLM e Redutor de dimensionalidade.