L'attention est le cœur des transformers (BERT, GPT…). Chaque token calcule, pour tous les autres, à quel point il doit les « regarder » lorsqu'il construit sa représentation. Vous le voyez ici : la matrice est token à token (chaque ligne somme à 1) et les arcs montrent où regarde le token que vous choisissez. Écrivez votre propre phrase.
Para decidir a quién mirar, de cada token salen tres vectores: Query (Q, «qué busco»), Key (K, «qué ofrezco») y Value (V, «qué aporto si me miran»).
• El peso del token i sobre el j es el producto escalar de la Query de i por la Key de j.
• Se divide por √dk (escalado, para que los números no se disparen) y se pasa por softmax, que convierte los pesos de cada fila en porcentajes que suman 1.
• En resumen: A = softmax(Q·Kᵀ / √dk). Esta herramienta dibuja esa matriz A; un modelo real usaría esos pesos para mezclar los Value.
Un transformer n'a pas UNE seule attention, mais plusieurs têtes en parallèle, chacune avec des projections différentes → chacune se concentre sur des relations différentes (l'une sur le mot précédent, une autre sur le sujet…). Changez de tête et observez comme le motif change.
Les modèles qui génèrent du texte (GPT) ne peuvent pas regarder vers le futur : chaque token n'attend qu'aux précédents. Activez le masque causal et vous verrez la moitié supérieure de la matrice s'éteindre — c'est ainsi qu'on l'entraîne à prédire le token suivant. Sans masque (BERT), chaque token voit toute la phrase.
La matriz de atención es un mapa de calor de token × token: la fila es el token que mira (desde) y la columna el token mirado (hacia).
• Cuanto más azul intensa la celda, mayor el peso; el blanco es casi cero.
• Cada fila suma el 100% (es una distribución).
• Pasa el ratón por una celda para leer el valor exacto (p. ej. gato → gato: 40%).
• La diagonal suele encenderse: casi siempre un token se atiende bastante a sí mismo.
Sobre la tira de la frase, haz clic en una palabra y aparecen arcos hacia las palabras que mira, tomados de esa fila de la matriz. El grosor y la opacidad de cada arco son proporcionales al peso (se ocultan los pesos por debajo del 2%). Vuelve a hacer clic para deseleccionar. Es la misma información que una fila del heatmap, pero dibujada sobre el texto para leerla de un vistazo.
1. Escribe una frase en el campo de arriba (se tokeniza por palabras y signos, hasta 40 tokens).
2. Elige una Cabeza (1–4) para ver distintos patrones.
3. Marca o desmarca la Máscara causal para comparar GPT vs. BERT.
4. Haz clic en una palabra (en la tira o en su etiqueta de fila) para dibujar sus arcos.
5. Pasa el ratón por el heatmap para leer pesos exactos. Todo se recalcula al instante, en tu navegador.
Este visualizador es didáctico y determinista (offline): los vectores de cada token se generan por hash (tokens iguales → mismo vector) más una codificación posicional sinusoidal, y las proyecciones Q/K se fijan con una semilla, así que el resultado es reproducible. El cálculo de atención (producto escalar escalado + softmax, con máscara causal opcional) es el real. Un modelo de verdad aprende Q/K/V a partir de datos y apila decenas de capas y cabezas. Relacionadas: Tokenizador, Mini-LLM y Reductor de dimensionalidad.
Cliquez sur un mot pour voir où il regarde :
Ceci est le mécanisme d'attention (produit scalaire mis à l'échelle + softmax). Un vrai modèle apprend les projections Q/K/V et empile des dizaines de couches et de têtes, mais l'idée est celle-ci. Voir aussi : Tokeniseur, Mini-LLM et Réducteur de dimensionnalité.