Die Attention ist der zentrale Mechanismus der Transformer (BERT, GPT, Llama…). Jedes Wort (Token) wird nicht isoliert verarbeitet: Es schaut auf die anderen und entscheidet, wie stark jedes einzelne wiegt, wenn es seine eigene Bedeutung aufbaut. So kann in «Die Katze… weil sie müde war» «war» lernen, sich auf die Katze zu konzentrieren. Hier siehst du es auf zwei Arten: die Token-zu-Token-Matrix (jede Zeile summiert sich zu 1 = 100 %) und die Bögen über dem Satz. Schreib deinen eigenen Satz und experimentiere.
Um zu entscheiden, wen es beachten soll, entstehen aus jedem Token drei Vektoren: Query (Q, „was ich suche“), Key (K, „was ich anbiete“) und Value (V, „was ich beitrage, wenn man mich beachtet“).
• Das Gewicht von Token i gegenüber j ist das Skalarprodukt aus der Query von i und dem Key von j.
• Es wird durch √dk geteilt (Skalierung, damit die Zahlen nicht explodieren) und durch Softmax geschickt, das die Gewichte jeder Zeile in Prozentwerte umwandelt, die sich zu 1 summieren.
• Kurz gesagt: A = softmax(Q·Kᵀ / √dk). Dieses Werkzeug zeichnet diese Matrix A; ein echtes Modell würde diese Gewichte nutzen, um die Values zu mischen.
Ein Transformer hat nicht EINE Attention, sondern mehrere Heads (hier 4) parallel. Jeder Head nutzt unterschiedliche Q/K-Projektionen, sodass er lernt, sich auf unterschiedliche Beziehungen zu konzentrieren: einer auf das vorherige Wort, ein anderer auf das Subjekt, ein anderer auf die Kongruenz… und am Ende werden sie kombiniert. Wechsle den Head mit den Buttons 1–4 und beobachte, wie sich das Muster für denselben Satz vollständig ändert.
Modelle, die Text generieren (GPT), sagen das nächste Wort vorher, können also nicht in die Zukunft schauen: Jedes Token beachtet nur sich selbst und die vorherigen. Aktiviere die kausale Maske (GPT) und du siehst die gesamte obere rechte Hälfte der Matrix erlöschen — diese zukünftigen Positionen werden vor dem Softmax auf 0 gesetzt. Ohne Maske, wie bei BERT, sieht jedes Token den gesamten Satz, links und rechts.
Die Attention-Matrix ist eine Heatmap Token × Token: Die Zeile ist das Token, das schaut (von), und die Spalte das Token, das angeschaut wird (nach).
• Je intensiver blau die Zelle, desto höher das Gewicht; Weiß ist fast null.
• Jede Zeile summiert sich auf 100 % (es ist eine Verteilung).
• Fahre mit der Maus über eine Zelle, um den genauen Wert zu lesen (z. B. gato → gato: 40%).
• Die Diagonale leuchtet meist auf: Fast immer beachtet sich ein Token ziemlich stark selbst.
Klicke im Satzstreifen auf ein Wort, und es erscheinen Bögen zu den Wörtern, die es beachtet, entnommen aus dieser Zeile der Matrix. Dicke und Deckkraft jedes Bogens sind proportional zum Gewicht (Gewichte unter 2 % werden ausgeblendet). Klicke erneut, um die Auswahl aufzuheben. Es ist dieselbe Information wie eine Zeile der Heatmap, aber über dem Text gezeichnet, um sie auf einen Blick zu lesen.
1. Schreibe einen Satz in das Feld oben (wird nach Wörtern und Satzzeichen tokenisiert, bis zu 40 Tokens).
2. Wähle einen Kopf (1–4), um unterschiedliche Muster zu sehen.
3. Aktiviere oder deaktiviere die kausale Maske, um GPT mit BERT zu vergleichen.
4. Klicke auf ein Wort (im Streifen oder in seiner Zeilenbeschriftung), um seine Bögen zu zeichnen.
5. Fahre mit der Maus über die Heatmap, um genaue Gewichte zu lesen. Alles wird sofort neu berechnet, in deinem Browser.
Dieser Visualisierer ist didaktisch und deterministisch (offline): Die Vektoren jedes Tokens werden per Hash erzeugt (gleiche Tokens → gleicher Vektor) plus einer sinusförmigen Positionskodierung, und die Q/K-Projektionen werden mit einem Seed festgelegt, sodass das Ergebnis reproduzierbar ist. Die Attention-Berechnung (skaliertes Skalarprodukt + Softmax, mit optionaler kausaler Maske) ist echt. Ein echtes Modell lernt Q/K/V aus Daten und stapelt Dutzende Schichten und Köpfe. Verwandt: Tokenizer, Mini-LLM und Dimensionsreduzierer.
Klicke auf ein Wort, um zu sehen, wohin es schaut:
Dies ist der Attention-Mechanismus (skaliertes Skalarprodukt + Softmax). Ein echtes Modell lernt die Q/K/V-Projektionen und stapelt Dutzende Schichten und Heads, aber die Idee ist genau diese. Verwandt: Tokenizer, Mini-LLM und Dimensionsreduktion.