Sofort (kein Download)
Exakt (herunterladbar)
GPT-4o / o1 · GPT-4o, GPT-4o-mini, o1
Ejemplos:
Bedienungsanleitung
Was ein Token ist und warum man sie zählt
Ein Sprachmodell liest weder Buchstaben noch Wörter: Es teilt den Text zuerst in Tokens auf, kleine Stücke (ein kurzes Wort, ein Teil eines langen Wortes, ein Zeichen, ein Leerzeichen…). Als grobe Faustregel gilt im Englischen 1 Token ≈ 4 Zeichen ≈ ¾ Wort; auf Spanisch und bei Code gibt es meist etwas mehr Tokens pro Wort.
Tokens zu zählen ist aus zwei Gründen wichtig:
• Kontextfenster — jedes Modell akzeptiert eine maximale Anzahl von Tokens (Eingabe + Ausgabe). Überschreitest du sie, wird der Text abgeschnitten oder die Anfrage schlägt fehl.
• Kosten — die APIs berechnen pro Token, nicht pro Wort. Zu wissen, wie viele es sind, sagt dir, wie viel du zahlst und ob es passt.
Wie man es benutzt (Schritt für Schritt)
1. Wähle oben den Modus: Sofort (Standard) oder Exakt.
2. Wähle im Modus Sofort die Kodierung / das Modell im Dropdown.
3. Schreibe oder füge deinen Text bei „Zu tokenisierender Text“ ein (oder klicke auf ein Beispiel: Kurz, Absatz oder Code).
4. Die Zählung aktualisiert sich automatisch, sobald du aufhörst zu schreiben; oben siehst du Tokens, Zeichen und Chars / Token.
5. Unten zeigt der Tab Visualisierung die Zerlegung, und Kosten und Kontext schätzt den Preis pro Modell. Alles geschieht in deinem Browser.
Modus Sofort vs. Exakt
Es gibt zwei Arten zu zerlegen, beide BPE (Byte Pair Encoding) und 100 % lokal:
• Sofort (standardmäßig) — nutzt die Bibliothek gpt-tokenizer mit den echten Kodierungen von OpenAI. Lädt nichts herunter und antwortet sofort. Es ist die exakte Zählung für die OpenAI-Modelle.
• Exakt (herunterladbar) — lädt den echten Tokenizer von GPT-2, Qwen3 (mehrsprachig) oder SmolLM2 (vor allem Englisch) herunter: nur sein Vokabular, 2 bis 10 MB, einmalig und zwischengespeichert. Nützlich zum Vergleichen: Derselbe Text auf Deutsch ergibt mit einem für Englisch gemachten Tokenizer viel mehr Stücke.
Keiner ist der von Claude noch der von Gemini, die nicht öffentlich sind: für sie ist die Zahl eine Schätzung, nicht exakt.
Kodierungen und welchem Modell sie entsprechen
Das Dropdown im Modus Sofort wählt, mit welcher Kodierung gezählt wird. Jede wird von mehreren Modellen geteilt und hat ihr eigenes Kontextfenster:
• o200k_base — GPT-4o / o1 — die neueste; verwendet von GPT-4o, GPT-4o-mini und o1. Kontext 128K Tokens. Das ist die Standardoption.
• cl100k_base — GPT-4 / GPT-3.5 — für GPT-4, GPT-3.5 Turbo und die Embedding-Modelle. Kontext 128K.
• p50k_base — Codex / davinci-002 — ältere Modelle: Codex und text-davinci-002/003. Kontext 8K.
• r50k_base — GPT-3 / GPT-2 — die ältesten: davinci (GPT-3) und GPT-2. Kontext 2K.
Wähle die, die zu deinem Modell passt: Derselbe Text ergibt je nach Kodierung eine etwas andere Anzahl an Tokens.
Wie man das Ergebnis liest
Über dem Text siehst du drei Werte:
• Tokens — die Zählung, die für Kontext und Kosten wirklich zählt. Es ist die tatsächliche Zahl, auch wenn die Visualisierung abgeschnitten wird.
• Zeichen — Länge des Textes in Zeichen (einschließlich Leerzeichen und Zeilenumbrüche).
• Chars / Token — durchschnittliche Zeichen pro Token. Je höher, desto „effizienter“ ist der Text (weniger Tokens pro Buchstabe); Code und Sprachen mit vielen Akzenten senken diesen Wert meist.
Visualisierung der Zerlegung
Jedes farbige Kästchen ist ein Token; die Farben wechseln nur, um die Grenzen zu unterscheiden. Achte darauf, wie ein langes Wort in mehrere Stücke zerfällt und wie Leerzeichen meist am Anfang des nächsten Tokens kleben. Um den Browser nicht zu belasten, zeigt die Ansicht höchstens die ersten 500 Tokens; ist dein Text länger, erscheint ein Hinweis, aber die Zählung und die Kosten beziehen sich auf den gesamten Text.
Datenschutz
Die gesamte Zerlegung und Zählung erfolgt in deinem Browser: Der Text verlässt niemals deinen Rechner. Im Modus Sofort wird nichts heruntergeladen; im Modus Exakt wird nur einmalig das Vokabular des gewählten Tokenizers geladen und zwischengespeichert. Du kannst bedenkenlos Prompts oder Fragmente mit internen Daten einfügen.
