Sofort (kein Download)
Exacto (descargable)
GPT-4o / o1 · GPT-4o, GPT-4o-mini, o1
Ejemplos:
Bedienungsanleitung
Was ein Token ist und warum man sie zählt
Ein Sprachmodell liest weder Buchstaben noch Wörter: Es teilt den Text zuerst in Tokens auf, kleine Stücke (ein kurzes Wort, ein Teil eines langen Wortes, ein Zeichen, ein Leerzeichen…). Als grobe Faustregel gilt im Englischen 1 Token ≈ 4 Zeichen ≈ ¾ Wort; auf Spanisch und bei Code gibt es meist etwas mehr Tokens pro Wort.
Tokens zu zählen ist aus zwei Gründen wichtig:
• Kontextfenster — jedes Modell akzeptiert eine maximale Anzahl von Tokens (Eingabe + Ausgabe). Überschreitest du sie, wird der Text abgeschnitten oder die Anfrage schlägt fehl.
• Kosten — die APIs berechnen pro Token, nicht pro Wort. Zu wissen, wie viele es sind, sagt dir, wie viel du zahlst und ob es passt.
Wie man es benutzt (Schritt für Schritt)
1. Wähle oben den Modus: Sofort (Standard) oder Exakt.
2. Wähle im Modus Sofort die Kodierung / das Modell im Dropdown.
3. Schreibe oder füge deinen Text bei „Zu tokenisierender Text“ ein (oder klicke auf ein Beispiel: Kurz, Absatz oder Code).
4. Die Zählung aktualisiert sich automatisch, sobald du aufhörst zu schreiben; oben siehst du Tokens, Zeichen und Chars / Token.
5. Unten zeigt der Tab Visualisierung die Zerlegung, und Kosten und Kontext schätzt den Preis pro Modell. Alles geschieht in deinem Browser.
Modus Sofort vs. Exakt
Hay dos formas de trocear, ambas BPE (Byte Pair Encoding) y 100% locales:
• Instantáneo (por defecto) — usa la librería gpt-tokenizer con las codificaciones reales de OpenAI. No descarga nada y responde al momento. Es el conteo exacto para los modelos de OpenAI.
• Exacto (descargable) — baja el tokenizador real de GPT-2, Qwen3 (multilingüe) o SmolLM2 (sobre todo inglés): solo su vocabulario, de 2 a 10 MB, una vez y en caché. Sirve para comparar: el mismo texto en español sale en muchos más trozos con un tokenizador hecho para el inglés.
Ninguno es el de Claude ni el de Gemini, que no son públicos: para ellos el número es una estimación, no exacto.
Kodierungen und welchem Modell sie entsprechen
Das Dropdown im Modus Sofort wählt, mit welcher Kodierung gezählt wird. Jede wird von mehreren Modellen geteilt und hat ihr eigenes Kontextfenster:
• o200k_base — GPT-4o / o1 — die neueste; verwendet von GPT-4o, GPT-4o-mini und o1. Kontext 128K Tokens. Das ist die Standardoption.
• cl100k_base — GPT-4 / GPT-3.5 — für GPT-4, GPT-3.5 Turbo und die Embedding-Modelle. Kontext 128K.
• p50k_base — Codex / davinci-002 — ältere Modelle: Codex und text-davinci-002/003. Kontext 8K.
• r50k_base — GPT-3 / GPT-2 — die ältesten: davinci (GPT-3) und GPT-2. Kontext 2K.
Wähle die, die zu deinem Modell passt: Derselbe Text ergibt je nach Kodierung eine etwas andere Anzahl an Tokens.
Wie man das Ergebnis liest
Über dem Text siehst du drei Werte:
• Tokens — die Zählung, die für Kontext und Kosten wirklich zählt. Es ist die tatsächliche Zahl, auch wenn die Visualisierung abgeschnitten wird.
• Zeichen — Länge des Textes in Zeichen (einschließlich Leerzeichen und Zeilenumbrüche).
• Chars / Token — durchschnittliche Zeichen pro Token. Je höher, desto „effizienter“ ist der Text (weniger Tokens pro Buchstabe); Code und Sprachen mit vielen Akzenten senken diesen Wert meist.
Visualisierung der Zerlegung
Jedes farbige Kästchen ist ein Token; die Farben wechseln nur, um die Grenzen zu unterscheiden. Achte darauf, wie ein langes Wort in mehrere Stücke zerfällt und wie Leerzeichen meist am Anfang des nächsten Tokens kleben. Um den Browser nicht zu belasten, zeigt die Ansicht höchstens die ersten 500 Tokens; ist dein Text länger, erscheint ein Hinweis, aber die Zählung und die Kosten beziehen sich auf den gesamten Text.
Datenschutz
Todo el troceado y el conteo ocurren en tu navegador: el texto nunca sale de tu equipo. En modo Instantáneo no se descarga nada; en modo Exacto solo se baja una vez el vocabulario del tokenizador que elijas, y queda en caché. Puedes pegar sin miedo prompts o fragmentos con datos internos.
