Sofort (kein Download)
Exakt (GPT-2)
GPT-4o / o1 · GPT-4o, GPT-4o-mini, o1
Ejemplos:
Text & Dokumente
Zahlen & Berechnung
Daten & Formate
Sicherheit
Entwicklung & DevOps
Künstliche Intelligenz
Finanzen
Gesundheit & Wohlbefinden
Produktivität
Spiele & Unterhaltung
Multimedia & Design
Unternehmen
Bedienungsanleitung
Was Tokens sind
Sprachmodelle teilen Text in Tokens auf, die kleinsten Einheiten, die sie verarbeiten. Dieses Werkzeug zeigt dir diese Aufteilung zusammen mit Textstatistiken.
Cómo se usa (paso a paso)
1. Elige el modo arriba: Instantáneo (por defecto) o Exacto.
2. En Instantáneo, escoge la codificación / modelo en el desplegable.
3. Escribe o pega tu texto en «Texto a tokenizar» (o pulsa un Ejemplo: Corto, Párrafo o Código).
4. El recuento se actualiza solo al dejar de escribir; arriba ves Tokens, Caracteres y Chars / token.
5. Abajo, la pestaña Visualización muestra el troceado y Costes y contexto estima el precio por modelo. Todo ocurre en tu navegador.
GPT-2-Tokenizer
Es wird der GPT-2-Tokenizer (BPE) verwendet, ähnlich — aber nicht identisch — dem von GPT-4 oder Claude. Die Token-Zahlen können leicht abweichen.
Codificaciones y a qué modelo corresponden
El desplegable del modo Instantáneo elige con qué codificación se cuenta. Cada una la comparten varios modelos y tiene su propia ventana de contexto:
• o200k_base — GPT-4o / o1 — la más nueva; la usan GPT-4o, GPT-4o-mini y o1. Contexto 128K tokens. Es la opción por defecto.
• cl100k_base — GPT-4 / GPT-3.5 — para GPT-4, GPT-3.5 Turbo y los modelos de embeddings. Contexto 128K.
• p50k_base — Codex / davinci-002 — modelos antiguos: Codex y text-davinci-002/003. Contexto 8K.
• r50k_base — GPT-3 / GPT-2 — los más viejos: davinci (GPT-3) y GPT-2. Contexto 2K.
Elige la que corresponda a tu modelo: un mismo texto da un número de tokens algo distinto según la codificación.
Cómo leer el resultado
Sobre el texto verás tres cifras:
• Tokens — el recuento que de verdad importa para el contexto y el coste. Es el número real aunque la visualización se recorte.
• Caracteres — longitud del texto en caracteres (incluye espacios y saltos de línea).
• Chars / token — caracteres por token de media. Cuanto más alto, más «eficiente» es el texto (menos tokens por letra); el código y los idiomas con muchas tildes suelen bajar esta cifra.
Visualisierung
Jede Farbe steht für ein anderes Token. Schreibe oder füge Text ein, um zu sehen, wie er aufgeteilt wird.
Privacidad
Todo el troceado y el conteo ocurren en tu navegador: el texto nunca sale de tu equipo. En modo Instantáneo no se descarga nada; en modo Exacto solo se baja una vez el tokenizador GPT-2 (~5 MB) y queda en caché. Puedes pegar sin miedo prompts o fragmentos con datos internos.
