Instantané (sans téléchargement)
Exact (GPT-2)
GPT-4o / o1 · GPT-4o, GPT-4o-mini, o1
Ejemplos:
Texte & documents
Nombres & calcul
Données & formats
Sécurité
Développement & DevOps
Intelligence artificielle
Finances
Santé et bien-être
Productivité
Jeux et divertissement
Multimédia & design
Entreprise
Guide d'utilisation
Que sont les tokens
Les modèles de langage divisent le texte en tokens, les plus petites unités qu'ils traitent. Cet outil vous montre ce découpage ainsi que des statistiques sur le texte.
Cómo se usa (paso a paso)
1. Elige el modo arriba: Instantáneo (por defecto) o Exacto.
2. En Instantáneo, escoge la codificación / modelo en el desplegable.
3. Escribe o pega tu texto en «Texto a tokenizar» (o pulsa un Ejemplo: Corto, Párrafo o Código).
4. El recuento se actualiza solo al dejar de escribir; arriba ves Tokens, Caracteres y Chars / token.
5. Abajo, la pestaña Visualización muestra el troceado y Costes y contexto estima el precio por modelo. Todo ocurre en tu navegador.
Tokeniseur GPT-2
On utilise le tokeniseur GPT-2 (BPE), similaire —mais pas identique— à celui de GPT-4 ou Claude. Les décomptes de tokens peuvent varier légèrement.
Codificaciones y a qué modelo corresponden
El desplegable del modo Instantáneo elige con qué codificación se cuenta. Cada una la comparten varios modelos y tiene su propia ventana de contexto:
• o200k_base — GPT-4o / o1 — la más nueva; la usan GPT-4o, GPT-4o-mini y o1. Contexto 128K tokens. Es la opción por defecto.
• cl100k_base — GPT-4 / GPT-3.5 — para GPT-4, GPT-3.5 Turbo y los modelos de embeddings. Contexto 128K.
• p50k_base — Codex / davinci-002 — modelos antiguos: Codex y text-davinci-002/003. Contexto 8K.
• r50k_base — GPT-3 / GPT-2 — los más viejos: davinci (GPT-3) y GPT-2. Contexto 2K.
Elige la que corresponda a tu modelo: un mismo texto da un número de tokens algo distinto según la codificación.
Cómo leer el resultado
Sobre el texto verás tres cifras:
• Tokens — el recuento que de verdad importa para el contexto y el coste. Es el número real aunque la visualización se recorte.
• Caracteres — longitud del texto en caracteres (incluye espacios y saltos de línea).
• Chars / token — caracteres por token de media. Cuanto más alto, más «eficiente» es el texto (menos tokens por letra); el código y los idiomas con muchas tildes suelen bajar esta cifra.
Visualisation
Chaque couleur représente un token distinct. Écrivez ou collez du texte pour voir comment il est découpé.
Privacidad
Todo el troceado y el conteo ocurren en tu navegador: el texto nunca sale de tu equipo. En modo Instantáneo no se descarga nada; en modo Exacto solo se baja una vez el tokenizador GPT-2 (~5 MB) y queda en caché. Puedes pegar sin miedo prompts o fragmentos con datos internos.
