Instantáneo (sin descarga)
Exacto (GPT-2)
GPT-4o / o1 · GPT-4o, GPT-4o-mini, o1
Ejemplos:
Texto y documentos
Números y cálculo
Datos y formatos
Seguridad
Desarrollo y DevOps
Inteligencia Artificial
Finanzas
Salud y bienestar
Productividad
Juegos y entretenimiento
Multimedia y diseño
Empresa
Guía de uso
Qué es un token y por qué contarlos
Un modelo de lenguaje no lee letras ni palabras: primero parte el texto en tokens, trozos pequeños (una palabra corta, parte de una palabra larga, un signo, un espacio…). Como regla aproximada, en inglés 1 token ≈ 4 caracteres ≈ ¾ de palabra; en español y en código suele haber algo más de tokens por palabra.
Contar tokens importa por dos motivos:
• Ventana de contexto — cada modelo admite un máximo de tokens (entrada + salida). Si te pasas, el texto se corta o la petición falla.
• Coste — las APIs cobran por token, no por palabra. Saber cuántos son te dice cuánto pagarás y si cabe.
Cómo se usa (paso a paso)
1. Elige el modo arriba: Instantáneo (por defecto) o Exacto.
2. En Instantáneo, escoge la codificación / modelo en el desplegable.
3. Escribe o pega tu texto en «Texto a tokenizar» (o pulsa un Ejemplo: Corto, Párrafo o Código).
4. El recuento se actualiza solo al dejar de escribir; arriba ves Tokens, Caracteres y Chars / token.
5. Abajo, la pestaña Visualización muestra el troceado y Costes y contexto estima el precio por modelo. Todo ocurre en tu navegador.
Modo Instantáneo vs Exacto
Hay dos formas de trocear, ambas BPE (Byte Pair Encoding) y 100% locales:
• Instantáneo (por defecto) — usa la librería gpt-tokenizer con las codificaciones reales de OpenAI. No descarga nada y responde al momento. Es el conteo exacto para los modelos GPT/o1 y el que debes usar casi siempre.
• Exacto (GPT-2) — descarga el tokenizador real GPT-2 (~5 MB desde Hugging Face, se guarda en caché la primera vez) y trocea con él. Útil solo si trabajas específicamente con GPT-2.
Ninguno es el tokenizador de Claude ni de Gemini (esas familias usan otros): para ellos el número es una estimación cercana, no exacta.
Codificaciones y a qué modelo corresponden
El desplegable del modo Instantáneo elige con qué codificación se cuenta. Cada una la comparten varios modelos y tiene su propia ventana de contexto:
• o200k_base — GPT-4o / o1 — la más nueva; la usan GPT-4o, GPT-4o-mini y o1. Contexto 128K tokens. Es la opción por defecto.
• cl100k_base — GPT-4 / GPT-3.5 — para GPT-4, GPT-3.5 Turbo y los modelos de embeddings. Contexto 128K.
• p50k_base — Codex / davinci-002 — modelos antiguos: Codex y text-davinci-002/003. Contexto 8K.
• r50k_base — GPT-3 / GPT-2 — los más viejos: davinci (GPT-3) y GPT-2. Contexto 2K.
Elige la que corresponda a tu modelo: un mismo texto da un número de tokens algo distinto según la codificación.
Cómo leer el resultado
Sobre el texto verás tres cifras:
• Tokens — el recuento que de verdad importa para el contexto y el coste. Es el número real aunque la visualización se recorte.
• Caracteres — longitud del texto en caracteres (incluye espacios y saltos de línea).
• Chars / token — caracteres por token de media. Cuanto más alto, más «eficiente» es el texto (menos tokens por letra); el código y los idiomas con muchas tildes suelen bajar esta cifra.
Visualización del troceado
Cada recuadro de color es un token; los colores solo se alternan para distinguir los límites. Fíjate en cómo una palabra larga se parte en varios trozos y en cómo los espacios suelen ir pegados al inicio del token siguiente. Para no cargar el navegador, la vista muestra como mucho los primeros 500 tokens; si tu texto es más largo aparece un aviso, pero el conteo y el coste sí son del texto completo.
Privacidad
Todo el troceado y el conteo ocurren en tu navegador: el texto nunca sale de tu equipo. En modo Instantáneo no se descarga nada; en modo Exacto solo se baja una vez el tokenizador GPT-2 (~5 MB) y queda en caché. Puedes pegar sin miedo prompts o fragmentos con datos internos.
