Instantâneo (sem download)
Exato (GPT-2)
GPT-4o / o1 · GPT-4o, GPT-4o-mini, o1
Ejemplos:
Texto e documentos
Números e cálculo
Dados e formatos
Segurança
Desenvolvimento e DevOps
Inteligência Artificial
Finanças
Saúde & Bem-estar
Produtividade
Jogos & Entretenimento
Multimédia e design
Empresa
Guia de utilização
O que são os tokens
Os modelos de linguagem dividem o texto em tokens, as unidades mínimas que processam. Esta ferramenta mostra-te essa divisão juntamente com estatísticas do texto.
Cómo se usa (paso a paso)
1. Elige el modo arriba: Instantáneo (por defecto) o Exacto.
2. En Instantáneo, escoge la codificación / modelo en el desplegable.
3. Escribe o pega tu texto en «Texto a tokenizar» (o pulsa un Ejemplo: Corto, Párrafo o Código).
4. El recuento se actualiza solo al dejar de escribir; arriba ves Tokens, Caracteres y Chars / token.
5. Abajo, la pestaña Visualización muestra el troceado y Costes y contexto estima el precio por modelo. Todo ocurre en tu navegador.
Tokenizador GPT-2
Usa-se o tokenizador GPT-2 (BPE), semelhante —mas não idêntico— ao do GPT-4 ou Claude. As contagens de tokens podem variar ligeiramente.
Codificaciones y a qué modelo corresponden
El desplegable del modo Instantáneo elige con qué codificación se cuenta. Cada una la comparten varios modelos y tiene su propia ventana de contexto:
• o200k_base — GPT-4o / o1 — la más nueva; la usan GPT-4o, GPT-4o-mini y o1. Contexto 128K tokens. Es la opción por defecto.
• cl100k_base — GPT-4 / GPT-3.5 — para GPT-4, GPT-3.5 Turbo y los modelos de embeddings. Contexto 128K.
• p50k_base — Codex / davinci-002 — modelos antiguos: Codex y text-davinci-002/003. Contexto 8K.
• r50k_base — GPT-3 / GPT-2 — los más viejos: davinci (GPT-3) y GPT-2. Contexto 2K.
Elige la que corresponda a tu modelo: un mismo texto da un número de tokens algo distinto según la codificación.
Cómo leer el resultado
Sobre el texto verás tres cifras:
• Tokens — el recuento que de verdad importa para el contexto y el coste. Es el número real aunque la visualización se recorte.
• Caracteres — longitud del texto en caracteres (incluye espacios y saltos de línea).
• Chars / token — caracteres por token de media. Cuanto más alto, más «eficiente» es el texto (menos tokens por letra); el código y los idiomas con muchas tildes suelen bajar esta cifra.
Visualização
Cada cor representa um token distinto. Escreve ou cola texto para veres como é dividido.
Privacidad
Todo el troceado y el conteo ocurren en tu navegador: el texto nunca sale de tu equipo. En modo Instantáneo no se descarga nada; en modo Exacto solo se baja una vez el tokenizador GPT-2 (~5 MB) y queda en caché. Puedes pegar sin miedo prompts o fragmentos con datos internos.
