Instantâneo (sem download)
Exacto (descargable)
GPT-4o / o1 · GPT-4o, GPT-4o-mini, o1
Ejemplos:
Guia de utilização
O que é um token e porque contá-los
Um modelo de linguagem não lê letras nem palavras: primeiro divide o texto em tokens, pedaços pequenos (uma palavra curta, parte de uma palavra longa, um sinal, um espaço…). Como regra aproximada, em inglês 1 token ≈ 4 caracteres ≈ ¾ de palavra; em português e em código costuma haver um pouco mais de tokens por palavra.
Contar tokens importa por dois motivos:
• Janela de contexto — cada modelo admite um máximo de tokens (entrada + saída). Se ultrapassares, o texto é cortado ou o pedido falha.
• Custo — as APIs cobram por token, não por palavra. Saber quantos são diz-te quanto vais pagar e se cabe.
Como se usa (passo a passo)
1. Escolhe o modo acima: Instantâneo (por defeito) ou Exato.
2. No Instantâneo, escolhe a codificação / modelo no menu suspenso.
3. Escreve ou cola o teu texto em «Texto a tokenizar» (ou clica num Exemplo: Curto, Parágrafo ou Código).
4. A contagem atualiza-se só ao parares de escrever; em cima vês Tokens, Carateres e Chars / token.
5. Em baixo, o separador Visualização mostra o fracionamento e Custos e contexto estima o preço por modelo. Tudo acontece no teu navegador.
Modo Instantâneo vs Exato
Hay dos formas de trocear, ambas BPE (Byte Pair Encoding) y 100% locales:
• Instantáneo (por defecto) — usa la librería gpt-tokenizer con las codificaciones reales de OpenAI. No descarga nada y responde al momento. Es el conteo exacto para los modelos de OpenAI.
• Exacto (descargable) — baja el tokenizador real de GPT-2, Qwen3 (multilingüe) o SmolLM2 (sobre todo inglés): solo su vocabulario, de 2 a 10 MB, una vez y en caché. Sirve para comparar: el mismo texto en español sale en muchos más trozos con un tokenizador hecho para el inglés.
Ninguno es el de Claude ni el de Gemini, que no son públicos: para ellos el número es una estimación, no exacto.
Codificações e a que modelo correspondem
O menu suspenso do modo Instantâneo escolhe com que codificação se conta. Cada uma é partilhada por vários modelos e tem a sua própria janela de contexto:
• o200k_base — GPT-4o / o1 — a mais recente; usada pelo GPT-4o, GPT-4o-mini e o1. Contexto 128K tokens. É a opção por defeito.
• cl100k_base — GPT-4 / GPT-3.5 — para GPT-4, GPT-3.5 Turbo e os modelos de embeddings. Contexto 128K.
• p50k_base — Codex / davinci-002 — modelos antigos: Codex e text-davinci-002/003. Contexto 8K.
• r50k_base — GPT-3 / GPT-2 — os mais antigos: davinci (GPT-3) e GPT-2. Contexto 2K.
Escolhe a que corresponde ao teu modelo: o mesmo texto dá um número de tokens algo diferente consoante a codificação.
Como ler o resultado
Sobre o texto verás três valores:
• Tokens — a contagem que realmente importa para o contexto e o custo. É o número real ainda que a visualização se corte.
• Carateres — comprimento do texto em carateres (inclui espaços e quebras de linha).
• Chars / token — carateres por token em média. Quanto mais alto, mais «eficiente» é o texto (menos tokens por letra); o código e os idiomas com muitos acentos costumam baixar este valor.
Visualização da divisão
Cada caixa colorida é um token; as cores só se alternam para distinguir os limites. Repara em como uma palavra longa se parte em vários pedaços e em como os espaços costumam ficar colados ao início do token seguinte. Para não sobrecarregar o navegador, a vista mostra no máximo os primeiros 500 tokens; se o teu texto for mais longo aparece um aviso, mas a contagem e o custo são do texto completo.
Privacidade
Todo el troceado y el conteo ocurren en tu navegador: el texto nunca sale de tu equipo. En modo Instantáneo no se descarga nada; en modo Exacto solo se baja una vez el vocabulario del tokenizador que elijas, y queda en caché. Puedes pegar sin miedo prompts o fragmentos con datos internos.
