Instantané (sans téléchargement)
Exact (téléchargeable)
GPT-4o / o1 · GPT-4o, GPT-4o-mini, o1
Ejemplos:
Guide d'utilisation
Qu'est-ce qu'un token et pourquoi les compter
Un modèle de langage ne lit ni lettres ni mots : il divise d'abord le texte en tokens, de petits morceaux (un mot court, une partie d'un mot long, un signe, un espace…). Comme règle approximative, en anglais 1 token ≈ 4 caractères ≈ ¾ de mot ; en français et en code il y a généralement un peu plus de tokens par mot.
Compter les tokens compte pour deux raisons :
• Fenêtre de contexte — chaque modèle accepte un nombre maximal de tokens (entrée + sortie). Si tu dépasses, le texte est coupé ou la requête échoue.
• Coût — les API facturent par token, pas par mot. Savoir combien il y en a te dit combien tu paieras et si ça rentre.
Comment l'utiliser (étape par étape)
1. Choisissez le mode en haut : Instantané (par défaut) ou Exact.
2. En mode Instantané, choisissez l'encodage / modèle dans le menu déroulant.
3. Écrivez ou collez votre texte dans « Texte à tokeniser » (ou cliquez sur un Exemple : Court, Paragraphe ou Code).
4. Le décompte se met à jour dès que vous arrêtez d'écrire ; en haut vous voyez Tokens, Caractères et Chars / token.
5. En bas, l'onglet Visualisation montre le découpage et Coûts et contexte estime le prix par modèle. Tout se passe dans votre navigateur.
Mode Instantané vs Exact
Il y a deux façons de découper, toutes deux en BPE (Byte Pair Encoding) et 100% locales :
• Instantané (par défaut) — utilise la bibliothèque gpt-tokenizer avec les encodages réels d'OpenAI. Ne télécharge rien et répond instantanément. C'est le décompte exact pour les modèles OpenAI.
• Exact (téléchargeable) — télécharge le vrai tokeniseur de GPT-2, Qwen3 (multilingue) ou SmolLM2 (surtout en anglais) : seulement son vocabulaire, de 2 à 10 Mo, une fois et mis en cache. Utile pour comparer : le même texte en français ressort en beaucoup plus de morceaux avec un tokeniseur fait pour l'anglais.
Aucun n'est celui de Claude ni de Gemini, qui ne sont pas publics : pour eux, le nombre est une estimation, pas exacte.
Encodages et à quel modèle ils correspondent
Le menu déroulant du mode Instantané choisit avec quel encodage le comptage se fait. Chacun est partagé par plusieurs modèles et a sa propre fenêtre de contexte :
• o200k_base — GPT-4o / o1 — le plus récent ; utilisé par GPT-4o, GPT-4o-mini et o1. Contexte 128K tokens. C'est l'option par défaut.
• cl100k_base — GPT-4 / GPT-3.5 — pour GPT-4, GPT-3.5 Turbo et les modèles d'embeddings. Contexte 128K.
• p50k_base — Codex / davinci-002 — anciens modèles : Codex et text-davinci-002/003. Contexte 8K.
• r50k_base — GPT-3 / GPT-2 — les plus anciens : davinci (GPT-3) et GPT-2. Contexte 2K.
Choisissez celui qui correspond à votre modèle : un même texte donne un nombre de tokens légèrement différent selon l'encodage.
Comment lire le résultat
Sur le texte vous verrez trois chiffres :
• Tokens — le décompte qui compte vraiment pour le contexte et le coût. C'est le nombre réel même si la visualisation est tronquée.
• Caractères — longueur du texte en caractères (espaces et sauts de ligne inclus).
• Chars / token — caractères par token en moyenne. Plus c'est élevé, plus le texte est « efficace » (moins de tokens par lettre) ; le code et les langues avec beaucoup d'accents ont tendance à faire baisser ce chiffre.
Visualisation du découpage
Chaque case colorée est un token ; les couleurs alternent seulement pour distinguer les limites. Observe comme un mot long se divise en plusieurs morceaux et comme les espaces sont généralement collés au début du token suivant. Pour ne pas surcharger le navigateur, la vue affiche au maximum les 500 premiers tokens ; si ton texte est plus long, un avis apparaît, mais le décompte et le coût portent sur le texte complet.
Confidentialité
Tout le découpage et le comptage se font dans ton navigateur : le texte ne quitte jamais ton appareil. En mode Instantané rien n'est téléchargé ; en mode Exact seul le vocabulaire du tokenizer choisi est téléchargé une fois et mis en cache. Tu peux coller sans crainte des prompts ou fragments contenant des données internes.
