Compteur de tokens IA et tenue dans le contexte
Collez n'importe quel texte pour voir en combien de tokens il va probablement se transformer, s'il tient dans une fenêtre de contexte donnée, et ce qu'il coûterait à vos propres tarifs d'API. Tout tourne dans votre navigateur — le texte n'est jamais envoyé.
Est-ce que ça tient dans la fenêtre de contexte ?
| Fenêtre de contexte | Votre texte | Ça rentre ? |
|---|
La fenêtre de contexte est partagée entre votre saisie, la réponse du modèle et tout ce que l'app ajoute en coulisses (prompt système, documents récupérés, historique de conversation). Laissez de la marge : remplir la fenêtre à ras bord, c'est ainsi qu'on obtient des réponses tronquées.
Combien cela coûterait ?
Comment fonctionne cette estimation (et pourquoi elle n'est pas exacte)
La vraie tokenisation applique à votre texte un vocabulaire BPE propre au modèle — et chaque famille de modèles en utilise un différent, de sorte que le décompte « vrai » diffère selon le modèle. Le faire correctement dans le navigateur supposerait d'embarquer un vocabulaire de plusieurs mégaoctets par famille, ce qui ralentirait cette page pour un nombre dont vous n'avez besoin qu'approximativement.
À la place, cet outil utilise un estimateur fondé sur les caractères et les mots, pondéré pour les espaces, la ponctuation et les chiffres, qui tombe à environ 10–15% près pour de la prose anglaise ordinaire. Deux biais connus : le code et les textes très ponctués se tokenisent plus densément que l'estimation ne le laisse croire, et les écritures non latines (chinois, japonais, arabe, hindi) consomment nettement plus de tokens par caractère que l'anglais — souvent 2 à 3 fois.
S'il vous faut l'exactitude pour la facturation, utilisez le point de terminaison de tokenisation de votre fournisseur. Pour « est-ce que ça tient ? » et « ça coûtera à peu près combien ? », l'estimation est le bon outil.
Ce qu'est vraiment un token
Les modèles ne lisent ni caractères ni mots : ils lisent des tokens, des fragments entre les deux. Les mots courants font en général un token ; les mots longs ou rares se découpent en plusieurs. « Unbelievable » peut faire trois tokens, « the » en fait un. En prose anglaise, un token vaut en moyenne environ quatre caractères, soit à peu près trois quarts de mot.
Tout se facture et se limite en tokens : ce que vous envoyez, ce qui revient, et ce que le modèle peut contenir d'un coup.
Pourquoi votre texte est plus dense que vous ne le pensez
- Le code se tokenise mal : indentation, crochets et camelCase coûtent tous des tokens. Un fichier de 500 lignes peut peser bien plus que son nombre de caractères ne le laisse croire.
- Le texte non anglais coûte cher. Les langues qui n'utilisent pas l'alphabet latin coûtent souvent 2 à 3 fois plus de tokens par caractère, d'où un même prompt plusieurs fois plus cher en japonais qu'en anglais.
- La répétition coûte peu, la structure non. L'échafaudage JSON et Markdown s'accumule vite sur de nombreux appels.
Fenêtre de contexte ≠ votre budget
Une fenêtre d'un million de tokens ne veut pas dire qu'il faut en envoyer un million. La qualité de l'attention se dégrade vers le milieu des entrées très longues, la latence monte et le coût croît linéairement. La recherche documentaire — n'extraire que les passages pertinents — l'emporte généralement sur le bourrage de fenêtre, et coûte moins cher.
FAQ
Quelle est la précision de ce compteur ?
À environ 10–15 % près pour de la prose anglaise ordinaire. Le code et les écritures non latines dépassent l'estimation. Pour des chiffres de facturation exacts, utilisez le tokeniseur de votre fournisseur.
Mon texte est-il envoyé quelque part ?
Non. Le calcul se fait dans votre navigateur. Aucune requête, aucun journal, aucun stockage.
Pourquoi n'affichez-vous pas les prix des modèles ?
Parce qu'ils changent, et qu'afficher un prix périmé avec assurance est pire que ne rien afficher. Saisissez les tarifs actuels de votre fournisseur et l'outil fait le calcul.
Les images et l'audio consomment-ils des tokens ?
Oui — les entrées multimodales sont elles aussi converties en tokens, à des taux qui varient selon le fournisseur et la résolution. Cet outil ne couvre que le texte.
À voir aussi : Qu'est-ce que le RAG ? · Quel modèle d'IA pour quelle tâche · Tous les outils gratuits