Oui. Le même texte demande environ 37 % de tokens de plus en français qu'en anglais sur les tokenizers de la génération actuelle, et il en demandait 61 % de plus sur la génération précédente. À prix et à facteur d'émission identiques, écrire en français coûte donc mécaniquement plus cher en euros comme en carbone. Le surcoût porte sur la phase de lecture du prompt, la moins chère des deux.
L'écart vient du corpus qui a servi à construire le découpage, pas de la langue. Et il est bien plus grand pour les langues mal servies : le birman demandait 11,6 fois plus de tokens que l'anglais il y a deux ans.
La mesure, et son protocole
Aucune source publiée ne couvrait à la fois le français et les langues peu dotées sur les tokenizers de 2025-2026. La mesure ci-dessous a donc été faite pour ce cours, le 9 septembre 2026, et son protocole est donné pour que vous puissiez la rejouer.
Corpus : FLORES-200 devtest, 1 012 phrases parallèles traduites par des professionnels. Découpage avec tiktoken pour les encodages OpenAI et la bibliothèque tokenizers de Hugging Face pour les autres. Le ratio est le nombre total de tokens de la langue divisé par celui de l'anglais sur les mêmes phrases.
Validation : les valeurs obtenues sur cl100k reproduisent la table de référence de Petrov et al. (NeurIPS 2023) à moins de 2 % près, et recoupent à la virgule près Removable and Irreducible: A Token-Cost Ledger for the Multilingual Tokenization Tax (arXiv:2609.00378, juillet 2026), qui publie sur le même corpus et le même encodage.
| Langue | cl100k (GPT-4) | o200k (génération actuelle) |
|---|---|---|
| Anglais | 1,00 | 1,00 |
| Portugais | 1,48 | 1,23 |
| Espagnol | 1,54 | 1,32 |
| Allemand | 1,59 | 1,31 |
| Français | 1,61 | 1,37 |
| Chinois simplifié | 1,87 | 1,25 |
| Swahili | 1,95 | 1,49 |
| Arabe | 3,03 | 1,38 |
| Hindi | 4,76 | 1,57 |
| Amharique | 7,59 | 5,78 |
| Birman | 11,62 | 3,16 |
| Santali | 12,74 | 13,70 |
Et le couple utile pour convertir un volume de texte en volume de tokens :
| Tokenizer | tokens par mot, anglais | tokens par mot, français | caractères par token, français |
|---|---|---|---|
| cl100k | 1,24 | 1,71 | 3,61 |
| o200k | 1,23 | 1,44 | 4,28 |
Ce qui a changé, et ce qui n'a pas changé
Le passage de cl100k à o200k a doublé la taille du vocabulaire, et le gain est réel. Mais il n'est pas réparti également.
Les langues qui gagnent le plus sont celles qui partaient de plus loin. Le birman passe de 11,62 à 3,16, soit −73 %. L'hindi de 4,76 à 1,57 et l'arabe de 3,03 à 1,38. Le français, déjà bien servi, ne gagne que 15 %.
La réduction d'inégalité entre 2023 et 2026 ne profite donc quasiment pas au français. Le santali, lui, régresse de 12,74 à 13,70 : le vocabulaire élargi a été rempli avec d'autres langues.
Un détail à ne pas relayer de travers : l'encodage o200k_harmony produit exactement le même nombre de tokens que o200k_base sur les 27 langues testées. Les deux partagent les mêmes règles de fusion et ne diffèrent que par des jetons spéciaux de format, donc aucun gain de compression.
Question
Un service client francophone traite 400 millions de tokens par mois. Son équipe envisage de basculer les prompts système en anglais pour réduire la facture. Que répondez-vous ?
Choisissez une réponse pour voir l'explication.
L'enjeu d'équité, chiffré
La mécanique devient un sujet politique ici. Mieux vaut le poser en chiffres qu'en indignation.
Un locuteur birman qui pose la même question qu'un anglophone, au même modèle, paie 3,16 fois plus et consomme 3,16 fois plus d'énergie de prefill. Sur les modèles encore servis en cl100k, c'était 11,62 fois.
Au-delà de la surfacturation, ça ampute la capacité réelle. À fenêtre de contexte égale de 200 000 tokens, l'anglophone loge environ 976 000 caractères, le francophone environ 857 000, le locuteur birman une fraction de cela. À limite technique égale, le service n'est pas le même selon la langue.
The African Language Tax (arXiv:2606.24460, juin 2026) porte sur 22 langues africaines et 11 tokenizers, sur FLORES-200+, et classe les découpages par surcoût moyen : Gemma 4 en tête à 2,43 fois l'anglais, Llama 4 à 2,52, cl100k dernier à 3,40. Pire cas absolu relevé, le N'Ko à 10,87 tokens par mot, soit un surcoût de 8,92 fois l'anglais sur o200k_base.
Ce qu'un consultant en tire
Pour un service multilingue, le choix de modèle est aussi un choix de tokenizer, donc un choix de coût et d'empreinte par langue. Cette dimension n'apparaît dans aucune grille de comparaison de fournisseurs, et on la mesure en une demi-journée sur les logs réels du client.
Une réserve de méthode, à énoncer si vous réutilisez ces chiffres. FLORES-200 est du texte encyclopédique traduit : ni conversation, ni code, ni prompt système. Le français conversationnel avec élisions et le français technique truffé d'anglicismes ne donneront pas exactement ces ratios. Le rapport caractères par token tient mieux que le rapport tokens par mot, parce que le découpage en mots sur les espaces augmente le compte français.
FAQ
Le français consomme-t-il plus de tokens que l'anglais ?
Oui, environ 37 % de plus pour le même texte sur les tokenizers actuels de type o200k, et 61 % de plus sur la génération précédente de type cl100k. Mesure faite sur FLORES-200 devtest, 1 012 phrases parallèles, en septembre 2026, validée contre la table de référence de Petrov et al. publiée à NeurIPS 2023.
Pourquoi certaines langues coûtent-elles beaucoup plus cher en tokens ?
Parce que le découpage en sous-mots est construit statistiquement sur un grand corpus, très majoritairement anglophone. Les séquences fréquentes dans ce corpus reçoivent leur propre token, les autres doivent être décomposées en fragments. On écrit donc une langue peu représentée en beaucoup plus de tokens, sans que sa structure y soit pour quelque chose.
Les nouveaux tokenizers ont-ils corrigé l'écart entre les langues ?
Partiellement, et de façon très inégale. Le passage de cl100k à o200k fait gagner 54 % à l'arabe, 67 % au hindi et 73 % au birman, mais seulement 15 % au français, qui partait déjà bien servi. Le santali, lui, régresse de 12,74 à 13,70 fois l'anglais : le vocabulaire élargi a été rempli avec d'autres langues.
Combien de tokens représente un mot en français ?
Environ 1,44 token par mot sur les tokenizers actuels, contre 1,23 en anglais, soit à peu près 4,3 caractères par token en français contre 4,9 en anglais. Ces valeurs viennent de texte encyclopédique traduit et ne se transposent pas telles quelles à de la conversation ou à du code.
Faut-il rédiger ses prompts en anglais pour réduire la facture ?
Le gain existe mais il est plus faible qu'il n'y paraît. Un prompt rédigé en anglais économise environ 27 % de tokens sur la partie concernée, or l'entrée est le poste le moins coûteux en énergie, environ 35 fois moins qu'un token de sortie à lot unitaire, et elle est souvent mise en cache. Le levier réel se situe sur la longueur des réponses, pas sur la langue des consignes.