# Tokenizer

> Un tokenizer découpe le texte en tokens que le modèle traite, généralement avec le BPE (byte-pair encoding). Le même texte donne des nombres de tokens différents selon les tokenizers.

Source: https://tokenade.net/fr/glossary/tokenizer · Updated: 2026-10-07

## Qu'est-ce qu'un tokenizer ?

Un tokenizer est le composant qui convertit du texte brut en une séquence de [tokens](https://tokenade.net/fr/glossary/token) que le modèle de langage lit réellement. La plupart des modèles modernes utilisent un schéma de sous-mots comme le byte-pair encoding (BPE), qui découpe le texte en fragments courants — les mots fréquents restent entiers, les mots rares se divisent en morceaux. L'étape inverse retransforme les sorties de tokens du modèle en texte lisible.

Les tokenizers sont spécifiques à chaque modèle. La même phrase peut donner un nombre de tokens différent selon le tokenizer utilisé, ce qui explique pourquoi les comptages de tokens ne sont pas directement comparables d'un fournisseur à l'autre.

## Pourquoi les tokenizers sont importants en 2026

Ils sont importants parce que le code se tokenise moins efficacement que la prose, ce qui affecte directement le coût d'un agent de codage IA. Les identifiants, la ponctuation, les espaces et les symboles rares courants dans le code source se découpent souvent en plus de tokens que l'anglais ordinaire, si bien qu'un fichier de code peut coûter plus de tokens que son nombre de caractères ne le laisse supposer. C'est pourquoi mesurer l'utilisation réelle de tokens (avec le bon tokenizer) est bien plus fiable qu'estimer à l'œil le nombre de caractères quand on cherche à réduire sa facture.

Les tokenizers changent aussi d'une génération de modèles à l'autre chez le *même* fournisseur : c'est la leçon de 2026. La documentation tarifaire d'Anthropic indique que Claude 4.7 et les modèles suivants (donc les Opus 5.5, Sonnet 5.5 et Fable 5.1 actuels) utilisent un nouveau tokenizer qui produit environ 30 % de tokens en plus pour le même texte, tandis que Sonnet 4.6 et les modèles antérieurs utilisent l'ancien ; l'augmentation exacte dépend du contenu. Un prix par token qui semble stable lors d'une mise à niveau peut quand même signifier une facture plus lourde, parce que le compte a augmenté. Remesurez vos budgets de tokens à chaque changement de génération de modèle.

## Quand le détail du tokenizer n'a pas d'importance

- **Pour des estimations approximatives** — la règle empirique des ~4 caractères par token convient quand on a juste besoin d'un ordre de grandeur.
- **À l'intérieur d'un même modèle** — si on reste sur une même version de modèle, les différences absolues du tokenizer sont constantes et on peut raisonner en termes relatifs. Changer de génération de modèle, même chez un seul fournisseur, remet cette base à zéro.

## À lire aussi

- [Glossaire : Token](https://tokenade.net/fr/glossary/token)
- [Glossaire : Context window](https://tokenade.net/fr/glossary/context-window)
- [Article : Comment réduire l'utilisation de tokens d'un agent de codage IA](https://tokenade.net/fr/articles/reduce-ai-coding-agent-token-usage)