THOL expliqué : les optimiseurs font-ils économiser ?

Tous les outils qui promettent d'alléger la facture d'un agent IA affichent un chiffre impressionnant : « ce fichier fond de 80 % », « 90 % de tokens en moins ». Ces chiffres sont réels, et ils ne disent presque jamais ce qui arrive à votre facture.

THOL est un banc d'essai public construit pour répondre à cette seule question. Il confie à un agent IA les mêmes travaux encore et encore, sans outil puis avec chaque optimiseur de tokens, et compare ce qu'a coûté chaque session entière. Cette page explique comment il fonctionne, montre ce qu'il a trouvé et vous dit comment le lire. Les données brutes et le protocole complet sont publics : les liens sont en fin de page.

THOL en une minute

THOL signifie Token-Harness Optimizer Leaderboard. En une phrase : mêmes travaux, même agent, même modèle, avec et sans chaque outil, de nombreuses fois, et la facture de la session entière à la fin.

Le résultat que Tokenade en cite : sur les longues sessions, Tokenade rend une session 39 % moins chère que le même agent sans outil. C'est le seul chiffre Tokenade que ce site utilise.

D'où vient vraiment la facture d'un agent IA

Pour comprendre pourquoi THOL mesure des sessions entières, regardez ce que l'agent envoie au modèle. À chaque étape, il renvoie toute la conversation depuis le début : votre demande, chaque fichier lu, chaque résultat de commande. Puis il reçoit une réponse courte, et recommence.

Neuf tokens sur dix sont de l'historique renvoyé. Voilà pourquoi un log de build de 600 lignes coûte cher : l'agent ne le paie pas une fois, il le paie à chaque étape suivante. Et voilà pourquoi réduire un message dit peu de chose : ce qui compte, c'est ce qui reste dans la conversation et le nombre d'étapes dont l'agent a besoin.

Pourquoi « ce fichier fond de 80 % » est le mauvais chiffre

Un taux de compression décrit un seul message, souvent choisi pour être flatteur. Une session, c'est autre chose. Si un outil réduit trop la sortie, l'agent ne trouve plus ce qu'il lui faut : il relit le fichier, relance la commande, ajoute des étapes. Chaque étape de plus renvoie toute la conversation. L'« économie » peut finir par coûter plus qu'elle n'a rapporté.

Un outil ajoute aussi son propre poids : des instructions chargées dans l'agent, des descriptions d'outils envoyées à chaque étape. Un pourcentage par fichier ignore tout cela. La facture de fin de session, non.

Comment se déroule un essai THOL

Un essai raté ne compte jamais comme une économie : un outil qui rend les sessions bon marché en les faisant échouer ne gagne pas.

Les 17 travaux

Les tâches mêlent le travail de programmation courant (corriger des bugs, ajouter des fonctionnalités, refactorer, migrer, comprendre un code inconnu) et des travaux qui ne sont pas du code : retrouver une ligne dans un gros log, rédiger un rapport à partir d'un PDF, auditer le SEO d'un site, faire une recherche web sur des projets open source. Sept d'entre elles sont « longues » : l'agent seul consomme plus de 200 000 tokens pour les terminer.

Pourquoi isoler les longues sessions ? Sur un travail rapide, il n'y a presque rien à alléger : tous les outils restent proches de l'agent seul et seul le coût fixe de chaque outil apparaît. Les longues sessions, c'est là que se trouvent le vrai travail et les vraies factures.

Même travail, facture différente

Voici un détail que la plupart des benchmarks oublient : même sans aucun outil, refaire deux fois le même travail ne coûte pas la même chose. L'agent prend un autre chemin, lit d'autres fichiers, fait plus ou moins d'étapes.

C'est pour cela que THOL refait tout dix fois et publie cet écart : un petit écart entre deux outils peut relever du hasard. Seule une différence plus grande que ce bruit naturel a un sens.

Le résultat sur les longues sessions

Pour chaque tâche, THOL divise le coût avec l'outil par le coût sans outil, puis fait la moyenne de ces rapports sur les tâches, d'une façon qui empêche une tâche atypique de tout fausser (une moyenne géométrique). Le graphique montre le résultat comme une variation du coût d'une session : sous zéro, c'est moins cher ; au-dessus, plus cher.

Comment le lire :

• Un outil est mesurablement moins cher. Sur les longues sessions, Tokenade ressort 39 % moins cher que l'agent seul, un écart bien au-delà du bruit.
• La plupart des outils ne changent rien de mesurable. Leur barre penche d'un côté ou de l'autre, mais l'écart reste dans la variation naturelle d'un essai à l'autre : avec ces 70 essais, on ne pourrait pas dire à la facture s'ils étaient installés.
• Un outil rend les sessions plus chères. Compresser chaque message n'est pas gratuit si l'agent doit ensuite travailler davantage.

Ce que vous verrez vraiment

Les 39 % sont un chiffre de coût de session, mesuré sur les longues sessions. Sur un travail long en plusieurs étapes, attendez-vous à l'effet le plus fort. Sur une question rapide, à un effet faible : il y a peu à retirer.

Ce n'est pas un taux de compression sur un fichier : il ne se compare pas aux pourcentages par fichier affichés ailleurs. Eux décrivent un message, celui-ci décrit la facture.

Comment Tokenade compte vos propres économies

THOL mesure Tokenade en laboratoire. Sur votre ordinateur, Tokenade tient son propre registre : chaque fois qu'il modifie ce qui part vers le modèle, il note la taille avant, la taille après et la différence. Les tokens sont comptés sur votre machine ; aucun texte n'est envoyé nulle part pour être compté.

Trois corrections gardent ce chiffre honnête :

1. Seules les vraies économies sont comptées. Une modification qui n'économise rien, ou qui ajoute du texte, compte pour zéro.
2. Une économie est plafonnée à ce que votre agent aurait vraiment montré au modèle. Les agents coupent déjà eux-mêmes les très gros résultats ; compter toute la taille brute surestimerait le gain.
3. Ce que Tokenade ajoute est déduit. Les courtes instructions qu'il donne à votre agent sont retranchées des économies.

Ce qui ne se mesure pas exactement, comme le fichier entier que l'agent n'a pas eu à lire, va dans une estimation à part, affichée à côté du total mesuré et jamais ajoutée à lui. La méthode complète est dans comment les économies sont mesurées.

Qui fait tourner THOL, et pourquoi lui faire confiance

THOL est maintenu par l'auteur de Tokenade, Paul Irolla : il n'est donc pas indépendant, et cette page ne prétend pas le contraire. Le conflit d'intérêts est traité par la construction du test :

• chaque outil passe par le même banc d'essai, installé exactement comme le dit sa documentation ;
• les vérificateurs sont figés avant tout essai et jugent le travail, pas l'outil ;
• l'agent sans outil est testé comme n'importe quelle autre entrée ;
• chaque essai, y compris ceux qui ne sont pas favorables à Tokenade, est publié sans retouche.

Il est reproductible plutôt qu'indépendant : tout le monde peut le relancer et comparer.

Vérifiez vous-même

• Le classement en ligne : leaderboard THOL
• Les données agrégées derrière chaque graphique de cette page : results.json
• Le protocole complet, le harnais et les étapes de reproduction : dépôt THOL sur GitHub (le benchmark est open source, MIT)

Citer ce benchmark

Irolla, P. (2026). Token-Harness Optimizer Leaderboard (THOL): an end-to-end benchmark of coding-agent token optimizers.

FAQ

Pourquoi seulement les longues sessions ?

Sur les travaux courts, il n'y a presque rien à alléger : tous les outils restent proches de l'agent seul et la comparaison ne montre que le coût fixe de chaque outil. Les longues sessions, au-delà de 200 000 tokens, sont là où se trouve la facture.

Pourquoi un outil au gros taux de compression ne gagne-t-il pas ?

Parce que la facture vient de la session entière. Si la sortie compressée oblige l'agent à relire ou à ajouter des étapes, chaque étape renvoie la conversation et l'économie disparaît.

Un essai raté compte-t-il ?

Non. Seuls les essais réussis sont comparés : un outil ne peut pas paraître bon marché en faisant abandonner l'agent.

Tokenade est-il open source comme THOL ?

Non. THOL, le benchmark, est open source (MIT). Tokenade, le produit, ne l'est pas.