Comment nous mesurons les économies
Chaque économie citée sur ce site vient d'un seul benchmark public et reproductible. Voici exactement ce qu'il mesure, ce qu'il écarte, et comment le vérifier vous-même.
Ce qui est mesuré
THOL (Token-Harness Optimizer Leaderboard) mesure un seul résultat : la tâche de code a-t-elle réussi, et combien a coûté toute la session en dollars — avec chaque optimiseur installé, et avec Claude Code seul comme témoin. Les taux de compression sur un fichier figé ne sont pas mesurés : ce sont des moyens, la facture est le résultat.
Protocole
Chaque exécution est une session Claude Code headless entièrement isolée : HOME jetable, espace de travail jetable, configuration MCP stricte, un modèle figé (Claude Sonnet) et une version de Claude Code figée. Les tâches utilisent des fixtures déterministes, et des vérificateurs programmatiques notent le résultat contre une vérité terrain jamais présente dans l'espace de travail. Chaque outil tourne 10 fois par tâche.
Ce qui est écarté
Les tâches que Claude Code seul termine en moins de cinq tours environ sont retirées : tous les outils y tombent sur le même coût quasi nul, seul le surcoût fixe apparaîtrait. Le tableau principal se limite aux longues sessions — les tâches où Claude Code seul consomme plus de 200 000 tokens — parce que c'est là que se trouvent le vrai travail d'agent et les vraies factures.
Comment les résultats sont agrégés
Le coût est agrégé en moyenne géométrique des ratios de coût par tâche face au témoin, pour qu'aucune tâche ne domine ; un total pondéré par le coût concorde à un point près. Toutes les exécutions réussies sont gardées telles quelles. Les exécutions varient de l'une à l'autre : un petit écart entre deux outils voisins n'est pas un classement — la dispersion du témoin est publiée comme plancher de bruit.
Le résultat publié
Sur les longues sessions, Tokenade réduit le coût d'une session de 39 % par rapport à Claude Code seul. C'est le seul chiffre du benchmark que ce site cite.
Ce que vous verrez vraiment
Les 39 % sont mesurés sur les longues sessions — les tâches où l'agent consomme plus de 200 000 tokens — parce que c'est là que s'accumulent le contexte renvoyé à chaque tour, les sorties de commandes et les lectures de fichiers. Sur une tâche courte, il y a peu à alléger : tous les outils du benchmark y restent proches de Claude Code seul. Attendez-vous donc à un effet faible sur une question rapide et maximal sur un travail long en plusieurs étapes. C'est un chiffre de coût de session, pas un taux de compression sur un fichier : il ne se compare pas aux pourcentages par fichier affichés ailleurs.
Impartialité
Le benchmark est maintenu par l'auteur de Tokenade, Paul Irolla. Le conflit est traité par construction : le harnais ne distingue pas les outils, l'installation suit la documentation de chaque outil, les vérificateurs sont figés avant toute exécution et contrôlent le résultat de la tâche, pas le comportement de l'outil, le témoin est une entrée à part entière, et toutes les données brutes — y compris les exécutions défavorables à Tokenade — sont publiées sans retouche. Il est reproductible, pas indépendant.
Vérifiez vous-même
Le leaderboard publie les agrégats (results.json) et chaque exécution (results.sqlite), avec la méthode complète et les étapes exactes de reproduction dans le README de son dépôt.
Ouvrir le leaderboard et ses données brutes →
Citer ce benchmark
Irolla, P. (2026). Token-Harness Optimizer Leaderboard (THOL): an end-to-end benchmark of coding-agent token optimizers.
@misc{irolla2026thol,
author = {Irolla, Paul},
title = {Token-Harness Optimizer Leaderboard (THOL): an end-to-end benchmark of coding-agent token optimizers},
year = {2026},
howpublished = {\url{https://pi-infected.github.io/token-harness-optimizer-leaderboard/}},
note = {Methodology: https://tokenade.net/en/methodology}
}