Nous avons soumis un même document, en une seule fois, aux IA de sept entreprises. En regardant les factures revenues, le « nombre de tokens en entrée » différait d'une entreprise à l'autre. Et cela, alors qu'il s'agissait exactement du même document, sans qu'une seule lettre ait été changée.
Le token est l'unité selon laquelle l'IA découpe le texte pour le lire, et le tarif se calcule lui aussi d'après le nombre de ces tokens. L'endroit où couper n'est pas fixé par une grammaire décidée par des humains, mais d'après les blocs qui apparaissaient souvent ensemble dans les immenses corpus de textes ayant servi à l'entraînement. On ne se trompe donc pas beaucoup en se représentant cette unité comme correspondant à peu près à la racine d'un mot.
Chaque entreprise fabrique son propre instrument de mesure
Le problème, c'est que cette liste de blocs, chaque entreprise la fabrique de ses propres mains. De plus, au sein d'une même entreprise, il arrive que la liste soit refaite lorsque la génération du modèle change. En comptant un même texte sur l'écran rendu public par OpenAI, on obtient 53 pour la génération la plus récente, 57 pour un modèle d'une ou deux générations antérieures, et 64 pour un modèle plus ancien. Si l'écart est déjà tel au sein d'une même entreprise, inutile de parler de ce qu'il en est entre entreprises.
Pour la longueur il y a le mètre, pour le poids le gramme, des instruments communs. Or, pour le token, un tel instrument n'existe pas. Chacun mesure donc un même texte avec un instrument différent.
Quand le prix unitaire reste identique mais que seule la facture grossit
C'est lors d'une présentation à un événement FinOps que nous avons prêté attention à ce problème pour la première fois. En expliquant pourquoi il est si délicat d'estimer le coût d'exploitation d'une IA, l'intervenant soulignait que, la façon de compter les tokens variant d'une entreprise à l'autre, la somme réellement dépensée s'écarte fortement même à grille tarifaire identique.
Il existe aussi un cas réel. En avril dernier, Anthropic, en sortant un nouveau modèle, a modifié sa façon de compter les tokens : bien que le prix unitaire de la grille soit identique à celui du modèle précédent, un même texte produisait jusqu'à 35 % de tokens en plus. Le prix unitaire n'a pas augmenté d'un centime, mais seule la facture a grossi.
※ FinOps : terme désignant le domaine de la pratique financière qui consiste à suivre et gérer les coûts liés au cloud et à l'IA.
Mesurer côte à côte sept entreprises et seize modèles
Nous l'avons donc mesuré nous-mêmes chez Polora. Nous avons envoyé, à plusieurs reprises, une même question accompagnée d'un même rapport aux seize modèles de sept entreprises, et nous avons rassemblé le nombre de tokens que chaque entreprise a renvoyé comme base de facturation.
Si l'on pose à 1,00 le nombre compté par OpenAI, jusqu'à Google 1,05, Mistral 1,06, Deepseek 1,09, xAI 1,15 et Moonshot 1,19, tous se ressemblaient. Mais Anthropic seul, à 1,55, se tenait à l'écart, loin devant.
Ce chiffre n'est pas un hasard qui changerait à chaque envoi. Sur les 121 fois où une même entrée a été soumise à deux modèles d'une même entreprise et d'une même génération, le nombre de tokens n'a pas varié d'un iota.
Le vrai prix ne se révèle qu'en multipliant le prix unitaire par la quantité
Si cela devient une question d'argent, c'est parce que l'unité de la grille tarifaire est précisément ce token. Même si deux entreprises inscrivent à l'identique « 2 dollars par million de tokens », si l'une compte un même texte 1,55 fois plus, la somme réellement payée est elle aussi 1,55 fois plus élevée. Cela revient à avoir comparé les grilles tarifaires de deux pays aux monnaies différentes en laissant de côté le taux de change.
Ce n'est pas là un propos qui rejoint directement la question de la qualité. Découper finement présente aussi des avantages pour la performance, et les entreprises ont pu fixer leur prix unitaire en tenant compte de ce point. L'essentiel, c'est qu'il ne faut pas comparer les seuls prix unitaires côte à côte : il faut aussi multiplier par le nombre en lequel chaque entreprise compte mon document pour voir la somme réellement à payer. Cela dit, cette mesure repose sur un document comportant beaucoup de coréen, si bien que, lorsque la composition linguistique diffère, le facteur change lui aussi.
Au moment de recevoir un devis, autant qu'examiner le prix unitaire, il faut vérifier que les critères de comptage des quantités concordent entre les parties pour que le dialogue soit possible. Le temps semble venir où, pour les tarifs de l'IA aussi, un instrument commun, comme le mètre pour la longueur, devient nécessaire.
Dans le prochain article, nous traiterons les résultats d'une mesure de l'écart de tarif entre poser une même question en anglais et la poser en coréen. Pour ceux qui écrivent en coréen, il en ressort un chiffre un peu injuste.
