Enviamos o mesmo documento, exatamente igual, às IAs de sete empresas. Na cobrança de cada uma, o número de "tokens de entrada" era diferente. E nenhuma letra do documento tinha mudado.
O token é a unidade em que uma IA divide o texto para lê-lo, e é também a unidade em que a cobrança é feita. Onde o texto é cortado não depende de uma gramática definida por pessoas, e sim dos pedaços que apareciam juntos com frequência no enorme volume de texto usado no treinamento. Por isso, pensar num token como algo mais ou menos do tamanho de uma palavra ou de um pedaço de palavra não está muito longe da verdade.
Cada empresa usa a própria régua para contar tokens
O problema é que cada empresa monta a sua própria lista de pedaços em que o texto será cortado. Essa lista, a régua que conta os tokens, se chama tokenizador. E até dentro da mesma empresa a lista às vezes é refeita a cada nova geração de modelos. Quem cola uma frase de exemplo na ferramenta pública de contagem de tokens da OpenAI vê 53 tokens na geração mais recente, 57 num modelo de uma ou duas gerações antes e 64 num modelo mais antigo. Se a diferença já é desse tamanho dentro de uma mesma empresa, entre empresas diferentes nem se fala.
O comprimento tem o metro e o peso tem o grama, padrões que todo mundo compartilha. Os tokens não têm nada parecido. Cada empresa mede o mesmo texto com uma régua diferente.
O preço da IA ficou igual, mas a conta cresceu
Ouvimos falar desse problema pela primeira vez numa palestra de um evento de FinOps, a área prática que acompanha e controla os gastos com nuvem e com IA. Ao explicar por que é tão difícil calcular quanto custa usar IA, o palestrante disse que, como cada empresa conta tokens de um jeito, a mesma tabela de preços pode resultar em gastos reais muito diferentes.
Há também um caso concreto. Em abril, a Anthropic lançou um novo modelo e mudou a forma de contar tokens. O preço unitário na tabela era exatamente o mesmo do modelo anterior, mas o mesmo texto passou a render até 35% mais tokens. O preço não subiu um centavo, e mesmo assim a conta ficou maior.
Medimos os tokens de dezesseis modelos de sete empresas com um documento em coreano
Então fomos medir nós mesmos na Polora. Mandamos a mesma pergunta, com o mesmo relatório anexado, escrito em grande parte em coreano, a dezesseis modelos de sete empresas, em várias rodadas, e reunimos a contagem de tokens que cada empresa informou como base da cobrança.
Tomando como 1,00 a contagem da OpenAI, o Google ficou em 1,05, a Mistral em 1,06, a DeepSeek em 1,09, a xAI em 1,15 e a Moonshot em 1,19, todos próximos entre si. Só a Anthropic ficou isolada, bem longe das outras, em 1,55.
Esses números não mudam por acaso a cada envio. Mandamos a mesma entrada 121 vezes para dois modelos da mesma empresa e da mesma geração, e a contagem de tokens não variou nem uma vez.
O preço real da IA só aparece quando se multiplica o preço unitário pelo número de tokens
A diferença na contagem de tokens vira diferença de dinheiro porque as IAs cobram por token. Se duas empresas anunciam o mesmo "US$ 2 por 1 milhão de tokens", mas uma delas conta 1,55 vez mais tokens no mesmo texto, o valor pago também é 1,55 vez maior. É como comparar os preços de dois países com moedas diferentes sem levar em conta o câmbio.
Isso não diz nada, por si só, sobre qualidade. Cortar o texto em pedaços menores pode trazer vantagens de desempenho, e as empresas podem ter levado isso em conta ao definir seus preços. O ponto é que não basta pôr os preços unitários lado a lado. Só quando se multiplica pelo número de tokens que cada empresa conta no seu próprio documento é que aparece quanto você vai realmente pagar. Vale lembrar que esta medição foi feita com um documento com muito texto em coreano e que, com outra mistura de idiomas, as proporções mudam.
Quem recebe um orçamento sabe que, tanto quanto o preço unitário, é preciso conferir se todos contam as quantidades pelo mesmo critério. Sem isso, não há comparação. Na nossa medição com um documento em coreano, o mesmo texto também recebeu uma contagem diferente em cada empresa. Parece que, mais cedo ou mais tarde, a cobrança de IA vai precisar de uma régua comum, como o metro para o comprimento.
No próximo texto, medimos quanto a conta muda quando a mesma pergunta é feita em inglês ou em coreano. Para quem escreve em coreano, o número é um tanto injusto.
