Colocamos um mesmo documento, de uma vez só, nas IAs de sete empresas. Ao olhar a fatura que voltou, o 'número de tokens de entrada' era completamente diferente em cada empresa. E isso mesmo sendo o mesmo documento, sem uma única letra alterada.
O token é a unidade com que a IA corta o texto para ler, e o preço também é cobrado pelo número desses tokens. Onde cortar não é uma gramática definida por pessoas, mas se decide com base nos blocos que costumavam aparecer juntos com frequência na enorme quantidade de textos usados no treinamento. Por isso, se você pensar nele como uma unidade que corresponde mais ou menos ao radical de uma palavra, não estará muito longe da verdade.
Cada empresa fabrica a própria régua
O problema está em que cada empresa fabrica com as próprias mãos essa lista de blocos. Além disso, dentro de uma mesma empresa, quando muda a geração do modelo, a lista às vezes é refeita. Contando o mesmo texto na tela que a OpenAI divulgou, na geração mais recente dá 53, num modelo uma ou duas gerações anteriores dá 57, e num modelo mais antigo dá 64. Se dentro de uma única empresa a diferença já é essa, entre empresas nem se fala.
Para o comprimento existe o metro, para o peso existe o grama, réguas comuns. Mas para o token não existe uma régua dessas. É como se cada um estivesse medindo o mesmo texto com uma régua diferente.
O caso em que o preço unitário ficou igual e só a fatura cresceu
A primeira vez que reparei nesse problema foi numa apresentação de um evento de FinOps. Ao apontar por que é tão complicado calcular o custo de operar uma IA, dizia-se que, como a forma de contar tokens é diferente em cada empresa, mesmo com a mesma tabela de preços o dinheiro que efetivamente sai se distancia bastante.
Há também um caso real. Em abril passado, a Anthropic, ao lançar um novo modelo, mudou a forma de contar tokens, e, mesmo com o preço unitário da tabela idêntico ao do modelo anterior, o mesmo texto rendeu até 35% mais tokens. O preço unitário não subiu um centavo, mas só a fatura cresceu.
※ FinOps : é o termo que designa a área de prática financeira que rastreia e gerencia os custos gastos com nuvem ou IA.
Medimos lado a lado sete empresas e dezesseis modelos
Por isso, nós, da Polora, medimos por conta própria. Enviamos a mesma pergunta, com o mesmo relatório anexado, várias vezes, distribuída entre dezesseis modelos de sete empresas, e reunimos o número de tokens que cada empresa devolveu como base da cobrança.
Colocando como 1,00 o número que a OpenAI contou, até Google 1,05, Mistral 1,06, Deepseek 1,09, xAI 1,15 e Moonshot 1,19 ficaram parecidos entre si. Mas só a Anthropic, com 1,55, estava sozinha, bem distante.
Esse número não é um acaso que muda a cada disparo. Nas 121 vezes em que colocamos a mesma entrada em dois modelos da mesma empresa e da mesma geração, o número de tokens não diferiu nem um pouco.
A tabela de preços de verdade só aparece quando se multiplica o preço unitário pela quantidade
O motivo pelo qual isso se torna uma questão de dinheiro é que a unidade da tabela de preços é justamente esse token. Mesmo que duas empresas escrevam igualmente '2 dólares por 1 milhão de tokens', se um lado conta o mesmo texto em 1,55 vez, o dinheiro que se paga de fato também é 1,55 vez. É como se estivéssemos comparando as tabelas de preços de dois países de moedas diferentes deixando de lado a taxa de câmbio.
Isto não é algo que se ligue diretamente à qualidade. A forma de dividir em pedaços menores também tem aspectos favoráveis ao desempenho, e as empresas podem ter definido o preço unitário levando isso em conta. O ponto é que não se deve comparar apenas os preços unitários lado a lado : só multiplicando por quantos tokens cada empresa conta o seu documento é que se enxerga o dinheiro que realmente se vai pagar. Só que esta medição teve como base um documento com muito coreano, então, se a composição de idiomas for diferente, a proporção também muda.
Ao receber um orçamento, tanto quanto se examina o preço unitário, é preciso conferir se o critério de contagem da quantidade coincide entre as partes, para que haja conversa. Parece estar chegando o momento em que também para o preço da IA se torna necessária uma régua comum, como o metro para o comprimento.
No próximo texto, tratamos do resultado de medir quanto o preço se distancia entre perguntar a mesma coisa em inglês e perguntá-la em coreano. Para quem escreve em coreano, aparece um número um pouco injusto.
