Dimos el mismo documento a las IA de siete empresas. Al revisar las facturas, el número de «tokens de entrada» era distinto en cada una. Y era exactamente el mismo documento, sin una sola letra cambiada.
Un token es la unidad en que una IA trocea el texto para leerlo, y el precio se calcula por número de tokens. Dónde se corta no lo decide ninguna regla gramatical pensada por personas, sino los fragmentos que aparecían juntos con más frecuencia en la enorme cantidad de texto con que se entrenó el modelo. Por eso, sin equivocarse mucho, se puede imaginar un token como una palabra o un trozo de palabra.
Cada empresa cuenta los tokens con su propia regla
El problema es que cada empresa elabora por su cuenta la lista de fragmentos en que se corta el texto : su propia regla para contar tokens, lo que en el sector se llama tokenizador. Además, una misma empresa a veces rehace la lista cuando saca una nueva generación de modelos. Si se pega una frase de ejemplo en la herramienta pública de OpenAI para contar tokens, la generación más reciente da 53, un modelo una o dos generaciones anterior da 57, y uno más antiguo, 64. Si dentro de una misma empresa hay tanta diferencia, qué decir de empresas distintas.
La longitud tiene el metro, y el peso, el gramo : medidas comunes para todos. Los tokens no tienen nada parecido. Cada empresa mide el mismo texto con su propia regla.
El precio de la IA no subió, pero la factura sí
Este problema nos llamó la atención por primera vez en una charla de un evento de FinOps, la disciplina práctica que se ocupa de seguir y controlar el gasto en la nube y en IA. El ponente explicó por qué es tan difícil calcular cuánto cuesta usar una IA, y señaló que, como cada empresa cuenta los tokens a su manera, lo que se acaba pagando puede variar mucho aunque la lista de precios sea la misma.
Hay un caso real. En abril pasado, Anthropic lanzó un modelo nuevo y, con él, cambió su forma de contar tokens. El precio por token era igual al del modelo anterior, pero el mismo texto generaba hasta un 35% más de tokens. El precio no subió ni un centavo y, aun así, la factura creció.
Medimos los tokens de dieciséis modelos de siete empresas con un documento en coreano
Así que en Polora lo medimos nosotros mismos. Enviamos varias veces la misma pregunta, acompañada del mismo informe escrito sobre todo en coreano, a dieciséis modelos de siete empresas, y anotamos el número de tokens que cada empresa devolvió como base de facturación.
Tomando como 1,00 la cantidad que contó OpenAI, Google quedó en 1,05, Mistral en 1,06, DeepSeek en 1,09, xAI en 1,15 y Moonshot en 1,19 : todas bastante parecidas. Solo Anthropic, con 1,55, se quedó muy lejos del resto.
Estas cifras no son fruto del azar ni cambian de un envío a otro. Enviamos la misma entrada 121 veces a dos modelos de la misma empresa y de la misma generación, y el número de tokens no varió ni una sola vez.
El precio real de una IA es el precio por token multiplicado por los tokens
La diferencia en el número de tokens se traduce en dinero porque las tarifas de las IA se expresan en tokens. Aunque dos empresas anuncien el mismo precio, «2 dólares por millón de tokens», si una cuenta 1,55 veces más tokens en el mismo texto, también se paga 1,55 veces más. Es como comparar los precios de dos países con monedas distintas sin tener en cuenta el tipo de cambio.
Nada de esto habla directamente de calidad. Cortar el texto en trozos más pequeños puede tener ventajas para el rendimiento, y es posible que las empresas lo hayan tenido en cuenta al fijar sus precios. Lo importante es que no basta con poner los precios uno al lado del otro : para saber lo que se va a pagar de verdad hay que multiplicarlos por los tokens que cada empresa cuenta en los documentos que uno le envía. Eso sí, la medición se hizo con un documento escrito sobre todo en coreano, y con otra mezcla de idiomas las proporciones cambian.
Cuando se recibe un presupuesto, para poder comparar no basta con mirar el precio unitario : antes hay que comprobar que las unidades se cuentan igual. En nuestra medición con un documento en coreano, cada empresa contó una cantidad distinta de tokens para el mismo texto. Quizá se acerque el momento en que las tarifas de las IA necesiten también una medida común, como el metro para la longitud.
En el próximo artículo veremos cuánto cambia lo que se cobra cuando se hace la misma pregunta en inglés o en coreano. Para quien escribe en coreano, las cifras resultan un tanto injustas.
