Probé a meter un mismo documento a la vez en las IA de siete empresas. Al mirar las facturas que volvieron, el 'número de tokens de entrada' era distinto en cada empresa. Y eso que era el mismo documento, sin cambiar ni una sola letra.
El token es la unidad con la que la IA corta el texto para leerlo, y la tarifa también se fija según cuántos tokens son. Dónde cortar no lo decide una gramática fijada por personas, sino que se establece a partir de los bloques que solían aparecer juntos con frecuencia en los enormes textos usados para el entrenamiento. Por eso, si lo piensas como una unidad que equivale más o menos a la raíz de una palabra, no te equivocarás demasiado.
Cada empresa fabrica su propia vara de medir
El problema está en que cada empresa arma esa lista de bloques con sus propias manos. Además, incluso dentro de una misma empresa, cuando cambia la generación del modelo a veces rehacen la lista. Si cuentas el mismo texto en la pantalla que OpenAI publicó, en la generación más reciente salen 53, en un modelo una o dos generaciones anterior salen 57, y en un modelo más antiguo salen 64. Si dentro de una sola empresa se separa tanto, entre empresas ni hablar.
Para la longitud está el metro, y para el peso el gramo, varas comunes. Pero para el token no existe una vara así. Es como si cada quien midiera el mismo texto con una vara distinta.
Cuando el precio unitario sigue igual pero solo crece la factura
La primera vez que me fijé en este problema fue en la presentación de un evento de FinOps. Al señalar por qué es tan difícil calcular el coste de usar la IA, decían que, como cada empresa cuenta los tokens de forma distinta, aunque la lista de precios sea la misma, el dinero que realmente sale se separa mucho.
También hay un caso real. El pasado abril, Anthropic, al sacar un nuevo modelo, cambió la forma de contar los tokens, y aunque el precio unitario de la lista era igual al del modelo anterior, en un mismo texto salían hasta un 35 % más de tokens. El precio unitario no subió ni un céntimo, pero solo creció la factura.
※ FinOps : es el término que designa el campo de la práctica financiera que rastrea y gestiona los costes de la nube o de la IA.
Midiendo lado a lado siete empresas y dieciséis modelos
Así que en Polora lo medimos nosotros mismos. Enviamos varias veces una misma pregunta con el mismo informe adjunto a los dieciséis modelos de siete empresas, y reunimos el número de tokens que cada empresa devolvió como base de facturación.
Si ponemos en 1,00 la cantidad que contó OpenAI, hasta Google con 1,05, Mistral con 1,06, Deepseek con 1,09, xAI con 1,15 y Moonshot con 1,19 quedaban parecidas entre sí. Pero solo Anthropic, con 1,55, se quedaba sola muy apartada.
Estas cifras no son un azar que cambia cada vez que lanzas la pregunta. En las 121 veces que metimos la misma entrada en dos modelos de la misma empresa y la misma generación, el número de tokens no varió ni un ápice.
El precio real solo sale de multiplicar el precio unitario por la cantidad
Por qué esto se vuelve un asunto de dinero es porque la unidad de la lista de precios es justamente ese token. Aunque dos empresas escriban igual '2 dólares por millón de tokens', si una cuenta el mismo texto en 1,55 veces, el dinero que realmente pagas también es 1,55 veces. Es como si hubiéramos comparado las listas de precios de dos países con monedas distintas dejando fuera el tipo de cambio.
Esto no es algo que se conecte directamente con la calidad. Cortar en trozos pequeños también tiene su lado favorable para el rendimiento, y las empresas pueden haber fijado el precio unitario teniendo eso en cuenta. El punto es que no compares solo poniendo lado a lado los precios unitarios, sino que solo multiplicando por cuántos tokens cuenta cada empresa tu documento se ve el dinero que de verdad vas a pagar. Eso sí, esta medición se basó en un documento con mucho coreano, así que si la composición de idiomas es distinta, el multiplicador también cambia.
Cuando recibes un presupuesto, tanto como fijarte en el precio unitario, hay que comprobar que el criterio para contar la cantidad coincide entre ambas partes para que haya conversación. Parece que llega el momento en que también la tarifa de la IA necesita una vara común, como el metro para la longitud.
En el próximo artículo trataremos el resultado de medir cuánto se separa la tarifa entre preguntar lo mismo en inglés y preguntarlo en coreano. Para quien escribe en coreano salen unas cifras un poco injustas.
