同じ文書を一つ、七つの会社のAIにまとめて入れてみました。返ってきた請求書を見ると、「入力トークン数」が会社ごとにすべて違っていました。一文字も変えていない同じ文書だったのに、そうなりました。
トークンはAIが文章を区切って読む単位で、料金もこのトークンが何個あるかで決まります。どこで区切るかは人が決めた文法ではなく、学習に使われた膨大な文章の中で頻繁にくっついて現れていたかたまりを基準に決まります。そのため、だいたい単語の語幹くらいに当たる単位だと考えれば、大きくは外れません。
数えるものさしを会社ごとに別々に作る
問題は、そのかたまりの一覧を会社ごとに自分の手で作るという点にあります。しかも一つの会社の中でも、モデルの世代が変わると一覧を作り直すこともあります。OpenAIが公開している画面で同じ文章を数えてみると、最新の世代では53個、一つ二つ前の世代のモデルでは57個、さらに古いモデルでは64個と出ます。一つの会社の中でもこれだけ開くのですから、会社どうしなら言うまでもありません。
長さにはメートル、重さにはグラムという共通のものさしがあります。ところがトークンには、そうしたものさしがありません。それぞれが違うものさしで同じ文章を測っているわけです。
単価はそのままなのに、請求書だけが大きくなった話
この問題を最初に気に留めたのは、あるFinOpsイベントの発表でした。AIを動かす費用を見積もるのがなぜそれほど厄介なのかを取り上げながら、会社ごとにトークンの数え方が違うため、同じ価格表でも実際に出ていくお金は大きく開くと述べていました。
実際の事例もあります。この4月、Anthropicは新しいモデルを出す際にトークンの数え方を変えましたが、価格表の単価は直前のモデルと同じなのに、同じ文章でトークンが最大35%まで多く出ました。単価はまったく上がっていないのに、請求書だけが大きくなったのです。
※ FinOps : クラウドやAIにかかる費用を追跡し、管理する財務実務の分野を指す言葉です。
七つの会社のモデルを並べて測ってみた
そこでPoloraが自分たちで測ってみました。同じ報告書を添えた同じ質問を、七つの会社のモデルに何度かに分けて送り、各社が請求の根拠として返してきたトークン数を集めました。
OpenAIが数えた個数を1.00とすると、Google 1.05、Mistral 1.06、Deepseek 1.09、xAI 1.15、Moonshot 1.19まではおおむね横並びでした。ところがAnthropicだけが1.55で、一つだけ大きく離れていました。
この数値は、投げるたびに変わる偶然ではありません。同じ会社、同じ世代の二つのモデルに同じ入力を入れた121回すべてで、トークン数は少しも違いませんでした。
本当の価格は、単価に数量を掛けて初めて出る
これがなぜお金の問題になるのかというと、価格表の単位がまさにそのトークンだからです。二つの会社が同じく「100万トークンあたり2ドル」と書いていても、片方が同じ文章を1.55倍で数えるなら、実際に払うお金も1.55倍です。為替を抜きにして、通貨の違う二つの国の価格表を比べてきたようなものです。
これは品質にそのままつながる話ではありません。細かく分ける方式が性能に有利な面もありますし、各社もその点を踏まえて単価を決めた可能性があります。要点は、単価だけを並べて比べるのではなく、自分の文書を各社が何個に数えるかまで掛け合わせて初めて、本当に払うお金が見えるということです。ただし今回の測定は韓国語の多い文書を基準にしたものなので、言語の構成が違えば倍率も変わります。
見積書を受け取るとき、単価を吟味するのと同じくらい、数量を数える基準がたがいに合っているかを確かめて初めて話がかみ合います。AIの料金にも、長さのメートルのような共通のものさしが必要になる時が来つつあるようです。
次の記事では、同じ質問を英語で尋ねるときと韓国語で尋ねるときで、料金がどれだけ開くかを測ってみた結果を取り上げます。韓国語で書く人には、少し理不尽な数字が出てきます。
