같은 문서 하나를 일곱 개 회사의 AI에 한꺼번에 넣어 봤습니다. 되돌아온 청구서를 보니 '입력 토큰 수'가 회사마다 전부 달랐습니다. 글자 하나 바꾸지 않은 똑같은 문서였는데도 그랬습니다.
토큰은 AI가 글을 끊어 읽는 단위이고, 요금도 이 토큰이 몇 개인지로 매겨집니다. 어디서 끊을지는 사람이 정한 문법이 아니라, 학습에 쓰인 방대한 글에서 자주 붙어 다니던 덩어리를 기준으로 정해집니다. 그래서 얼추 낱말의 어근쯤에 해당하는 단위라고 생각하면 크게 틀리지 않습니다.
세는 자를 회사마다 따로 만든다
문제는 그 덩어리 목록을 회사마다 제 손으로 만든다는 데 있습니다. 게다가 한 회사 안에서도 모델 세대가 바뀌면 목록을 새로 짜기도 합니다. OpenAI가 공개한 화면에서 같은 글을 세어 보면, 최신 세대에서는 53개, 한두 세대 앞선 모델에서는 57개, 더 오래된 모델에서는 64개로 나옵니다. 한 회사 안에서도 이만큼 벌어지니, 회사끼리는 말할 것도 없습니다.
길이에는 미터, 무게에는 그램이라는 공통의 자가 있습니다. 그런데 토큰에는 그런 자가 없습니다. 저마다 다른 자로 같은 글을 재고 있는 셈입니다.
단가는 그대로인데 청구서만 커진 일
이 문제를 처음 눈여겨본 건 한 FinOps 행사의 발표에서였습니다. AI를 부리는 비용을 산정하기가 왜 그렇게 까다로운지 짚으면서, 회사마다 토큰을 세는 방식이 달라 같은 가격표라도 실제로 나가는 돈은 크게 벌어진다고 했습니다.
실제 사례도 있습니다. 지난 4월 Anthropic은 새 모델을 내면서 토큰을 세는 방식을 바꿨는데, 가격표의 단가는 직전 모델과 똑같은데도 같은 글에서 토큰이 최대 35%까지 더 나왔습니다. 단가는 한 자도 안 올랐지만 청구서만 커진 겁니다.
※ FinOps : 클라우드나 AI에 드는 비용을 추적하고 관리하는 재무 실무 분야를 가리키는 말입니다.
일곱 회사, 열여섯 모델을 나란히 재보다
그래서 폴로라에서 직접 재봤습니다. 같은 보고서를 붙인 똑같은 질문을 일곱 개 회사의 열여섯 개 모델에 여러 번 나눠 보내고, 각 회사가 청구 근거로 돌려준 토큰 수를 모았습니다.
OpenAI가 센 개수를 1.00으로 놓으면, Google 1.05, Mistral 1.06, Deepseek 1.09, xAI 1.15, Moonshot 1.19까지는 서로 엇비슷했습니다. 그런데 Anthropic만 1.55로, 홀로 멀찍이 떨어져 있었습니다.
이 수치는 던질 때마다 달라지는 우연이 아닙니다. 같은 회사, 같은 세대의 두 모델에 같은 입력을 넣은 121번 모두 토큰 수가 한 치도 다르지 않았습니다.
진짜 가격표는 단가에 수량을 곱해야 나온다
이게 왜 돈 문제가 되는지는, 가격표의 단위가 바로 그 토큰이기 때문입니다. 두 회사가 똑같이 '100만 토큰당 2달러'라고 적어 두어도, 한쪽이 같은 글을 1.55배로 센다면 실제로 내는 돈도 1.55배입니다. 환율을 빼놓고 통화가 다른 두 나라의 가격표를 비교해 온 셈입니다.
이것이 품질과 곧바로 이어지는 이야기는 아닙니다. 잘게 나누는 방식이 성능에 유리한 면도 있고, 회사들도 그 점을 감안해 단가를 정했을 수 있습니다. 요점은, 단가만 나란히 놓고 비교하지 말고 내 문서를 각 회사가 몇 개로 세는지까지 곱해야 진짜 낼 돈이 보인다는 것입니다. 다만 이번 측정은 한국어가 많은 문서를 기준으로 한 것이라, 언어 구성이 다르면 배율도 달라집니다.
견적서를 받을 때 단가를 따지는 것만큼, 수량을 세는 기준이 서로 맞는지 확인해야 대화가 됩니다. AI 요금에도 길이의 미터 같은 공통의 자가 필요해지는 때가 오는 듯합니다.
다음 글에서는 같은 질문을 영어로 물을 때와 한국어로 물을 때 요금이 얼마나 벌어지는지 재본 결과를 다룹니다. 한국어로 쓰는 사람에게는 조금 억울한 숫자가 나옵니다.
