??? : 2개월 동안 토큰 71억개 쓰셨습니다.

영수증을 열어봤다

클로드 코드로 두 달쯤 일했다. 개발도 하고 사업 문서도 쓰고 리서치도 시켰다. 그러다 문득 궁금해졌다. 나는 토큰을 도대체 얼마나 쓴 걸까.

찾아보니 기록이 다 남아 있었다. ~/.claude/projects/ 아래에 세션마다 파일이 하나씩 있고, 그 안에 응답 한 번당 토큰을 몇 개 썼는지가 그대로 적혀 있다. 추정할 필요가 없다. 영수증이 있는 셈이다.

전부 긁어모아 합산했다. 세션 28개, 7월 9일부터 9월 13일까지.

총 71억 5,000만 토큰

숫자만 보면 무섭다. 그런데 뜯어보니 이 71억의 정체가 내 생각과 달랐다.

---

토큰은 한 종류가 아니다

토큰은 네 가지로 나뉘고, 종류마다 가격이 다르다.

종류	두 달 합계	비중	무슨 뜻인가
캐시 읽기	68억 8,000만	96.2%	이미 나눈 대화를 다시 읽는 것
캐시 저장	2억 4,600만	3.4%	새로 오간 대화를 다음 질문에 대비해 저장
출력	2,250만	0.3%	AI가 실제로 써낸 글자
캐시 안 걸린 입력	7만 4,000	0.001%	캐시에 없어서 그대로 읽은 입력

AI가 실제로 써낸 글은 전체의 0.3%다. 나머지는 읽는 데 들어갔다.

AI는 매번 처음부터 다시 읽는다

왜 이렇게 되나. AI에게 기억이 없기 때문이다.

대화가 이어지는 것처럼 보이지만, 실제로는 질문 하나에 답할 때마다 그 세션의 대화를 처음부터 끝까지 다시 읽는다. 100번째 질문에 답하려면 앞의 99번을 읽어야 한다. 200번째면 199번을 읽는다.

그래서 대화가 길어지면 한 마디 주고받는 비용이 계속 올라간다. 질문이 어려워져서가 아니라 읽어야 할 앞부분이 길어져서다.

캐시는 이걸 싸게 만들어주는 장치다. 같은 내용을 다시 읽을 때는 정가의 10%만 받는다. 그래서 개수로는 96%를 차지해도 실제 비용은 그만큼 나오지 않는다. 반대로 출력은 입력의 5배로 비싸다. 0.3%밖에 안 되는 출력이 비용에서는 꽤 큰 자리를 차지하는 이유다.

아래부터는 종류별 가격 차이를 반영해서 환산한 값으로 비교했다. 그래야 같은 기준으로 놓고 볼 수 있다.

긴 대화는 9배 비싸다

세션을 길이별로 묶어서 질문 한 번 던지는 데 얼마가 드는지 계산했다.

세션 길이	질문 1회당 비용(환산)
대화 200번 미만	11만 9,000
500~900번	67만 1,000
1,500번 이상	110만

똑같이 "이거 고쳐줘" 한 줄을 쳐도 긴 대화 끝에서 치면 9배가 든다.

제일 긴 세션은 대화가 2,495번까지 갔다. 이 세션은 질문 한 번에 720만 토큰을 썼다. 짧게 끝낸 세션들은 30만 토큰 언저리였다. 같은 일을 시켜도 어디서 시키느냐에 따라 20배가 갈린다.

대화가 길어지면 느려진다는 건 알고 있었다. 느려지는 게 아니라 비싸지고 있었다.

세션을 쪼개 쓰고 있었다

나는 몇 달 전부터 작업을 좀 이상하게 하고 있다. 세션 하나를 관제탑으로 정해두고 실제 작업은 다른 세션들에 맡긴다. 관제탑은 지시를 내리고 결과를 기록 파일에 한 줄씩 적는다. 개발은 개발 세션에서, 문서는 문서 세션에서 한다.

원래는 맥락이 섞이지 않게 하려고 만든 방식이다. 코드 얘기하다 사업 문서 얘기를 꺼내면 둘 다 흐려지니까.

이번에 집계하면서 다른 게 하나 눈에 들어왔다.

	세션 수	질문 수	질문 1회당 비용	질문당 도구 사용
관제탑	10개	852회	52만 5,000	3.9회
실행 세션	4개	284회	100만	9.0회

관제탑이 딱 절반이다.

그런데 이걸 관제가 효율적이라는 뜻으로 읽으면 안 된다. 맨 오른쪽 칸을 보자. 관제탑은 질문 하나에 도구를 3.9번 쓰고 실행 세션은 9번 쓴다. 관제탑이 하는 일은 파일 위치를 알려주고 기록에 한 줄 적는 거라 원래 가볍다. 실행 세션은 코드를 읽고 고치고 테스트를 돌리니 무거울 수밖에 없다. 하는 일이 다른 둘을 비용으로만 비교한 셈이다.

진짜 이유는 다른 데 있다.

일을 여러 세션으로 쪼개면 각 세션이 짧게 유지된다.

한 세션에 전부 밀어넣으면 뒤로 갈수록 질문 한 줄이 계속 비싸진다. 나눠서 맡기면 모든 세션이 앞쪽 구간, 그러니까 싼 구간에 머문다. 관제탑도 결과 요약만 받으니 살이 안 찐다.

돈을 아끼려고 만든 방식이 아니었는데 그렇게 굴러가고 있었다.

그래서 뭘 바꿨나

세 가지를 바꿨다.

일이 끝나면 세션을 끊는다. 아깝다고 붙잡고 있으면 다음 질문부터 비싸진다. 맥락이 필요하면 결과를 파일로 남기고 새로 시작하는 편이 싸다.

무거운 일과 가벼운 일을 섞지 않는다. 코드를 한참 읽힌 세션에서 문장 하나 다듬어달라고 하면, 그 한 문장을 위해 앞의 코드를 전부 다시 읽는다.

요약을 파일로 남긴다. 대화를 통째로 이고 다니는 것보다 결론만 적어두고 다음 세션에서 그 파일만 읽히는 게 훨씬 싸다. 내 경우엔 그게 그 기록 파일이었다.

남은 한계

몇 가지는 짚어둬야겠다.

세션을 제목으로 분류했다. 기록에 세션 고유번호가 안 남아서 어느 세션 것인지 정확히 가려내지는 못한다.

AI가 따로 띄운 보조 세션이 쓴 토큰은 저장 위치가 달라서 이 집계에 안 들어갔다. 48건이다. 실제 총량은 이보다 크다.

캐시 저장 단가를 1.25배로 잡았다. 캐시를 오래 물고 있는 설정이면 2배가 된다. 어느 쪽이든 긴 세션이 비싸다는 결론은 그대로다.