AI 토큰 계수기와 컨텍스트 적합성
아무 텍스트나 붙여넣으면 대략 몇 토큰이 될지, 주어진 컨텍스트 창에 들어가는지, 본인 API 요금으로 얼마일지 확인할 수 있습니다. 전부 브라우저에서 돌아가며 텍스트는 절대 업로드되지 않습니다.
컨텍스트 창에 들어가나요?
| 컨텍스트 창 | 입력한 텍스트 | 들어갈까? |
|---|
컨텍스트 창은 당신의 입력, 모델의 답변, 그리고 앱이 뒤에서 덧붙이는 것들(시스템 프롬프트, 검색해 온 문서, 대화 기록)이 나눠 씁니다. 여유를 남기세요 — 창을 가득 채우면 답이 잘립니다.
비용은 얼마일까?
이 추정이 작동하는 방식(그리고 정확하지 않은 이유)
진짜 토큰화는 모델마다 다른 BPE 어휘를 텍스트에 적용합니다 — 모델 계열마다 어휘가 달라서 「진짜」 개수도 모델마다 다릅니다. 이걸 브라우저에서 제대로 하려면 계열마다 수 메가바이트짜리 어휘를 실어 보내야 하고, 대략만 알면 되는 숫자 하나 때문에 이 페이지가 느려집니다.
대신 이 도구는 글자 수와 단어 수를 바탕으로 공백·문장부호·숫자에 가중치를 준 추정기를 씁니다. 보통의 영어 산문이라면 대략 10~15% 안에 들어옵니다. 알려진 편향이 둘 있습니다. 코드와 문장부호가 많은 글은 추정보다 조밀하게 토큰화되고, 비라틴 문자(중국어, 일본어, 아랍어, 힌디어)는 영어보다 글자당 토큰을 훨씬 많이 씁니다 — 흔히 2~3배입니다.
청구를 위해 정확한 값이 필요하다면 제공사의 토크나이저 엔드포인트를 쓰세요. 「이게 들어갈까」와 「대충 얼마일까」에는 추정이 알맞은 도구입니다.
토큰이란 실제로 무엇인가
모델은 글자도 단어도 읽지 않습니다 — 토큰을 읽고, 토큰은 그 둘 사이 어딘가의 덩어리입니다. 흔한 단어는 대개 한 토큰이고, 길거나 드문 단어는 여럿으로 쪼개집니다. 「Unbelievable」은 세 토큰일 수 있고 「the」는 하나입니다. 영어 산문에서 한 토큰은 평균 네 글자쯤, 곧 한 단어의 4분의 3가량입니다.
값도 한도도 전부 토큰 단위입니다. 보내는 것, 돌아오는 것, 그리고 모델이 한 번에 담을 수 있는 양.
당신의 글이 생각보다 밀도 높은 이유
- 코드는 토큰화가 나쁩니다 — 들여쓰기, 괄호, camelCase 모두 토큰을 씁니다. 500줄짜리 파일은 글자 수가 시사하는 것보다 훨씬 클 수 있습니다.
- 영어가 아닌 텍스트는 비쌉니다. 라틴 문자를 쓰지 않는 언어는 글자당 토큰이 흔히 2~3배 더 들고, 같은 프롬프트가 영어보다 일본어에서 몇 배로 비싸지는 이유가 그것입니다.
- 반복은 싸지만 구조는 그렇지 않습니다. JSON과 Markdown의 뼈대는 호출이 쌓일수록 빠르게 불어납니다.
컨텍스트 창 ≠ 당신의 예산
100만 토큰짜리 창이 있다고 100만 토큰을 보내야 한다는 뜻은 아닙니다. 아주 긴 입력에서는 가운데로 갈수록 주의의 질이 떨어지고, 지연이 늘고, 비용은 선형으로 커집니다. 검색 — 관련 대목만 끌어오는 방식 — 이 창을 꽉 채우는 것보다 대체로 낫고, 더 쌉니다.
자주 묻는 질문
이 계수기는 얼마나 정확한가요?
보통의 영어 산문이라면 대략 10~15% 안입니다. 코드와 비라틴 문자는 추정보다 높게 나옵니다. 정확한 청구 수치가 필요하면 제공사의 토크나이저를 쓰세요.
제 텍스트가 어딘가로 업로드되나요?
아니요. 계산은 브라우저 안에서 이뤄집니다. 요청도, 로그도, 저장도 없습니다.
모델 가격은 왜 안 보여주나요?
값이 바뀌기 때문이고, 낡은 가격을 자신 있게 보여주는 건 가격을 안 주느니만 못하기 때문입니다. 제공사의 현재 요금을 넣으면 계산은 도구가 합니다.
이미지와 오디오도 토큰을 쓰나요?
예 — 멀티모달 입력도 토큰으로 환산되며, 환산 비율은 제공사와 해상도에 따라 다릅니다. 이 도구는 텍스트만 다룹니다.
관련: RAG란 무엇인가? · 작업별로 어떤 AI 모델을 쓸까 · 무료 도구 전체