AI 토큰 계산기와 컨텍스트 수용 여부

토큰이란 실제로 무엇인가

모델은 글자도 단어도 읽지 않습니다 — 토큰을 읽고, 토큰은 그 둘 사이 어딘가의 덩어리입니다. 흔한 단어는 대개 한 토큰이고, 길거나 드문 단어는 여럿으로 쪼개집니다. 「Unbelievable」은 세 토큰일 수 있고 「the」는 하나입니다. 영어 산문에서 한 토큰은 평균 네 글자쯤, 곧 한 단어의 4분의 3가량입니다.

값도 한도도 전부 토큰 단위입니다. 보내는 것, 돌아오는 것, 그리고 모델이 한 번에 담을 수 있는 양.

내 글이 생각보다 밀도가 높은 이유

• 코드는 토큰 효율이 나쁩니다 — 들여쓰기, 괄호, camelCase 모두 토큰을 잡아먹습니다. 500줄짜리 파일은 글자 수만 보고 짐작한 것보다 훨씬 많은 토큰을 쓸 수 있습니다.
• 영어가 아닌 텍스트는 비쌉니다. 라틴 문자를 쓰지 않는 언어는 글자당 토큰이 흔히 2~3배 더 들고, 같은 프롬프트가 영어보다 일본어에서 몇 배로 비싸지는 이유가 그것입니다.
• 반복은 싸지만 구조는 그렇지 않습니다. JSON과 Markdown의 뼈대는 호출이 쌓일수록 빠르게 불어납니다.

컨텍스트 윈도우 ≠ 내 예산

컨텍스트 윈도우가 100만 토큰이라고 해서 100만 토큰을 다 보내야 하는 건 아닙니다. 아주 긴 입력에서는 중간 부분으로 갈수록 어텐션 품질이 떨어지고, 지연 시간이 늘고, 비용은 길이에 비례해 늘어납니다. 관련 대목만 끌어오는 검색(retrieval)이 윈도우를 꽉 채우는 것보다 대체로 낫고, 비용도 적게 듭니다.

자주 묻는 질문

관련: RAG란 무엇인가? · 작업별로 어떤 AI 모델을 쓸까 · 무료 도구 전체