Лічильник токенів ШІ для оцінки обсягу тексту
Paste any text to see how many tokens it's likely to become, whether it fits in a given context window, and what it would cost at your own API rates. Все працює у вашому браузері — текст ніколи не завантажується.
Чи підходить він контекстному вікну?
| Контекстне вікно | Ваш текст | Підходить? |
|---|
Context windows are shared between your input, the model's reply, and anything the app adds behind the scenes (system prompt, retrieved documents, chat history). Залиште простір — заповнюючи вікно до краю, ви отримуєте скорочені відповіді.
Скільки це буде коштувати?
Вхідна вартість потребує тексту, який ви вставили вище — вставте щось, щоб оцінити це.
Як працює ця оцінка (і чому вона неточна)
Справжня токенізація запускає специфічний для моделі словник BPE над вашим текстом — і кожне сімейство моделей використовує інший, тому «справжня» кількість відрізняється для кожної моделі. Зробити це належним чином у браузері означає відправити багатомегабайтний словниковий запас на сімейство, що сповільнить цю сторінку для кількості, яка вам потрібна лише приблизно.
Натомість тут використовується оцінювач на основі символів і слів, зважений на пробіли, знаки пунктуації та цифри, що становить приблизно 10–15% для звичайної англійської прози. Дві відомі упередження: код і текст із сильною пунктуацією токенізувати щільніше, ніж передбачає оцінка, а нелатинські шрифти (китайська, японська, арабська, хінді) використовують значно більше лексем на символ, ніж англійська — часто у 2–3 рази.
Якщо вам потрібна точність виставлення рахунків, використовуйте власну кінцеву точку токенізера вашого постачальника. Для визначення «чи підійде» та «приблизно скільки це буде коштувати», оцінка є правильним інструментом.
Що таке токен насправді
Моделі не читають символи чи слова — вони зчитують токени, які є фрагментами десь між ними. Загальновживані слова зазвичай становлять одну лексему; довші або незвичайні слова, розділені на кілька. «Неймовірно» може бути трьома лексемами, «the» — одним. В англійській прозі одна лексема в середньому містить близько чотирьох символів, або приблизно ¾ слова.
На все встановлюється ціна та обмежена кількість токенів: що ви надсилаєте, що повертаєте та скільки модель може вмістити одночасно.
Чому ваш текст щільніший, ніж ви думаєте
- Code погано токенізується — відступи, дужки та верблюжий регістр — усі коштують токени. Файл із 500 рядків може містити набагато більше, ніж передбачає кількість символів.
- Неанглійський текст коштує дорого. Languages that don't use Latin script often cost 2–3× more tokens per character, which is why the same prompt can cost several times more in Japanese than English.
- Повторення дешеве, структура ні. Скаффолдинг JSON та Markdown швидко додається до багатьох викликів.
Контекстне вікно ≠ ваш бюджет
Вікно з мільйоном токенів не означає, що ви повинні надіслати мільйон токенів. Якість уваги погіршується до середини дуже довгих вхідних даних, затримка зростає, а витрати лінійно масштабуються. Відновлення — витягування лише відповідних уривків — зазвичай краще, ніж забивати вікно, і це дешевше.
Поширені запитання
Наскільки точний цей лічильник?
У межах приблизно 10–15% для звичайної англійської прози. Перекіс коду та нелатинських шрифтів перевищує оцінку. Для отримання точних платіжних цифр скористайтеся токенизатором вашого постачальника.
Чи завантажено кудись мій текст?
Ні. Розрахунок виконується у вашому браузері. Немає запитів, немає журналювання, немає зберігання.
Чому ви не показуєте ціни на моделі?
Тому що вони змінюються, і впевнено показана застаріла ціна гірша, ніж відсутність ціни. Введіть поточні тарифи вашого постачальника, і інструмент виконає арифметику.
Чи використовують зображення та аудіо маркери?
Так — мультимодальні вхідні дані також перетворюються на токени за ставками, які відрізняються залежно від постачальника та дозволу. This tool covers text only.
Пов’язане: Що таке RAG? · Яка модель ШІ для якого завдання · Усі безкоштовні інструменти