AIトークン計測とコンテキスト適合
どんなテキストでも貼り付ければ、およそ何トークンになるか、指定のコンテキストウィンドウに収まるか、ご自分のAPI料金でいくらになるかが分かります。すべてブラウザの中で動き、テキストがアップロードされることはありません。
コンテキストウィンドウに収まる？
| コンテキストウィンドウ | あなたのテキスト | 収まる？ |
|---|
コンテキストウィンドウは、あなたの入力、モデルの返答、そしてアプリが裏側で足すもの（システムプロンプト、取得した文書、会話履歴）で分け合っています。余白を残してください。ぎりぎりまで詰め込むと、答えが途中で切れます。
いくらかかる？
この推定のしくみ（そして正確ではない理由）
本当のトークン化は、モデル固有のBPE語彙をテキストに適用します。語彙はモデルの系統ごとに違うので、「本当の」トークン数もモデルごとに変わります。それをブラウザできちんとやるには系統ごとに数メガバイトの語彙を配る必要があり、だいたいの数さえ分かればよい用途のために、このページを重くしてしまいます。
代わりにここでは、文字数と単語数にもとづき、空白・約物・数字で重みづけした推定を使っています。ふつうの英語の散文なら、おおむね 10〜15% の範囲に収まります。既知の偏りは二つ。コードや約物の多い文章は推定より密にトークン化されること、そして非ラテン文字（中国語・日本語・アラビア語・ヒンディー語）は英語より1文字あたりのトークンがかなり多く、しばしば 2〜3 倍になることです。
課金のために正確な数が要るなら、利用中のプロバイダのトークナイザのエンドポイントを使ってください。「これは収まるか」「だいたいいくらか」を知りたいだけなら、推定こそ適した道具です。
トークンとは実のところ何か
モデルは文字も単語も読みません。読むのはトークン、つまりその中間にある塊です。よく使う語はたいてい1トークン、長い語や珍しい語は複数に分かれます。「Unbelievable」は3トークンになることがあり、「the」は1つです。英語の散文では、1トークンが平均およそ4文字、単語のおよそ4分の3にあたります。
料金も上限も、すべてトークン単位です。送る分、返ってくる分、そしてモデルが一度に抱えられる量。
あなたの文章が思ったより密である理由
- コードはトークン化の効率が悪く、インデントも括弧も camelCase もトークンを食います。500行のファイルは、文字数から想像するよりずっと大きくなりえます。
- 英語以外のテキストは高くつきます。ラテン文字を使わない言語は、1文字あたりのトークンが 2〜3 倍かかることが多く、同じプロンプトでも日本語だと英語の数倍になるのはそのためです。
- 繰り返しは安く、構造は安くありません。JSON や Markdown の骨組みは、呼び出しを重ねるほど急速に積み上がります。
コンテキストウィンドウ ≠ 使ってよい量
100万トークンの窓があるからといって、100万トークン送るべきだということにはなりません。非常に長い入力では中ほどで注意の質が落ち、待ち時間は伸び、コストは線形に増えます。検索——関係する箇所だけを取り出す方法——のほうが、窓に詰め込むより結果がよく、しかも安上がりです。
よくある質問
この計測はどれくらい正確？
ふつうの英語の散文なら、おおむね 10〜15% の範囲に収まります。コードや非ラテン文字は推定より多めに出ます。請求額の正確な数字が必要なら、プロバイダのトークナイザをお使いください。
入力したテキストはどこかにアップロードされますか？
いいえ。計算はブラウザの中で行われます。リクエストもログも保存もありません。
モデルの価格を表示しないのはなぜ？
価格は変わるからです。そして古い価格を自信たっぷりに示すのは、価格を出さないより悪い。利用中のプロバイダの現在の料金を入力すれば、計算はこの道具がやります。
画像や音声もトークンを使いますか？
はい。マルチモーダルの入力もトークンに換算されます。換算率はプロバイダや解像度によって異なります。この道具が扱うのはテキストだけです。
関連： RAGとは？ · 用途別おすすめAIモデル · 無料ツール一覧