AIトークンカウンターとコンテキストの収まり

どんなテキストでも貼り付ければ、およそ何トークンになるか、指定のコンテキストウィンドウに収まるか、ご自分のAPI料金でいくらになるかが分かります。すべてブラウザの中で動き、テキストがアップロードされることはありません。

このページから何も外に出ません。モデルに読ませようと思っている文書で試してみてください。
0 推定トークン数 ±10〜15%——推定のしくみは下記
文字数0
単語数0
1トークンあたりの文字数小さいほど密な文章
おおよその読了時間

コンテキストウィンドウに収まる?

コンテキストウィンドウ入力テキスト収まる?

コンテキストウィンドウは、あなたの入力、モデルの返答、そしてアプリが裏側で足すもの(システムプロンプト、取得した文書、会話履歴)が分け合って使います。余裕を残してください。ぎりぎりまで詰め込むと、答えが途中で切れます。

いくらかかる?

入力コスト
出力コスト
合計
ご利用中のプロバイダの最新の価格ページを見て、料金はご自身で入力してください。 価格はあえてページに直接書きません。モデルの価格はよく変わり、古い数字を載せるくらいなら載せないほうがましだからです。ご確認ください: OpenAI, Google, xAI または DeepSeek.
この推定のしくみ(そして正確ではない理由)

本当のトークン化は、モデル固有のBPE語彙をテキストに適用します。語彙はモデルの系統ごとに違うので、「本当の」トークン数もモデルごとに変わります。それをブラウザできちんと行うには、系統ごとに数メガバイトの語彙データを読み込ませる必要があり、おおよその数が分かれば足りる用途のために、このページが重くなってしまいます。

代わりにここでは、文字数と単語数にもとづき、空白・約物・数字で重みづけした推定を使っています。ふつうの英語の散文なら、おおむね 10〜15% の範囲に収まります。既知の偏りは二つ。コードや約物の多い文章は推定より密にトークン化されること、そして非ラテン文字(中国語・日本語・アラビア語・ヒンディー語)は英語より1文字あたりのトークンがかなり多く、しばしば 2〜3 倍になることです。

課金のために正確な数が要るなら、ご利用中のプロバイダのトークナイザーのエンドポイントを使ってください。「これは収まるか」「だいたいいくらか」を知りたいだけなら、推定値で十分です。

トークンとは実のところ何か

モデルは文字も単語も読みません。読むのはトークン、つまりその中間にある塊です。よく使う語はたいてい1トークン、長い語や珍しい語は複数に分かれます。「Unbelievable」は3トークンになることがあり、「the」は1つです。英語の散文では、1トークンが平均およそ4文字、単語のおよそ4分の3にあたります。

料金も上限も、すべてトークン単位です。送る分、返ってくる分、そしてモデルが一度に抱えられる量。

テキストのトークン密度が思ったより高い理由

コンテキストウィンドウ ≠ 使ってよい量

100万トークンのコンテキストウィンドウがあるからといって、100万トークンを送るべきだということにはなりません。入力が非常に長くなると中ほどでアテンションの精度が落ち、待ち時間は伸び、コストは線形に増えます。関係する箇所だけを取り出す検索(リトリーバル)のほうが、ウィンドウに詰め込むより結果がよく、しかも安上がりです。

よくある質問

この計測はどれくらい正確?

一般的な英文であれば、誤差はおおむね10〜15%以内です。コードや非ラテン文字は推定より多めに出ます。請求額の正確な数字が必要なら、プロバイダのトークナイザーをお使いください。

入力したテキストはどこかにアップロードされますか?

いいえ。計算はブラウザの中で行われます。リクエストもログも保存もありません。

モデルの価格を表示しないのはなぜ?

料金は変わるからです。そして、古い価格をもっともらしく表示するくらいなら、表示しないほうがましです。ご利用中のプロバイダの最新の料金を入力すれば、計算はこのツールが行います。

画像や音声もトークンを使いますか?

はい。マルチモーダルの入力もトークンに換算されます。換算率はプロバイダや解像度によって異なります。このツールが扱うのはテキストだけです。

関連: RAGとは? · 用途別おすすめAIモデル · 無料ツール一覧