Penghitung token AI & cek jendela konteks
Tempel teks apa pun untuk melihat berapa token yang kemungkinan dihasilkan, apakah muat di jendela konteks tertentu, dan berapa biayanya dengan tarif API Anda sendiri. Semuanya berjalan di peramban Anda — teksnya tidak pernah diunggah.
Apakah muat di jendela konteks?
| Jendela konteks | Teks Anda | Muat? |
|---|
Jendela konteks dibagi antara masukan Anda, balasan model, dan apa pun yang ditambahkan aplikasi di balik layar (prompt sistem, dokumen hasil pencarian, riwayat obrolan). Sisakan ruang — mengisi jendela sampai penuh itulah yang membuat jawaban terpotong.
Berapa biayanya?
Biaya input dihitung dari teks yang Anda tempel di atas — tempel sesuatu untuk melihat biayanya.
Cara kerja perkiraan ini (dan mengapa hasilnya tidak persis)
Tokenisasi sungguhan menjalankan kosakata BPE khas tiap model pada teks Anda — dan setiap keluarga model memakai kosakata yang berbeda, sehingga hitungan "sebenarnya" berbeda untuk tiap model. Melakukannya dengan benar di peramban berarti mengirim kosakata berukuran beberapa megabyte untuk setiap keluarga model, yang akan membuat halaman ini lambat demi angka yang sebenarnya cukup berupa perkiraan.
Sebagai gantinya, alat ini memakai penaksir berbasis karakter dan kata, dengan bobot untuk spasi, tanda baca, dan angka, yang akurat dalam kisaran 10–15% untuk prosa bahasa Inggris biasa. Dua bias yang diketahui: kode dan teks dengan banyak tanda baca menghasilkan lebih banyak token daripada perkiraan ini, dan aksara non-Latin (Mandarin, Jepang, Arab, Hindi) memakai jauh lebih banyak token per karakter dibanding bahasa Inggris — sering 2–3 kali lipat.
Kalau Anda butuh angka pasti untuk penagihan, pakai endpoint tokenizer milik penyedia Anda. Untuk "apakah ini muat" dan "kira-kira berapa biayanya", perkiraan adalah alat yang tepat.
Apa sebenarnya token itu
Model tidak membaca karakter atau kata, melainkan token — potongan yang ada di antara keduanya. Kata umum biasanya satu token; kata yang lebih panjang atau tak lazim terpecah menjadi beberapa. "Unbelievable" bisa jadi tiga token, "the" hanya satu. Dalam prosa bahasa Inggris, satu token rata-rata sekitar empat karakter, atau kira-kira tiga perempat kata.
Semua biaya dan batas dihitung dalam token: yang Anda kirim, yang kembali, dan seberapa banyak yang bisa ditampung model sekaligus.
Kenapa teks Anda lebih padat dari yang Anda kira
- Kode boros token — indentasi, tanda kurung, dan camelCase semuanya memakan token. Berkas 500 baris bisa jauh lebih besar daripada yang terlihat dari jumlah karakternya.
- Teks non-Inggris itu mahal. Bahasa yang tidak memakai aksara Latin sering memakan 2–3 kali lebih banyak token per karakter, itulah sebabnya prompt yang sama bisa berkali-kali lebih mahal dalam bahasa Jepang daripada Inggris.
- Pengulangan itu murah, struktur tidak. Kerangka JSON dan Markdown cepat menumpuk di banyak panggilan.
Jendela konteks ≠ anggaran Anda
Jendela satu juta token bukan berarti Anda harus mengirim satu juta token. Kualitas atensi model menurun di bagian tengah input yang sangat panjang, latensi naik, dan biaya bertambah secara linear. Retrieval — hanya mengambil bagian yang relevan — biasanya lebih baik daripada menjejali jendela konteks, dan lebih murah.
Pertanyaan Umum
Seberapa akurat penghitung ini?
Meleset sekitar 10–15% untuk prosa bahasa Inggris biasa. Kode dan aksara non-Latin cenderung menghasilkan token lebih banyak daripada perkiraan ini. Untuk angka tagihan yang pasti, gunakan tokenizer penyedia Anda.
Apakah teks saya diunggah ke mana pun?
Tidak. Perhitungannya berjalan di peramban Anda. Tidak ada permintaan, tidak ada pencatatan, tidak ada penyimpanan.
Kenapa harga model tidak ditampilkan?
Karena tarifnya berubah-ubah, dan menampilkan harga usang dengan penuh percaya diri lebih buruk daripada tidak menampilkan harga sama sekali. Masukkan tarif terkini penyedia Anda, dan alat ini yang menghitung.
Apakah gambar dan audio memakai token?
Ya — input multimodal juga diubah menjadi token, dengan perhitungan yang berbeda-beda menurut penyedia dan resolusi. Alat ini hanya mencakup teks.
Terkait: Apa itu RAG? · Model AI mana untuk tugas apa · Semua alat gratis