Yapay zekâ token sayacı ve bağlama sığma
Herhangi bir metni yapıştırın; kaç token'a dönüşeceğini, belirli bir bağlam penceresine sığıp sığmadığını ve kendi API ücretlerinizle ne tutacağını görün. Her şey tarayıcınızda çalışır — metin hiçbir zaman yüklenmez.
Bağlam penceresine sığıyor mu?
| Bağlam penceresi | Metniniz | Sığar mı? |
|---|
Bağlam penceresini girdiniz, modelin yanıtı ve uygulamanın perde arkasında eklediği her şey (sistem istemi, getirilen belgeler, sohbet geçmişi) paylaşır. Pay bırakın — pencereyi ağzına kadar doldurmak, kırpılmış yanıtların yoludur.
Maliyeti ne olur?
Bu tahmin nasıl çalışır (ve neden tam değildir)
Gerçek tokenleştirme, metninizin üzerinde modele özgü bir BPE söz varlığı çalıştırır — ve her model ailesi farklısını kullandığı için «doğru» sayı modelden modele değişir. Bunu tarayıcıda düzgün yapmak, aile başına birkaç megabaytlık bir söz varlığı göndermek demektir; bu da yalnızca yaklaşık olarak ihtiyacınız olan bir sayı uğruna bu sayfayı yavaşlatırdı.
Bunun yerine burada karakter ve sözcük temelli, boşluk, noktalama ve rakamlar için ağırlıklandırılmış bir tahminci kullanılıyor; sıradan İngilizce düzyazıda yaklaşık %10–15 içinde kalıyor. Bilinen iki yanlılık: kod ve yoğun noktalamalı metin, tahminin düşündürdüğünden daha sık tokenleşir; Latin olmayan yazılar (Çince, Japonca, Arapça, Hintçe) ise karakter başına İngilizceden hayli fazla token harcar — çoğu zaman 2–3 kat.
Faturalandırma için kesinlik gerekiyorsa sağlayıcınızın kendi tokenizer uç noktasını kullanın. «Bu sığar mı» ve «kabaca ne tutar» soruları içinse doğru araç bir tahmindir.
Token aslında nedir
Modeller ne karakter ne de sözcük okur — token okur; ikisinin arasında duran parçalar. Yaygın sözcükler genelde tek token olur; daha uzun ya da alışılmadık sözcükler birkaça bölünür. «Unbelievable» üç token olabilir, «the» tektir. İngilizce düzyazıda bir token ortalama dört karakter, yani kabaca bir sözcüğün dörtte üçü kadardır.
Her şey token cinsinden fiyatlanır ve sınırlanır: gönderdiğiniz, geri gelen ve modelin bir seferde tutabildiği.
Metniniz neden sandığınızdan daha yoğun
- Kod kötü tokenleşir — girinti, parantezler ve camelCase hepsi token harcar. 500 satırlık bir dosya, karakter sayısının düşündürdüğünden çok daha fazlası olabilir.
- İngilizce olmayan metin pahalıdır. Latin alfabesi kullanmayan diller karakter başına çoğu zaman 2–3 kat daha fazla token harcar; aynı istemin Japoncada İngilizceye göre kat kat pahalıya gelmesinin nedeni budur.
- Tekrar ucuzdur, yapı değildir. JSON ve Markdown iskelesi çok sayıda çağrıda hızla birikir.
Bağlam penceresi ≠ bütçeniz
Bir milyon token'lık pencere, bir milyon token göndermeniz gerektiği anlamına gelmez. Çok uzun girdilerde dikkatin niteliği ortalara doğru düşer, gecikme artar ve maliyet doğrusal olarak büyür. Erişim — yalnızca ilgili pasajları çekmek — pencereyi tıka basa doldurmayı genelde yener ve daha ucuzdur.
SSS
Bu sayaç ne kadar isabetli?
Sıradan İngilizce düzyazıda yaklaşık %10–15 içinde. Kod ve Latin olmayan yazılar tahminin üstüne çıkar. Kesin faturalama rakamları için sağlayıcınızın tokenizer'ını kullanın.
Metnim bir yere yükleniyor mu?
Hayır. Hesaplama tarayıcınızda çalışır. İstek yok, kayıt yok, saklama yok.
Model fiyatlarını neden göstermiyorsunuz?
Çünkü değişiyorlar ve bayat bir fiyatı kendinden emin göstermek, hiç fiyat vermemekten kötü. Sağlayıcınızın güncel ücretlerini girin, aritmetiği araç yapsın.
Görseller ve ses token harcar mı?
Evet — çok kipli girdiler de token'a çevrilir; oranlar sağlayıcıya ve çözünürlüğe göre değişir. Bu araç yalnızca metni kapsar.
İlgili: RAG nedir? · Hangi görev için hangi yapay zekâ modeli · Tüm ücretsiz araçlar