اے آئی ٹوکن کاؤنٹر اور کانٹیکسٹ فٹ
کوئی بھی متن پیسٹ کیجیے اور دیکھیے کہ یہ غالباً کتنے ٹوکن بنے گا، کسی مقررہ کانٹیکسٹ ونڈو میں سمائے گا یا نہیں، اور آپ کے اپنے API نرخوں پر لاگت کیا ہوگی۔ سب کچھ آپ کے براؤزر میں چلتا ہے — متن کبھی اپ لوڈ نہیں ہوتا۔
کیا یہ کانٹیکسٹ ونڈو میں سما جاتا ہے؟
| کانٹیکسٹ ونڈو | آپ کا متن | سما جائے گا؟ |
|---|
کانٹیکسٹ ونڈو آپ کے ان پٹ، ماڈل کے جواب، اور اُس سب میں بٹتی ہے جو ایپ پسِ پردہ شامل کرتی ہے (سسٹم پرامپٹ، نکالی گئی دستاویزات، گفتگو کی تاریخ)۔ کچھ گنجائش چھوڑیے — ونڈو کو لبالب بھر دینا ہی کٹے ہوئے جوابوں کی وجہ ہے۔
اس کی لاگت کیا ہوگی؟
یہ تخمینہ کیسے کام کرتا ہے (اور یہ درست کیوں نہیں)
اصل ٹوکنائزیشن آپ کے متن پر ماڈل کے مخصوص BPE ذخیرۂ الفاظ کو چلاتی ہے — اور ہر ماڈل خاندان الگ ذخیرہ استعمال کرتا ہے، اس لیے «اصل» تعداد ہر ماڈل میں مختلف ہوتی ہے۔ براؤزر میں یہ ڈھنگ سے کرنے کا مطلب ہے ہر خاندان کے لیے کئی میگا بائٹ کا ذخیرہ بھیجنا، جو اس صفحے کو سست کر دے گا — اُس عدد کے لیے جو آپ کو صرف تخمیناً درکار ہے۔
اس کے بجائے یہ حروف اور الفاظ پر مبنی ایک تخمینہ کار استعمال کرتا ہے، جس میں خالی جگہ، رموزِ اوقاف اور ہندسوں کا وزن شامل ہے؛ عام انگریزی نثر کے لیے یہ تقریباً 10–15% کے اندر رہتا ہے۔ دو معلوم جھکاؤ: کوڈ اور کثرتِ رموز والا متن تخمینے سے زیادہ گھنا ٹوکنائز ہوتا ہے، اور غیر لاطینی رسم الخط (چینی، جاپانی، عربی، ہندی) انگریزی کی نسبت فی حرف کہیں زیادہ ٹوکن لیتے ہیں — اکثر 2–3 گنا۔
اگر بلنگ کے لیے درستی چاہیے تو اپنے فراہم کنندہ کا اپنا ٹوکنائزر اینڈ پوائنٹ استعمال کیجیے۔ «کیا یہ سما جائے گا» اور «تقریباً کتنا خرچ ہوگا» کے لیے تخمینہ ہی درست اوزار ہے۔
ٹوکن دراصل کیا ہے
ماڈل نہ حروف پڑھتے ہیں نہ الفاظ — وہ ٹوکن پڑھتے ہیں، جو دونوں کے بیچ کے ٹکڑے ہیں۔ عام الفاظ عموماً ایک ٹوکن ہوتے ہیں؛ لمبے یا غیر معمولی الفاظ کئی میں بٹ جاتے ہیں۔ «Unbelievable» شاید تین ٹوکن ہو، «the» ایک ہے۔ انگریزی نثر میں ایک ٹوکن اوسطاً تقریباً چار حروف، یعنی لگ بھگ لفظ کا تین چوتھائی ہوتا ہے۔
ہر چیز ٹوکن ہی میں ناپی اور محدود ہوتی ہے: جو آپ بھیجتے ہیں، جو واپس آتا ہے، اور ماڈل ایک وقت میں جتنا سنبھال سکتا ہے۔
آپ کا متن آپ کے خیال سے زیادہ گھنا کیوں ہے
- کوڈ کی ٹوکنائزیشن بری ہوتی ہے — انڈینٹیشن، بریکٹ اور camelCase سب ٹوکن خرچ کرتے ہیں۔ 500 سطروں کی فائل اپنے حروف کی گنتی سے کہیں زیادہ ہو سکتی ہے۔
- غیر انگریزی متن مہنگا ہے۔ جو زبانیں لاطینی رسم الخط استعمال نہیں کرتیں، ان میں اکثر فی حرف 2–3 گنا زیادہ ٹوکن لگتے ہیں — اسی لیے وہی پرامپٹ جاپانی میں انگریزی سے کئی گنا مہنگا پڑ سکتا ہے۔
- تکرار سستا ہے، ساخت نہیں۔ JSON اور Markdown کا ڈھانچہ کئی کالوں میں تیزی سے جمع ہوتا جاتا ہے۔
کانٹیکسٹ ونڈو ≠ آپ کا بجٹ
دس لاکھ ٹوکن کی ونڈو کا مطلب یہ نہیں کہ آپ کو دس لاکھ ٹوکن بھیجنے چاہئیں۔ بہت لمبے ان پٹ میں درمیان کی طرف توجہ کا معیار گرتا ہے، تاخیر بڑھتی ہے، اور لاگت خطی طور پر بڑھتی ہے۔ ریٹریول — صرف متعلقہ اقتباسات نکالنا — عموماً ونڈو ٹھونسنے سے بہتر ہے، اور سستا بھی۔
اکثر پوچھے گئے سوالات
یہ کاؤنٹر کتنا درست ہے؟
عام انگریزی نثر کے لیے تقریباً 10–15% کے اندر۔ کوڈ اور غیر لاطینی رسم الخط تخمینے سے زیادہ نکلتے ہیں۔ بلنگ کے درست اعداد کے لیے اپنے فراہم کنندہ کا ٹوکنائزر استعمال کیجیے۔
کیا میرا متن کہیں اپ لوڈ ہوتا ہے؟
نہیں۔ حساب آپ کے براؤزر میں ہوتا ہے۔ نہ کوئی درخواست، نہ لاگنگ، نہ ذخیرہ۔
آپ ماڈلز کی قیمتیں کیوں نہیں دکھاتے؟
کیونکہ وہ بدلتی رہتی ہیں، اور کسی پرانی قیمت کو اعتماد سے دکھانا قیمت نہ دکھانے سے برا ہے۔ اپنے فراہم کنندہ کے موجودہ نرخ درج کیجیے، حساب یہ ٹول کر دے گا۔
کیا تصاویر اور آڈیو ٹوکن خرچ کرتے ہیں؟
جی ہاں — ملٹی موڈل ان پٹ بھی ٹوکن میں بدلتے ہیں، اور شرح فراہم کنندہ اور ریزولوشن کے مطابق بدلتی ہے۔ یہ ٹول صرف متن کے لیے ہے۔
متعلقہ: RAG کیا ہے؟ · کس کام کے لیے کون سا اے آئی ماڈل · تمام مفت ٹولز