عدّاد توكنات الذكاء الاصطناعي وملاءمة السياق
الصق أي نص لترى عدد التوكنات التي يُرجَّح أن يتحوّل إليها، وهل يتّسع في نافذة سياق معيّنة، وكم سيكلّف بأسعار API الخاصة بك. كل شيء يعمل داخل متصفحك — ولا يُرفع النص أبدًا.
هل تتّسع له نافذة السياق؟
| نافذة السياق | نصك | هل يتّسع؟ |
|---|
نافذة السياق مشتركة بين مدخلك ورد النموذج وكل ما يضيفه التطبيق خلف الكواليس (موجّه النظام، والمستندات المسترجَعة، وسجل المحادثة). اترك متسعًا — فملء النافذة عن آخرها هو ما يجعل الإجابات تأتي مبتورة.
كم ستكون التكلفة؟
تحتاج تكلفة المدخلات إلى النص الذي تلصقه بالأعلى — الصق شيئًا لحسابها.
كيف يعمل هذا التقدير (ولماذا ليس دقيقًا)
التقطيع الحقيقي يمرّر على نصك مفردات BPE خاصة بكل نموذج — وكل عائلة نماذج تستخدم مفردات مختلفة، فيختلف العدد «الحقيقي» من نموذج لآخر. وأداء ذلك كما ينبغي في المتصفح يعني شحن مفردات بحجم عدة ميغابايت لكل عائلة، مما يبطئ هذه الصفحة من أجل رقم لا تحتاجه إلا تقريبًا.
بدلًا من ذلك تستخدم هذه الأداة مقدّرًا قائمًا على الأحرف والكلمات، مع ترجيح للمسافات وعلامات الترقيم والأرقام، بهامش خطأ نحو 10–15% في النثر الإنجليزي العادي. وهناك انحيازان معروفان: الشيفرة والنص كثيف الترقيم يُنتجان توكنات أكثر مما يوحي به التقدير، والكتابات غير اللاتينية (الصينية واليابانية والعربية والهندية) تستهلك توكنات لكل حرف أكثر بكثير من الإنجليزية — غالبًا 2–3 أضعاف.
إن كنت تحتاج الدقة للفوترة فاستخدم واجهة التقطيع الخاصة بمزوّدك. أما لسؤالَي «هل سيتّسع؟» و«كم سيكلّف تقريبًا؟» فالتقدير هو الأداة الصحيحة.
ما هو التوكن فعلًا
النماذج لا تقرأ الأحرف ولا الكلمات — بل تقرأ التوكنات، وهي قطع بين الاثنين. الكلمات الشائعة توكن واحد عادةً؛ والكلمات الأطول أو غير المألوفة تنقسم إلى عدة توكنات. قد تكون «Unbelievable» ثلاثة توكنات، و«the» توكن واحد. في النثر الإنجليزي يبلغ متوسط التوكن نحو أربعة أحرف، أي ثلاثة أرباع كلمة تقريبًا.
كل شيء يُسعَّر ويُحدَّد بالتوكنات: ما ترسله، وما يعود إليك، وكم يستطيع النموذج أن يحمل دفعة واحدة.
لماذا نصك أكثف مما تظن
- الشيفرة تُنتج توكنات أكثر مما تتوقّع — المسافات البادئة والأقواس وcamelCase كلها تكلّف توكنات. ملف من 500 سطر قد يستهلك توكنات أكثر بكثير مما يوحي به عدد أحرفه.
- النص غير الإنجليزي مكلف. اللغات التي لا تستخدم الحرف اللاتيني تكلّف غالبًا 2–3 أضعاف التوكنات لكل حرف، ولهذا قد يكلّف الموجّه نفسه باليابانية أضعاف ما يكلّفه بالإنجليزية.
- التكرار رخيص، أما البنية فلا. هياكل JSON وMarkdown تتراكم بسرعة عبر استدعاءات كثيرة.
نافذة السياق ≠ ميزانيتك
نافذة بمليون توكن لا تعني أن عليك إرسال مليون توكن. فجودة الانتباه تتراجع نحو منتصف المدخلات الطويلة جدًا، ويرتفع زمن الاستجابة، وتزداد التكلفة خطيًا. والاسترجاع — أي جلب المقاطع ذات الصلة وحدها — يتفوّق عادةً على حشو النافذة، وهو أرخص.
الأسئلة الشائعة
ما مدى دقة هذا العدّاد؟
ضمن نحو 10–15% للنثر الإنجليزي العادي. أما الشيفرة والكتابات غير اللاتينية فتأتي أعلى من التقدير. وللحصول على أرقام فوترة دقيقة، استخدم أداة التقطيع (tokenizer) الخاصة بمزوّدك.
هل يُرفع نصي إلى أي مكان؟
لا. يجري الحساب داخل متصفحك. لا طلب ولا تسجيل ولا تخزين.
لماذا لا تعرضون أسعار النماذج؟
لأنها تتغيّر، ولأن عرض سعر قديم بثقة أسوأ من عدم عرض سعر. أدخل أسعار مزوّدك الحالية وتتكفّل الأداة بالحساب.
هل تستهلك الصور والصوت توكنات؟
نعم — تُحوَّل المدخلات متعددة الوسائط إلى توكنات أيضًا، بمعدلات تختلف حسب المزوّد والدقة. وهذه الأداة تغطي النص فقط.
ذات صلة: ما هو RAG؟ · أي نموذج ذكاء اصطناعي لأي مهمة · كل الأدوات المجانية