عدّاد توكنات الذكاء الاصطناعي وملاءمة السياق
الصق أي نص لترى كم توكنًا سيصير على الأرجح، وهل يتّسع في نافذة سياق معيّنة، وكم سيكلّف بأسعار واجهتك البرمجية. كل شيء يعمل داخل متصفحك — ولا يُرفع النص أبدًا.
هل يتّسع في نافذة السياق؟
| نافذة السياق | نصك | هل يتّسع؟ |
|---|
تُتقاسم نافذة السياق بين مدخلك ورد النموذج وكل ما يضيفه التطبيق خلف الكواليس (موجّه النظام، والمستندات المسترجَعة، وسجل المحادثة). اترك متسعًا — فملء النافذة حتى حافتها هو ما يعطيك إجابات مبتورة.
كم ستكون التكلفة؟
كيف يعمل هذا التقدير (ولماذا ليس دقيقًا)
التقطيع الحقيقي يمرّر على نصك مفردات BPE خاصة بكل نموذج — وكل عائلة نماذج تستخدم مفردات مختلفة، فيختلف العدد «الحقيقي» من نموذج لآخر. وأداء ذلك كما ينبغي في المتصفح يعني شحن مفردات بحجم عدة ميغابايت لكل عائلة، مما يبطئ هذه الصفحة من أجل رقم لا تحتاجه إلا تقريبًا.
بدل ذلك تستخدم هذه الأداة مقدّرًا قائمًا على الأحرف والكلمات، مرجّحًا للمسافات وعلامات الترقيم والأرقام، ويقع ضمن نحو 10–15% للنثر الإنجليزي العادي. وهناك انحيازان معروفان: الشيفرة والنص كثيف الترقيم يتفكّكان إلى توكنات أكثف مما يوحي التقدير، والكتابات غير اللاتينية (الصينية واليابانية والعربية والهندية) تستهلك توكنات لكل حرف أكثر بكثير من الإنجليزية — غالبًا 2–3 أضعاف.
إن كنت تحتاج الدقة للفوترة فاستخدم واجهة التقطيع الخاصة بمزوّدك. أما لسؤالَي «هل سيتّسع؟» و«كم سيكلّف تقريبًا؟» فالتقدير هو الأداة الصحيحة.
ما هو التوكن فعلًا
النماذج لا تقرأ الأحرف ولا الكلمات — بل تقرأ التوكنات، وهي قطع بين الاثنين. الكلمات الشائعة توكن واحد عادةً؛ والكلمات الأطول أو غير المألوفة تنقسم إلى عدة توكنات. قد تكون «Unbelievable» ثلاثة توكنات، و«the» توكن واحد. في النثر الإنجليزي يبلغ متوسط التوكن نحو أربعة أحرف، أي ثلاثة أرباع كلمة تقريبًا.
كل شيء يُسعَّر ويُحدَّد بالتوكنات: ما ترسله، وما يعود إليك، وكم يستطيع النموذج أن يحمل دفعة واحدة.
لماذا نصك أكثف مما تظن
- الشيفرة تتفكّك إلى توكنات على نحو سيئ — المسافات البادئة والأقواس وcamelCase كلها تكلّف توكنات. ملف من 500 سطر قد يفوق بكثير ما يوحي به عدد أحرفه.
- النص غير الإنجليزي مكلف. اللغات التي لا تستخدم الحرف اللاتيني تكلّف غالبًا 2–3 أضعاف التوكنات لكل حرف، ولهذا قد تكلّف المطالبة نفسها أضعافًا باليابانية مقارنةً بالإنجليزية.
- التكرار رخيص، أما البنية فلا. هياكل JSON وMarkdown تتراكم بسرعة عبر استدعاءات كثيرة.
نافذة السياق ≠ ميزانيتك
نافذة بمليون توكن لا تعني أن عليك إرسال مليون توكن. فجودة الانتباه تتراجع نحو منتصف المدخلات الطويلة جدًا، ويرتفع زمن الاستجابة، وتزداد التكلفة خطيًا. والاسترجاع — أي جلب المقاطع ذات الصلة وحدها — يتفوّق عادةً على حشو النافذة، وهو أرخص.
الأسئلة الشائعة
ما مدى دقة هذا العدّاد؟
ضمن نحو 10–15% للنثر الإنجليزي العادي. أما الشيفرة والكتابات غير اللاتينية فتميل إلى ما هو أعلى من التقدير. وللأرقام الدقيقة للفوترة استخدم مقطّع مزوّدك.
هل يُرفع نصي إلى أي مكان؟
لا. يجري الحساب داخل متصفحك. لا طلب ولا تسجيل ولا تخزين.
لماذا لا تعرضون أسعار النماذج؟
لأنها تتغيّر، ولأن عرض سعر قديم بثقة أسوأ من عدم عرض سعر. أدخل أسعار مزوّدك الحالية وتتكفّل الأداة بالحساب.
هل تستهلك الصور والصوت توكنات؟
نعم — تُحوَّل المدخلات متعددة الوسائط إلى توكنات أيضًا، بمعدلات تختلف حسب المزوّد والدقة. وهذه الأداة تغطي النص فقط.
ذو صلة: ما هو RAG؟ · أي نموذج ذكاء اصطناعي لأي مهمة · كل الأدوات المجانية