এআই টোকেন কাউন্টার ও কনটেক্সট ফিট

টোকেন আসলে কী

মডেল অক্ষরও পড়ে না, শব্দও পড়ে না — পড়ে টোকেন, যা দুইয়ের মাঝামাঝি টুকরো। প্রচলিত শব্দ সাধারণত একটি টোকেন; লম্বা বা অপ্রচলিত শব্দ কয়েকটিতে ভাগ হয়। «Unbelievable» হয়তো তিনটি টোকেন, «the» একটি। ইংরেজি গদ্যে একটি টোকেন গড়ে প্রায় চারটি অক্ষর, বা মোটামুটি শব্দের তিন-চতুর্থাংশ।

সবকিছুরই দাম আর সীমা টোকেনে: আপনি যা পাঠান, যা ফিরে আসে, আর মডেল একবারে যতটা ধরে রাখতে পারে।

আপনার লেখা যত ভাবছেন তার চেয়ে ঘন কেন

• কোডের টোকেনাইজেশন খারাপ হয় — ইনডেন্ট, বন্ধনী আর camelCase সবই টোকেন খরচ করে। ৫০০ লাইনের একটি ফাইল তার অক্ষরসংখ্যা যা ইঙ্গিত করে তার চেয়ে অনেক বেশি হতে পারে।
• ইংরেজি ছাড়া অন্য লেখা ব্যয়বহুল। যেসব ভাষা ল্যাটিন লিপি ব্যবহার করে না, সেগুলোয় প্রতি অক্ষরে প্রায়ই ২–৩ গুণ বেশি টোকেন লাগে — এজন্যই একই প্রম্পট জাপানিতে ইংরেজির চেয়ে কয়েক গুণ বেশি খরচ হতে পারে।
• পুনরাবৃত্তি সস্তা, কাঠামো নয়। JSON আর Markdown-এর কাঠামো বহু কলের মধ্যে দ্রুত জমতে থাকে।

কনটেক্সট উইন্ডো ≠ আপনার বাজেট

দশ লাখ টোকেনের উইন্ডো মানে এই নয় যে আপনার দশ লাখ টোকেন পাঠানো উচিত। খুব লম্বা ইনপুটে মাঝামাঝি জায়গায় মনোযোগের মান পড়ে যায়, লেটেন্সি বাড়ে, আর খরচ সরলরৈখিকভাবে বাড়ে। রিট্রিভাল — কেবল প্রাসঙ্গিক অংশটুকু তুলে আনা — সাধারণত উইন্ডো ঠেসে ভরার চেয়ে ভালো, আর সস্তাও।

FAQ

সম্পর্কিত: RAG কী? · কোন কাজে কোন এআই মডেল · সব বিনামূল্যের সরঞ্জাম