وش يعني «توكن»؟ وليه تدفع فلوس عليه؟

الفكرة ببساطة

الذكاء الاصطناعي ما يقرأ جملتك دفعة وحدة. يقطّعها إلى قطع صغيرة، كل قطعة اسمها «توكن»، وبعدين يتعامل مع كل قطعة على حدة.

تخيل صيدليًا يصرف وصفة: ما يعطيك «علبة دواء» وخلاص — يعدّ الحبوب وحدة وحدة. الآلة تسوي نفس الشي مع كلامك.

ليه كلمة وحدة ممكن تكون توكنين؟

كلمة مثل «مستشفى» ممكن تنقسم إلى «مست» + «شفى». وهذا سرّ قوة النموذج: حتى لو شاف كلمة جديدة ما مرّت عليه من قبل، يفهمها لأنه يعرف قطعها الصغيرة.

بالمناسبة: النص العربي غالبًا يستهلك توكنات أكثر من النص الإنجليزي بنفس المعنى — معلومة مفيدة إذا كنت تحسب التكاليف.

أسئلة شائعة