تقنيات تجزئة الكلمات (Tokenization) في النماذج اللغوية الضخمة: البنية البرمجية والرياضية لتحويل لغة البشر إلى أرقام

تجزئة الكلمات (Tokenization) في النماذج اللغوية الضخمة

تعتمد نماذج اللغات الضخمة (LLMs) ونماذج الذكاء الاصطناعي التوليدي في جوهرها الرياضي والبرمجي على تحويل النصوص الكلمات البشرية الطبيعية إلى مصفوفات رقمية تفهمها وتقوم بمعالجتها خوارزميات التعلم العميق والشبكات العصبية؛ وتسمى العملية الأولى والأساسية لهذا التحول الرقمي بـ "تجزئة الكلمات" (Tokenization).

ولا تقوم الخوارزميات بتقسيم النص إلى كلمات كاملة كلاسيكياً لتفادي بناء قواميس ضخمة تحتوي على ملايين الكلمات وصيغها الصرفية المختلفة، بل تستخدم تقنيات برمجية ذكية مثل ترميز زوج البايت (Byte-Pair Encoding - BPE) أو WordPiece؛ حيث يتم تقسيم الكلمات النادرة أو الطويلة إلى وحدات فرعية أو مقاطع لفظية أصغر تُدعى "التوكينات" (Tokens)، لتأخذ كل توكين كوداً رقمياً موحداً يسهل معالجته والتحكم به رياضياً في فضاء المتجهات متعدد الأبعاد (Embedding Space).

وتسمح هذه الطريقة الرياضية المبتكرة للنموذج بالتعرف ومعالجة الكلمات الجديدة كلياً بتركيب مقاطعها المألوفة مسبقاً، وتقليص حجم القاموس الأساسي وحجم الطاقة الحاسوبية المستهلكة أثناء معالجة لغات غنية وعميقة كالعربية؛ ويمثل التقطيع وتحديد الطول الأقصى للتوكين (Context Window) الركيزة والعمود الفقري لبناء وفهم نماذج المحولات الذكية، وتوجيه كفاءة وسرعة توليد الإجابات الآمنة والدقيقة للمستخدمين.