فهم معمارية نماذج الذكاء الاصطناعي اللغوية: من n-gram إلى Transformer

في عالم الذكاء الاصطناعي، تُعد نماذج اللغة الحديثة، مثل تلك التي تشغل تطبيقات مثل ChatGPT وغيرها، من أبرز الإنجازات التكنولوجية التي غيرت طريقة تفاعلنا مع المعلومات. لكن، هل تساءلت يومًا عن كيفية عمل هذه النماذج؟ ما الذي يجعلها قادرة على فهم اللغة البشرية وتوليد نصوص دقيقة ومتماسكة؟ في هذا المقال، سنأخذك في رحلة عميقة إلى قلب هذه النماذج، من البدايات البسيطة مع n-gram إلى الثورة التي أحدثتها معمارية Transformer، مع شرح مبسط لآليات مثل self-attention وpretraining objectives. إذا كنت مهتمًا بمجال الذكاء الاصطناعي أو الأفلييت، فهذا المقال سيمنحك نظرة شاملة ومبسطة.

البدايات: نماذج n-gram وMarkov Chains

في أوائل تطور معالجة اللغة الطبيعية، كانت النماذج تعتمد على تقنيات بسيطة مثل n-gram وMarkov Chains. هذه النماذج كانت تحسب احتمالية ظهور كلمة معينة بناءً على الكلمات السابقة في النص. على سبيل المثال، إذا كانت الكلمات السابقة هي “أنا أحب”، فإن النموذج يحاول توقع الكلمة التالية مثل “البرمجة” بناءً على ترددات ظهور الكلمات في قاعدة بيانات النصوص (corpus).

لكن هذه التقنيات واجهت تحديات كبيرة:

• حجم البيانات: مع زيادة عدد الكلمات (n) في نموذج n-gram، كانت الجداول التي تخزن ترددات الكلمات تكبر بشكل هائل، مما يؤدي إلى sparsity (قلة البيانات النافعة).
• صعوبة التعامل مع العلاقات بعيدة المدى: النماذج لم تكن قادرة على فهم العلاقات بين الكلمات المتفرقة في جملة طويلة.

نتيجة لذلك، كان الأداء محدودًا، خاصة عند التعامل مع سياقات معقدة. لحسن الحظ، جاءت الخطوة التالية لتحل هذه المشكلات.

ثورة Word Embeddings: من Word2Vec إلى GloVe

مع ظهور تقنيات مثل Word2Vec وGloVe، أصبح بإمكان النماذج تحويل الكلمات إلى متجهات (Vectors) في فضاء عالي الأبعاد. لكن ما المقصود بالمتجهات؟ ببساطة، هي قوائم من الأرقام (مثل [0.23, -1.05, 0.67]) تمثل الكلمات رياضيًا. هذه الأرقام تتيح للنماذج قياس التشابه بين الكلمات باستخدام مقاييس مثل cosine similarity، مما يسمح بفهم العلاقات الدلالية، مثل أن “سعيد” و”مبسوط” متقاربتان في المعنى.

كيف تعمل Word2Vec؟

تقنية Word2Vec تقدم طريقتين أساسيتين:

1. CBOW (Continuous Bag of Words): يتنبأ النموذج بالكلمة المستهدفة بناءً على كلمات السياق المحيطة بها.
2. Skip-Gram: العكس، حيث يتنبأ النموذج بكلمات السياق بناءً على الكلمة المستهدفة. هذه الطريقة تُستخدم مع negative sampling لتقليل التكلفة الحسابية لطبقة softmax.

أما GloVe (Global Vectors)، فيعتمد على بناء مصفوفة التكرار المشترك (co-occurrence matrix) لكامل النصوص في قاعدة البيانات، ثم يقلل الفرق بين الضرب النقطي (dot product) للمتجهات وقيم التردد اللوغاريتمية. هذه التقنيات جعلت النماذج قادرة على فهم العلاقات الدلالية بشكل أفضل.

قواعد بيانات المتجهات (Vector Databases)

مع تطور هذه التقنيات، ظهرت قواعد بيانات المتجهات (Vector Databases)، مثل تلك المستخدمة في RAG (Retrieval-Augmented Generation). تخزن هذه القواعد المتجهات التي تمثل الكلمات أو الصور، مما يتيح البحث السريع عن العناصر المتشابهة بناءً على المسافات الهندسية في الفضاء عالي الأبعاد. على عكس قواعد البيانات التقليدية (Relational Databases) التي تعتمد على الجداول والاستعلامات مثل SELECT وJOIN، فإن قواعد المتجهات تتفوق في البحث الدلالي السريع، وإن كانت أقل دعمًا لخصائص مثل ACID (Atomicity, Consistency, Isolation, Durability).

لمعرفة المزيد عن قواعد بيانات المتجهات، يمكنك زيارة مدونة أفلييت مصر للحصول على شروحات إضافية.

ظهور معمارية Transformer: ثورة في معالجة اللغة

مع ظهور معمارية Transformer، تغيرت قواعد اللعبة. على عكس النماذج التقليدية مثل LSTM وGRU التي تعالج النصوص تسلسليًا، تعتمد Transformer على آلية self-attention التي تتيح معالجة جميع الكلمات في النص دفعة واحدة، مما يعزز الكفاءة ويحسن فهم السياق.

كيف تعمل آلية Self-Attention؟

تُحول كل كلمة (أو رمز، token) في النص إلى ثلاثة متجهات:

• Query (Q): يمثل السؤال حول أهمية الكلمة بالنسبة للكلمات الأخرى.
• Key (K): يحدد خصائص الكلمة التي تجعلها مهمة.
• Value (V): يحمل المعلومات الفعلية للكلمة.

تُحسب آلية self-attention كالتالي:

1. يتم إجراء الضرب النقطي (dot product) بين Q لكلمة معينة وK لكل الكلمات الأخرى.
2. تُقسم النتائج على الجذر التربيعي للبعد المتجهي (√dk) لتجنب القيم الكبيرة.
3. تُمرر النتائج عبر دالة softmax لتحويلها إلى أوزان (مثل [0.65, 0.24, 0.11]).
4. تُضرب هذه الأوزان في V لكل كلمة للحصول على weighted sum يمثل أهمية كل كلمة في السياق.

مثال عملي

لنفترض جملة: “أنا أحب البرمجة”. بعد تحويل الكلمات إلى متجهات:

• لكلمة “أنا”، قد تكون النتيجة بعد softmax: [0.65, 0.24, 0.11].
• إذا كانت القيم (V) هي: V1=[1,0]، V2=[0,1]، V3=[1,1]، فإن الناتج يكون:
  • 0.65×[1,0] + 0.24×[0,1] + 0.11×[1,1] = [0.76, 0.35].

Multi-Head Attention

تُكرر هذه العملية عبر عدة رؤوس اهتمام (attention heads)، حيث يتعلم كل رأس جزءًا مختلفًا من السياق. ثم تُدمج النتائج عبر concatenation وتُمرر إلى طبقة projection نهائية.

طبقات إضافية

بعد self-attention، يتم تمرير النتائج عبر:

• شبكة Feed-Forward: تتكون من طبقتين خطيتين مع دالة تفعيل GELU.
• Residual Connections وLayer Normalization: لضمان استقرار التدريب وتسريع التقارب.
• Positional Encoding: يُضاف باستخدام دوال sin وcos لتمثيل ترتيب الكلمات، حيث أن Transformer لا يفهم الترتيب بشكل طبيعي.

يمكنك التعرف على المزيد حول Transformer من خلال قناة Affiegy التعليمية على يوتيوب.

أهداف التدريب المسبق (Pretraining Objectives)

لكي تكون النماذج مثل GPT وBERT قادرة على فهم اللغة، يتم تدريبها مسبقًا على كميات هائلة من النصوص باستخدام أهداف محددة.

1. Autoregressive Models (مثل GPT)

GPT (Generative Pre-trained Transformer) يعتمد على توقع الكلمة التالية في النص بناءً على الكلمات السابقة، أي: P(token_t | token_<t). هذا النهج يجعل النموذج قويًا في توليد النصوص، مثل كتابة مقالات أو الإجابة على الأسئلة.

2. Masked Language Modeling (مثل BERT)

BERT (Bidirectional Encoder Representations from Transformers) يعتمد على إخفاء نسبة من الكلمات في الجملة (عادة 15%) ويطلب من النموذج إعادة بنائها. على سبيل المثال، في جملة “أنا [MASK] البرمجة”، يتعلم النموذج أن الكلمة المفقودة هي “أحب”. بالإضافة إلى ذلك، يستخدم BERT هدفًا آخر يُسمى Next Sentence Prediction (NSP) لتحديد ما إذا كانت جملتان مترابطتان.

تحسينات لاحقة

• RoBERTa: أزالت NSP وزادت حجم البيانات وعدد خطوات التدريب.
• ALBERT: قللت عدد البارامترات عبر مشاركة البارامترات بين الطبقات.
• Big Bird: استخدمت sparse attention للتعامل مع تسلسلات طويلة.
• T5: حوّلت جميع المهام إلى إطار عمل نص إلى نص.
• ELECTRA: استخدمت replaced token detection لتدريب أكثر كفاءة.
• DeBERTa: فصلت المحتوى عن المعلومات الموضعية لتحسين الدقة.

الهلوسة في نماذج الذكاء الاصطناعي

قد تلاحظ أحيانًا أن نماذج الذكاء الاصطناعي تُنتج معلومات غير دقيقة أو “تهلوس”. هذه الظاهرة، المعروفة بـHallucination، تحدث عندما يولد النموذج نصوصًا تبدو منطقية لكنها غير صحيحة. يتم التحكم في هذه الهلوسة باستخدام معيار مثل Temperature، الذي ينظم درجة العشوائية في التوقعات.

لمعرفة المزيد عن إدارة الهلوسة، تابع قناة Affiegy على تيكتوك.

تحسينات التدريب الهندسية

لتدريب هذه النماذج بكفاءة، تُستخدم تقنيات مثل:

• AdamW Optimizer: مع جدولة معدل التعلم (learning rate) بنظام warmup وlinear decay.
• Dropout: لتجنب الإفراط في التكيف (overfitting).
• Gradient Clipping: لاستقرار التدريب.
• Mixed Precision Training: لتقليل استهلاك الذاكرة وتسريع الحسابات.
• Distributed Training: باستخدام data parallelism وpipeline parallelism للاستفادة من وحدات معالجة الرسوميات المتعددة.

تطبيقات عملية

تُستخدم هذه التقنيات في تطبيقات يومية، مثل:

• لوحة مفاتيح الهاتف: التي تتوقع الكلمة التالية بناءً على n-gram وWord2Vec.
• محركات التوصية: مثل Netflix، التي تستخدم قواعد بيانات المتجهات وTransformer لتقديم اقتراحات دقيقة.
• حملات الأفلييت: يمكن استخدام هذه التقنيات لتحليل النصوص وتحسين الحملات التسويقية عبر منصات مثل تُجّار كوم.

الأسئلة الشائعة (FAQ)

ما الفرق بين Word2Vec وGloVe؟

Word2Vec يعتمد على التنبؤ بالكلمات بناءً على السياق (CBOW أو Skip-Gram)، بينما GloVe يعتمد على مصفوفة التكرار المشترك لفهم العلاقات الدلالية على مستوى النصوص الكبيرة.

ما هي قواعد بيانات المتجهات؟

هي قواعد بيانات تخزن المتجهات (قوائم أرقام) التي تمثل الكلمات أو الصور، مما يتيح البحث السريع عن العناصر المتشابهة دلاليًا.

كيف يمكنني استخدام هذه التقنيات في الأفلييت؟

يمكنك استخدام أدوات مثل Google Map Extractor لاستخراج بيانات العملاء، أو Whats360.live لإدارة حملات تسويقية عبر واتساب.

الخاتمة

من نماذج n-gram البسيطة إلى معمارية Transformer المتقدمة، تطورت نماذج الذكاء الاصطناعي اللغوية بشكل مذهل. بفضل آليات مثل self-attention وpretraining objectives، أصبحت هذه النماذج قادرة على فهم اللغة البشرية وتوليد نصوص دقيقة. إذا كنت مهتمًا بتطبيق هذه التقنيات في مجال الأفلييت، يمكنك الانضمام إلى جروب أفلييت مصر على فيسبوك للحصول على نصائح ودورات تعليمية.

ابدأ رحلتك في عالم الذكاء الاصطناعي والأفلييت اليوم، واستفد من الأدوات المتاحة مثل تُجّار كوم وواتس360 لتحقيق النجاح!

سيرفر خدمات وتساب API السحابي