التعلم المعزز (Reinforcement Learning) نوع من تعلم الآلة يتعلم فيه «وكيل» ما يجب فعله بالتجربة والخطأ داخل بيئة ما: لكل فعل نتيجة، والنتيجة الجيدة تحصل على مكافأة والسيئة على عقوبة، ويجد الوكيل تدريجيًا الطريقة التي تمنحه أكبر مجموع من المكافآت.
لا أحد يخبر الوكيل بالإجابة الصحيحة. يعرف فقط بعد كل فعل هل كان جيدًا أم لا. هذا ما يميز التعلم المعزز عن بقية أنواع تعلم الآلة.
مثال بسيط: تدريب كلب#
لنفترض أنك تريد تعليم كلبك أن يجلس عندما تقول «اجلس». لا يمكنك أن تشرح له معنى الجلوس. فتنتظر، وكلما جلس أعطيته قطعة طعام. في البداية يحدث الأمر مصادفة، لكن بعد عدة مرات يربط الكلب بين كلمة «اجلس» والجلوس والمكافأة.
يمنح التعلم المعزز الحاسوب المنطق نفسه:
- الكلب = الوكيل (Agent)
- البيت وصوتك = البيئة (Environment)
- سماع «اجلس» = الحالة (State)
- الجلوس أو عدمه = الفعل (Action)
- قطعة الطعام = المكافأة (Reward)
- العادة التي يكتسبها الكلب = السياسة (Policy)
المكونات الأساسية للتعلم المعزز#
| المكوّن | المعنى | مثال في لعبة سباق |
|---|---|---|
| الوكيل | ما يتخذ القرار ويتعلم | البرنامج الذي يقود السيارة |
| البيئة | العالم الذي يعمل فيه الوكيل | الحلبة والسيارات الأخرى |
| الحالة | لقطة لحظية من البيئة | السرعة والموقع والمنعطف التالي |
| الفعل | ما يستطيع الوكيل فعله | تسارع، فرملة، يسار، يمين |
| المكافأة | رقم يقيس جودة النتيجة | نقاط للتقدم وعقوبة للاصطدام |
| السياسة | قاعدة اختيار الفعل في كل حالة | «اضغط الفرامل قبل المنعطف الحاد» |
الحلقة بسيطة: يرى الوكيل الحالة، ويختار فعلًا، فتتغير البيئة وتعيد مكافأة، ويحسّن الوكيل سياسته قليلًا. وتتكرر هذه الحلقة آلاف أو ملايين المرات.
مشكلتان أساسيتان: المكافأة المتأخرة والاستكشاف#
المكافأة ليست فورية دائمًا#
في الشطرنج قد تؤدي نقلة جيدة إلى الفوز بعد عشرين نقلة. على الوكيل أن يكتشف أي الأفعال السابقة ساهمت في النتيجة النهائية. لذلك يسعى التعلم المعزز إلى تعظيم مجموع المكافآت المستقبلية لا المكافأة اللحظية فقط.
الاستكشاف أم الاستغلال#
إذا كرر الوكيل دائمًا ما نجح حتى الآن، فقد لا يكتشف طريقًا أفضل أبدًا. وإذا ظل يجرب أشياء جديدة، فلن يستفيد مما تعلمه. الموازنة بين الاستكشاف (تجربة الجديد) والاستغلال (استخدام أفضل خيار معروف) من أهم تحديات هذه الطريقة، تمامًا مثل الاختيار بين مطعمك المعتاد ومطعم جديد.
مثال خطوة بخطوة: روبوت في متاهة#
تخيّل روبوتًا صغيرًا في متاهة شبكية، وهدفه الوصول إلى المخرج. نضع قواعد المكافأة هكذا: الوصول إلى المخرج مكافأة كبيرة، والاصطدام بالجدار عقوبة صغيرة، وكل خطوة إضافية عليها عقوبة بسيطة حتى يفضّل الروبوت الطريق الأقصر.
- في الجولة الأولى لا يعرف الروبوت شيئًا ويتحرك عشوائيًا. يصطدم بالجدران مرارًا وقد يصل إلى المخرج بعد وقت طويل.
- بعد كل جولة يحدّث الروبوت تقديراته: «من هذا المربع، الاتجاه يمينًا قرّبني من المخرج سابقًا».
- ترتفع قيمة المربعات القريبة من المخرج أولًا، ثم تنتقل هذه القيمة تدريجيًا إلى المربعات الأبعد.
- بعد مئات الجولات يعرف الروبوت أفضل اتجاه من كل مربع ويسلك تقريبًا أقصر طريق.
لم يعطِ أحد الروبوت خريطة المتاهة أو الطريق الصحيح، بل كانت هناك مكافآت وعقوبات فقط. وهذه خلاصة فكرة التعلم المعزز كلها.
الفرق عن التعلم الموجّه وغير الموجّه#
| الطريقة | بيانات التدريب | السؤال الذي تجيب عنه | مثال |
|---|---|---|---|
| التعلم الموجّه | أمثلة مع الإجابة الصحيحة | «ما هذا المُدخل؟» | كشف البريد المزعج |
| التعلم غير الموجّه | أمثلة بلا إجابات | «ما الأنماط في البيانات؟» | تقسيم العملاء إلى فئات |
| التعلم المعزز | تجربة ومكافآت | «ماذا أفعل الآن؟» | الألعاب والتحكم في الروبوتات |
النقطة الجوهرية: التعلم المعزز يتعلق بسلسلة من القرارات المتتابعة لا بتنبؤ واحد.
أنواع طرق التعلم المعزز#
لا تحتاج إلى الرياضيات، لكن معرفة التصنيفات الرئيسية تساعدك على فهم الأبحاث والأخبار:
- القائمة على القيمة (Value-based): يتعلم الوكيل قيمة كل فعل في كل حالة ويختار الأفضل. أشهر مثال عليها Q-Learning.
- القائمة على السياسة (Policy-based): يحسّن الوكيل قاعدة القرار مباشرة دون حساب قيمة كل الأفعال.
- الممثل والناقد (Actor-Critic): مزيج من الطريقتين؛ جزء يقرر وجزء آخر يقيّم جودة القرار.
- بلا نموذج أو قائمة على نموذج: بعض الطرق تتعلم من التجربة فقط، وبعضها يبني أولًا نموذجًا للبيئة ويخطط به.
- التعلم المعزز العميق: عندما تكون الحالات كثيرة جدًا (مثل بكسلات شاشة لعبة)، تُستخدم الشبكة العصبية لتقدير القيم أو السياسة.
أين يُستخدم التعلم المعزز#
- الألعاب: البرامج التي بلغت مستوى الأبطال في الشطرنج و«غو» وألعاب الفيديو المعقدة تطورت بلعب ملايين المباريات ضد نفسها.
- الروبوتات: تعلم المشي والإمساك بالأشياء والتنقل في أماكن غير مألوفة، غالبًا في محاكٍ أولًا.
- روبوتات المحادثة والنماذج اللغوية: تُضبط النماذج اللغوية الكبيرة غالبًا بعد التدريب الأولي بطريقة التعلم المعزز من التغذية الراجعة البشرية (RLHF) أو طرق مشابهة لتصبح إجاباتها أنفع وأكثر أمانًا. والأساليب الأحدث لتقوية قدرة الاستدلال تبني على الفكرة نفسها.
- الوكلاء: وكلاء الذكاء الاصطناعي الذين ينفذون عدة خطوات متتالية قريبون مفهوميًا من التعلم المعزز.
- الصناعة والبنية التحتية: ترشيد الطاقة والجدولة وإدارة المرور والتوصيات.
أخطاء وتصورات شائعة#
- «الوكيل يتعلم ما نريده.» لا، بل يتعلم ما يُكافأ عليه. إذا صُممت المكافأة بشكل سيئ وجد الوكيل اختصارات غريبة، وهذا ما يسمى «اختراق المكافأة» (Reward Hacking)؛ مثل وكيل يدور حول نقطة تمنح نقاطًا بدل إنهاء السباق.
- «التعلم المعزز يصلح لكل مشكلة.» يحتاج إلى كمّ هائل من التجارب، وتدريبه مكلف وغير مستقر. إن كانت لديك بيانات موسومة فالتعلم الموجّه أبسط عادةً.
- «ما نجح في المحاكي سينجح في الواقع.» الفجوة بين المحاكاة والواقع مشكلة جدية في الروبوتات.
- «النماذج اللغوية تُبنى بالتعلم المعزز فقط.» معظم تدريبها تدريب مسبق على النصوص، ويأتي التعلم المعزز أساسًا في مرحلة ضبط السلوك.
الخلاصة#
- التعلم المعزز تعلّم بالتجربة والخطأ والمكافأة، دون إجابة صحيحة جاهزة.
- مكوناته الأساسية: الوكيل والبيئة والحالة والفعل والمكافأة والسياسة.
- تحديان رئيسيان: المكافأة المتأخرة والموازنة بين الاستكشاف والاستغلال.
- من استخداماته: الألعاب والروبوتات وضبط روبوتات المحادثة عبر RLHF وتحسين الأنظمة.
- الخطر الأكبر مكافأة سيئة التصميم؛ فالوكيل يتعلم ما يُكافأ عليه.
