المحوّل (Transformer) تصميم للشبكات العصبية قُدّم قبل سنوات وأحدث تحوّلًا كبيرًا في الذكاء الاصطناعي. تكاد جميع النماذج اللغوية الكبيرة المعروفة، ومنها عائلة GPT، مبنية عليه. والحرف T في GPT يشير إلى هذه الكلمة نفسها.

المشكلة السابقة#

كانت النماذج الأقدم تقرأ النص كلمة بعد كلمة بالتتابع. وفي النصوص الطويلة كانت معلومات بداية النص تُنسى تدريجيًا، وكان التدريب بطيئًا لأنه لا يمكن معالجة الأجزاء في وقت واحد.

الفكرة الأساسية#

بفضل «آلية الانتباه» يتيح المحوّل لكل كلمة أن تنظر إلى جميع الكلمات الأخرى في وقت واحد وتقدّر أيها أهم لفهم معناها. في جملة «أخذتُ الكتاب من الرف وقرأتُه»، يفهم النموذج أن الضمير في «قرأتُه» يرتبط بالكتاب أكثر من الرف.

لماذا نجح#

  • المعالجة المتوازية التي سرّعت التدريب على البطاقات الرسومية.
  • إدارة أفضل للاعتماديات البعيدة في النص.
  • قابلية التوسّع: كلما كبّرنا النموذج والبيانات تحسّن عادةً.

استخدام يتجاوز النص#

تُستخدم المحوّلات اليوم في الصور والصوت والفيديو، بل وفي بنية البروتينات أيضًا، وليس في النص وحده.

خطأ شائع#

المحوّل ليس اسم نموذج أو منتج؛ إنه اسم بنية. وتُبنى عليه نماذج كثيرة مختلفة في الحجم والبيانات والتدريب.