ترنسفورمر نوعی طراحی برای شبکه‌های عصبی است که چند سال پیش معرفی شد و تحول بزرگی در هوش مصنوعی ایجاد کرد. تقریباً همهی مدلهای زبانی بزرگ شناخته‌شده، از جمله خانواده‌ی GPT، بر پایهی آن ساخته شدهاند. حرف T در GPT هم مخفف همین واژه است.
مشکل قبلی#
مدلهای قدیمی‌تر متن را کلمه‌به‌کلمه و پشت‌سرهم می‌خواندند. در متن بلند، اطلاعات ابتدای متن کم‌کم فراموش می‌شد و آموزش هم کند بود، چون نمی‌شد بخش‌ها را همزمان پردازش کرد.
ایده‌ی اصلی#
ترنسفورمر با «مکانیزم توجه» به هر کلمه اجازه می‌دهد همزمان به همهی کلمه‌های دیگر نگاه کند و بسنجد کدام برای فهمیدن معنایش مهم‌تر است. در جمله‌ی «کتاب را از قفسه برداشتم و آن را خواندم»، مدل می‌فهمد «آن» بیشتر به کتاب مربوط است تا قفسه.
چرا موفق بود#
- پردازش موازی و سریعتر شدن آموزش روی کارت‌های گرافیک.
- مدیریت بهتر وابستگی‌های دور در متن.
- مقیاس‌پذیری: با بزرگ‌تر کردن مدل و داده، معمولاً بهتر می‌شود.
کاربرد فراتر از متن#
ترنسفورمرها امروز در تصویر، صدا، ویدیو و حتی ساختار پروتئین‌ها هم استفاده می‌شوند، نه فقط در متن.
اشتباه رایج#
ترنسفورمر نام یک مدل یا محصول نیست؛ نام یک معماری است. مدلهای مختلف بسیاری با تفاوت در اندازه، داده و آموزش بر پایهی آن ساخته می‌شوند.