رمزگشایی گمانه‌زنانه چیست؟#
مدل‌های بزرگ زبانی (مثل Llama 70B) بسیار باهوش اما در زمان تایپ کلمات کند هستند، چون برای هر تک‌توکن باید کل وزن‌های سنگین شبکه خوانده شود. در این روش، یک مدل بسیار ریز و سریع (Draft Model) چند کلمه بعدی را حدس می‌زند و مدل بزرگ آنها را در یک دور موازی بررسی و قبول میکند؛ در نتیجه سرعت تولید متن ۲ تا ۳ برابر بیشتر می‌شود بدون اینکه حتی یک درصد از هوش مدل کاسته شود!
یک تشبیه روزمره#
استاد برجسته جراحی و کارآموز جوان؛ کارآموز وسایل و بخیه‌ها را سریع آماده میکند و استاد فقط با یک نگاه کار او را تایید میکند؛ جراحی با همان کیفیت عالی اما با سرعت دوبرابر تمام می‌شود.
مزایای اصلی#
- افزایش ۲ تا ۳ برابری سرعت تحویل متن به کاربران
- خروجی کاملاً یکسان با مدل اصلی بدون کوچک‌ترین افت دقت
- صرفه‌جویی چشمگیر در هزینه‌های سخت‌افزاری پردازنده‌های گرافیکی (GPU)