رمزگشایی حدسی چیست؟#

مدل‌های زبانی بزرگ متن را توکن‌به‌توکن تولید می‌کنند و هر توکن یک بار اجرای کامل مدل را لازم دارد. همین موضوع باعث کندی پاسخ می‌شود. در رمزگشایی حدسی یک مدل کوچک و سریع که به آن مدل پیش‌نویس می‌گویند، چند توکن بعدی را پشت سر هم حدس می‌زند. سپس مدل اصلی همه‌ی این حدس‌ها را در یک مرحله بررسی می‌کند و هر تعداد از آن‌ها را که درست باشد می‌پذیرد.

چرا کیفیت پایین نمی‌آید؟#

نکته‌ی کلیدی این است که تصمیم نهایی همیشه با مدل بزرگ است. اگر حدس مدل کوچک با چیزی که مدل بزرگ تولید می‌کرد یکی نباشد، از همان نقطه کنار گذاشته می‌شود و مدل بزرگ توکن درست را جایگزین می‌کند. به همین دلیل خروجی از نظر آماری با حالت عادی تفاوتی ندارد و فقط سرعت بیشتر می‌شود.

مثال#

فرض کنید مدل کوچک پنج توکن را حدس بزند و چهار تای آن درست باشد. مدل بزرگ با یک بار اجرا چهار توکن را تأیید می‌کند و به جای چهار مرحله، تنها یک مرحله زمان صرف می‌شود.

نکته#

هرچه مدل پیش‌نویس به سبک مدل اصلی نزدیک‌تر باشد، درصد پذیرش حدس‌ها بالاتر می‌رود. در متن‌های قابل پیش‌بینی مثل کدنویسی، افزایش سرعت معمولاً دو تا سه برابر است.