تکنولوژی RoPE چیست؟#
ترنسفورمرها ذهن هندسی ندارند و نمی‌دانند کدام کلمه اول آمد و کدام کلمه دهم. در روش RoPE (که در Llama و Mistral به کار رفته)، اطلاعات موقعیت هر کلمه به عنوان یک زاویه چرخش به بردار کلمه اضافه می‌شود. در نتیجه مدل نه تنها جایگاه مطلق، بلکه فاصله نسبی کلمات از هم را در فواصل طولانی به شکلی بی‌نقص درک می‌کند.
یک تشبیه روزمره#
عقربه‌های ساعت دیواری؛ شما با نگاه کردن به زاویه بین عقربه ساعت‌شمار و دقیقه‌شمار، فاصله زمانی را می‌فهمید بدون اینکه نیاز باشد ثانیه‌ها را از اول روز بشمارید.
مزایای اصلی#
- پشتیبانی عالی از طول کانتکستهای طولانی با روش RoPE Scaling
- درک عمیق‌تر روابط میان کلمات در جملات بسیار طولانی
- استانداردی اجباری در اکثر مدل‌های زبانی بازمتن نسل جدید