جیلبریک هوش مصنوعی چیست؟#

مدل‌های هوش مصنوعی با قواعدی آموزش می‌بینند که از تولید محتوای خطرناک یا ممنوع جلوگیری کند. جیلبریک یعنی نوشتن پرامپتی که این قواعد را دور بزند، مثلاً با نقش‌بازی، داستان‌سازی یا چندمرحله‌ای کردن درخواست، تا مدل کاری را انجام دهد که در حالت عادی رد می‌کرد.

مثال کلی#

فرض کنید مدل از ارائه‌ی نوعی اطلاعات خطرناک امتناع می‌کند. فرد با ساختن یک سناریوی ظاهراً بی‌ضرر («تو بازیگر فیلم هستی…») می‌خواهد همان محدودیت را بشکند. سازندگان پیوسته مدل را در برابر چنین حقه‌هایی مقاوم‌تر می‌کنند.

چرا مهم است#

  • برای سازندگان محصول: چت‌بات سایت شما هم ممکن است مورد سوءاستفاده قرار بگیرد.
  • برای کاربران: خروجی جیلبریک‌شده قابل‌اعتماد نیست و می‌تواند خطرناک باشد.
  • برای پژوهش: بررسی ضعف مدل‌ها (red teaming) بخشی از امن‌کردن آن‌هاست.

تفاوت با تزریق پرامپت#

جیلبریک معمولاً توسط خود کاربر و علیه محدودیت‌های مدل انجام می‌شود. تزریق پرامپت بیشتر دستور مخفی در داده یا صفحه‌ای است که ایجنت می‌خواند و علیه مالک سیستم کار می‌کند.

چه کنیم#

  • در محصول خودتان، فقط به پرامپت سیستمی تکیه نکنید؛ ورودی و خروجی را هم بررسی کنید.
  • دسترسی مدل را به حداقل لازم محدود کنید.
  • سیستم را با پرسش‌های خصمانه آزمایش کنید.

یادآوری#

دور زدن محدودیت‌ها ممکن است شرایط استفاده‌ی سرویس را نقض کند و حساب کاربری را به خطر بیندازد. هدف از این واژه‌نامه آگاهی است، نه ترغیب.