ما كسر حماية الذكاء الاصطناعي؟#

تُدرَّب نماذج الذكاء الاصطناعي بقواعد تمنعها من إنتاج محتوى خطير أو محظور. وكسر الحماية (Jailbreak) هو كتابة موجّه يتحايل على هذه القواعد، كلعب الأدوار أو سرد قصة أو تقسيم الطلب إلى مراحل، ليفعل النموذج ما كان يرفضه في الحالة العادية.

مثال عام#

افترض أن النموذج يمتنع عن تقديم نوع من المعلومات الخطرة. يحاول شخص كسر القيد نفسه ببناء سيناريو يبدو بريئًا («أنت ممثل في فيلم…»). ويعمل المطورون باستمرار على جعل النموذج أكثر مقاومة لمثل هذه الحيل.

لماذا هو مهم#

  • لصانعي المنتجات: قد يُساء استغلال روبوت الدردشة في موقعك أيضًا.
  • للمستخدمين: مخرجات النموذج بعد كسر حمايته غير موثوقة وقد تكون خطرة.
  • للبحث: فحص نقاط ضعف النماذج (red teaming) جزء من تأمينها.

الفرق عن حقن الموجّهات#

كسر الحماية يقوم به المستخدم نفسه عادةً ضد قيود النموذج. أما حقن الموجّهات فهو غالبًا أمر مخفي في بيانات أو صفحة يقرؤها الوكيل، ويعمل ضد مالك النظام.

ماذا نفعل#

  • في منتجك لا تعتمد على موجّه النظام وحده؛ افحص المدخلات والمخرجات أيضًا.
  • قيّد صلاحيات النموذج إلى أدنى حد لازم.
  • اختبر النظام بأسئلة عدائية.

تذكير#

قد يخالف تجاوز القيود شروط استخدام الخدمة ويعرّض الحساب للخطر. وهدف هذا المعجم التوعية لا التشجيع.