هم‌ترازی هوش مصنوعی یعنی طراحی و آموزش مدل‌ها به شکلی که آنچه انجام می‌دهند با آنچه ما واقعاً می‌خواهیم همخوان باشد. مشکل ساده‌ای به نظر می‌رسد، اما در عمل دشوار است، چون نمی‌توان همه‌ی خواسته‌های انسان را کامل و دقیق در قالب قاعده نوشت.

یک مثال تشبیهی#

به دستیاری بگویید «هر طور شده این گزارش را سریع تمام کن». اگر دستیار برای رسیدن به هدف داده‌ها را جعل کند، دستور را «اجرا» کرده اما با نیت واقعی شما هم‌راستا نبوده است. هوش مصنوعی هم گاهی همین خطا را دارد: هدف تعریف‌شده را بهینه می‌کند، نه هدف واقعی را.

چه مسائلی را شامل می‌شود#

  • مفید بودن: پاسخ واقعاً به نیاز کاربر برسد.
  • صداقت: چیز ساختگی را مثل واقعیت ارائه نکند.
  • بی‌خطر بودن: به درخواست‌های آسیب‌زننده کمک نکند.
  • مقاومت در برابر سوءاستفاده: مثل جیلبریک.

چطور انجام می‌شود#

روش‌هایی مثل یادگیری از بازخورد انسانی، اصول‌نامه‌هایی که مدل باید به آن‌ها پایبند باشد، ارزیابی‌های ایمنی و آزمون تیم‌های قرمز (کسانی که عمداً سعی می‌کنند مدل را خراب کنند).

چرا اهمیت دارد#

هرچه مدل‌ها توانا‌تر و مستقل‌تر شوند، ناهم‌ترازی کوچک می‌تواند پیامدهای بزرگ‌تری داشته باشد، مخصوصاً وقتی مدل به‌عنوان ایجنت به ابزار و داده دسترسی دارد.

اشتباه رایج#

هم‌ترازی فقط سانسور یا فیلتر کردن جواب‌ها نیست. هدف عمیق‌تر آن است که مدل نیت انسان را درست بفهمد و مطابق آن رفتار کند.