البنشمارك (Benchmark) أو اختبار الأداء المعياري هو اختبار قياسي قابل للتكرار يقيس أداء العتاد أو البرنامج أو نموذج الذكاء الاصطناعي بمعيار ثابت، لتمكن مقارنة عدة خيارات بإنصاف. الكلمة المفتاحية هي الثبات: المهمة نفسها تُنفَّذ بالشروط نفسها على كل الخيارات، وتُعرض النتيجة كدرجة أو زمن أو نسبة مئوية.

تسمع هذه الكلمة في مكانين مختلفين تمامًا. بائع الحواسيب يقول «درجة البنشمارك لهذا المعالج عالية»، وشركة تطوّر نموذجًا لغويًا تقول «نموذجنا حقق رقمًا قياسيًا في اختبار كذا». المنطق واحد، لكن الفخاخ مختلفة. يشرح هذا الدليل الحالتين. ولدينا تعريف مختصر أيضًا في المسرد: البنشمارك.

مثال ملموس#

لنفترض أنك تختار بين حاسوبين محمولين لمونتاج الفيديو. تصدّر الفيديو نفسه ومدته عشر دقائق على كليهما بالإعدادات نفسها وتسجّل الزمن. هذا بنشمارك: حمل عمل ثابت، وشروط متطابقة، ونتيجة قابلة للمقارنة.

وفي الذكاء الاصطناعي يحدث الشيء نفسه. يجمع الباحثون مئات أو آلاف الأسئلة ذات الإجابات المعروفة (رياضيات، برمجة، معرفة عامة)، ويعطونها لكل نموذج، ويحسبون نسبة الإجابات الصحيحة. النموذج صاحب النسبة الأعلى كان أفضل في ذلك الاختبار. والتشديد على «ذلك الاختبار» مقصود.

أنواع البنشمارك#

النوعماذا يقيسمثال شائع
اصطناعي (Synthetic)جزء محدد بحمل عمل مصطنعدرجة المعالج للنواة الواحدة وللأنوية المتعددة
واقعي (Real-world)عمل يومي حقيقيتصدير فيديو، ضغط ملفات، بناء مشروع
الألعاب والرسومياتمعدل الإطارات في مشهد ثابتتشغيل مقطع ثابت من لعبة
التخزينسرعة القراءة والكتابةاختبار سرعة SSD
الويب والخوادمالاستجابة تحت الضغطعدد الطلبات في الثانية، زمن الاستجابة
نماذج الذكاء الاصطناعيالمعرفة والاستدلال والبرمجةمجموعات أسئلة قياسية وتصنيفات تفضيل بشري

بنشمارك العتاد#

أدوات معروفة مثل Geekbench وCinebench و3DMark تشغّل حمل عمل ثابتًا على المعالج أو بطاقة الرسوميات وتعطي درجة. ودرجة كل أداة لا تُقارن إلا بدرجات الأداة نفسها والإصدار نفسه؛ فلا يصح وضع رقم Geekbench بجانب رقم Cinebench.

وللبنشمارك استخدام مهم آخر: كشف عنق الزجاجة (Bottleneck)، أي القطعة التي تعطّل بقية النظام. إذا كانت لديك بطاقة رسوميات قوية لكن معدل الإطارات منخفض في الألعاب والمعالج يعمل بكامل طاقته، فالمعالج هو عنق الزجاجة. واختبار كل جزء على حدة يكشف ذلك.

بنشمارك الويب والخوادم#

المواقع أيضًا تُختبر: تُرسل طلبات متزامنة كثيرة إلى صفحة ويُقاس زمن الاستجابة وعدد الأخطاء. هذا يبيّن كيف تتصرف الاستضافة أو إعدادات الخادم تحت الضغط. لكن لا تشغّل هذا الاختبار أبدًا على موقع حي يملكه غيرك؛ فهو من وجهة نظر الخادم لا يختلف عن هجوم.

بنشمارك نماذج الذكاء الاصطناعي#

للـنماذج اللغوية الكبيرة عدة فئات شائعة من الاختبارات:

  • المعرفة العامة والتخصصية: أسئلة اختيار من متعدد في مجالات كثيرة، مثل MMLU ونسخه الأصعب.
  • الاستدلال والرياضيات: مسائل متعددة الخطوات لها إجابة نهائية يمكن التحقق منها.
  • البرمجة: يكتب النموذج دالة أو تعديلًا وتتحقق اختبارات آلية من صحته، كما في HumanEval، أو SWE-bench الذي يعتمد على مشكلات حقيقية من مستودعات الشيفرة.
  • التفضيل البشري: يقارن المستخدمون إجابتي نموذجين مجهولين ويختارون الأفضل، وتُجمع الأصوات في لوحة ترتيب (مثل LMArena).
  • المهام الوكيلية: على النموذج إنجاز مهمة متعددة الخطوات باستخدام أدوات أو متصفح.

لمعرفة أساس هذه النماذج اقرأ ما هو النموذج اللغوي الكبير (LLM).

كيف تقرأ نتائج البنشمارك#

الرقم وحده لا يعني الكثير. كلما رأيت درجة، اسأل:

  1. ما الذي قيس بالضبط؟ درجة الأنوية المتعددة أقل أهمية لمن يعتمد عمله غالبًا على خيط معالجة واحد.
  2. هل كانت الشروط متطابقة؟ الحرارة وإعدادات الطاقة وإصدار التعريفات، وفي نماذج الذكاء الاصطناعي حتى صيغة الطلب وعدد المحاولات، كلها تغيّر النتيجة.
  3. من أجرى الاختبار؟ الأرقام التي تنشرها الشركة المصنّعة تعرض عادة أفضل سيناريو. والنتائج المستقلة أكثر موثوقية.
  4. هل الفروق ذات معنى؟ فرق اثنين أو ثلاثة في المئة يقع غالبًا ضمن هامش خطأ القياس ولا يُلاحظ في الاستخدام الفعلي.
  5. هل يخص عملي؟ الاختبار الذي لا يقيس عملك لا ينبغي أن يحدد قرارك.

أخطاء شائعة#

الوثوق برقم واحد#

لا يوجد اختبار يقيس كل شيء. المعالج الأول في اختبار قد يتأخر في آخر. والأمر نفسه في الذكاء الاصطناعي: نموذج يتألق في الرياضيات قد يكون ضعيفًا في الكتابة العربية السلسة أو في اتباع تعليمات بسيطة.

تلوث البيانات (Contamination)#

إذا نُشرت أسئلة اختبار عام على الإنترنت، فقد تدخل في بيانات تدريب النموذج. عندها «يتذكر» النموذج الإجابات بدل أن يحل المسائل، فتبالغ درجته في تقدير قدرته الحقيقية. لهذا يواصل مصممو الاختبارات إنشاء مجموعات أسئلة جديدة ومخفية.

التحسين من أجل الاختبار#

حين يصبح رقم ما مهمًا، يحسّن المصنّعون منتجاتهم من أجل هذا الرقم. حدث ذلك في العتاد (أجهزة تتصرف بشكل مختلف حين تكتشف تشغيل اختبار أداء) وفي الذكاء الاصطناعي. النتيجة: الدرجة ترتفع والتجربة الحقيقية تبقى كما هي.

تشبّع الاختبار#

حين تحصل معظم النماذج على درجات قريبة من الكاملة في اختبار ما، لا يعود يميّز بينها. لهذا تتغير أسماء الاختبارات البارزة باستمرار، ولا ينبغي أن تتحمس كثيرًا لدرجة عالية في اختبار قديم.

ابنِ اختبارك الشخصي#

عند اختيار نموذج ذكاء اصطناعي، أنفع اختبار هو الذي تبنيه بنفسك:

  1. اجمع من 10 إلى 20 عينة حقيقية من عملك: رسالة عميل، دالة يجب كتابتها، نص يحتاج إلى تلخيص.
  2. اكتب لكل عينة مواصفات الإجابة الجيدة.
  3. أعطِ المدخلات نفسها بالطلب نفسه لعدة نماذج.
  4. قيّم الإجابات دون أن ترى أسماء النماذج.
  5. أعد الاختبار كلما ظهر نموذج جديد.

تصلح هذه الطريقة للمساعدات العامة أيضًا؛ انظر مثالًا في مقارنة ChatGPT وClaude وGemini. وإذا كنت تستكشف النماذج المفتوحة، فمقال عائلات النماذج مفتوحة المصدر: أيها لأي مهمة يتبع المنطق نفسه، ولقياس السرعة على جهازك اقرأ تشغيل الذكاء الاصطناعي على حاسوبك الشخصي.

قاعدة بسيطة: الاختبارات العامة تختصر القائمة، واختبارك الشخصي يحسم الاختيار.

الخلاصة#

  • البنشمارك اختبار ثابت وقابل للتكرار لمقارنة الأداء بإنصاف.
  • في العتاد يقيس أداء المعالج والرسوميات والتخزين ويساعد على كشف عنق الزجاجة.
  • في الذكاء الاصطناعي يقيس المعرفة والاستدلال والبرمجة والتفضيل البشري.
  • الدرجة لا معنى لها إلا في ذلك الاختبار وتلك الشروط؛ وتلوث البيانات والتحسين من أجل الاختبار قد يجعلانها مضللة.
  • للقرار الحقيقي، ابنِ اختبارًا صغيرًا من عينات عملك.