ما النموذج متعدد الوسائط؟#
«الوسيط» (Modality) هو نوع البيانات: نص، صورة، صوت، فيديو. النموذج اللغوي البسيط لا يفهم إلا النص، أما النموذج متعدد الوسائط فيقبل عدة أنواع من المدخلات معًا، وأحيانًا ينتج عدة أنواع من المخرجات. كمساعد يستطيع أن يقرأ ويرى ويسمع.
مثال#
ترسل صورة فاتورة وتسأل: «كم المجموع الكلي وأي بند هو الأغلى؟» يقرأ النموذج الصورة ويجيب. أو تلتقط لقطة شاشة لصفحة خطأ في برنامج وتسأل ما المشكلة.
ماذا يستطيع أن يفعل#
- شرح الصور والمخططات
- قراءة النص داخل الصورة
- الرد على الكلام والمحادثة الصوتية
- تحليل فيديو أو شرائح عرض تقديمي
- إنشاء صورة أو صوت من وصف نصي
القيود#
قد يخطئ النموذج في قراءة التفاصيل الدقيقة في الصورة، خاصة النصوص الصغيرة أو المكتوبة بخط اليد. وكما في النص، قد يهلوس في الصور أيضًا. احذر مع الصور الحساسة أو الشخصية؛ فقد يُرسَل ملفك إلى خادم مزوّد الخدمة للمعالجة.
نصائح عملية#
- أرسل صورة واضحة وعالية الجودة.
- حدّد بالضبط أي جزء ينظر إليه.
- تحقق بنفسك من الأرقام والنصوص المهمة.
لماذا هو مهم#
لأن كثيرًا من المشكلات الحقيقية بصرية أو صوتية، والنماذج متعددة الوسائط تتيح لك أن تُري الشيء نفسه بدل وصفه طويلًا.