صور متعددة للمساعد الذكي: إلى أي صورة يعود الوصف؟

الخلاصة السريعة

سم كل صورة بمعرف ثابت وأشر إلى ما تريد فحصه فيها، ثم راجع نسبة كل عبارة إلى صورتها؛ إجابة مجمعة قد تحمل معلومة صحيحة وضعت تحت الصورة الخطأ.

• يوثق Hugging Face قائمة محتوى متعددة الأنواع وتجهيز المدخلات؛ تحقق من دعم النموذج والواجهة للصور المطلوبة، فالتمثيل وحده لا يضمن صحة الجواب. ^[1]
• في مثالنا للصورتين أ وب، يتبادل الملخص رمز الدائرة والمثلث؛ صحة وجود الرمزين إجمالا لا تثبت صحة نسبتهما إلى كل صورة.
• إذا تغير ترتيب الرفع فراجع معرفات الصور وإشارات السؤال؛ اسم «الأولى» القديم لا يكفي بعد تبديل المواضع.
• احفظ غير الظاهر مجهولا، ولا تستنتج أن ملفين متشابهين للشيء المادي نفسه أو أن جمع الوصف يثبت عدد الأشياء المختلفة.

أين ترتبط الصورة بالنص؟

يفرق التوثيق محتوى الرسالة متعدد الوسائط بوصفه قائمة عناصر ذات أنواع، ويذكر دور المعالج في تجهيزها للنموذج. ^[1] هذا وصف لمسار مدخلات موثق، لا وعد بأن كل أداة لها الواجهة نفسها أو أن إضافة صور أكثر تحسن الجواب.

نفترض ثلاث صور لملفات حفظ أعمال ورقية، مرقمة أ وب وج. نعطي في السؤال كل صورة معرفها، ونطلب وصف الرمز الظاهر على غلافها. الصور تصورات اخترعناها للمقال؛ لم نرفع ملفات فعلية أو نختبر أداة في قراءة الرموز.

متى تكون المعلومة صحيحة في المكان الخطأ؟

في الصورة أ تظهر دائرة على الغلاف، وفي ب مثلث. إذا كتب الملخص «أ: مثلث، ب: دائرة»، فهو يذكر شكلين موجودين في التصور لكنه يقلب نسبتهما. لا يكفي تأكيد أن الصور تحتوي دائرة ومثلثا؛ نراجع العبارة المحددة أمام الصورة التي يشير إليها معرفها.

نقترح للمحرر عرض النتائج كسطر لكل معرف، مع الخاصية التي طلبها والدليل المرئي عليها. لو طلب لونا أيضا ولم نحدده في مثالنا، فلا يضيفه لتبدو البطاقة كاملة. وحتى تطابق الرمز لا يثبت محتويات الملف أو مالكه؛ سؤالنا ضيق عن الغلاف الذي وصفناه.

ماذا يحدث عند تبديل ترتيب الرفع؟

لنفترض أن المرفقات تغير ترتيبها في مسودة جديدة، وب أصبحت قبل أ. إذا ظل الأمر يقول «صف الأولى» فقد تغير مرجعه، حتى إن بقاء اسمي الملفين جعل الكاتب يظن أن السؤال لم يتغير. نراجع الربط الفعلي بين المعرف والمرفق في الواجهة المتاحة قبل قبول جواب النسخة الجديدة.

يمكن أن يكتب المحرر «الصورة أ التي يظهر فيها الرمز الدائري» عندما يكون هذا الوصف مطابقا للأصل، مع الحفاظ على المعرف. لا يغني الاسم الذي وضعناه عن التأكد من الصورة المرفقة؛ ربما أعيد استعمال اسم ملف لصورة أخرى، ولا توجد قاعدة عامة تجعل أسماء الملفات دليلا كافيا على تطابقها.

ما الذي لا يسمح به جمع الأوصاف؟

في ج، نفترض أن موضع الرمز لا يظهر بسبب تغطية طرف الغلاف. نقول إنه غير ظاهر في هذه الصورة، لا إن الملف بلا رمز. كما لا نستنتج أن أ وب يمثلان ملفين ماديين مختلفين لمجرد وجود صورتين؛ قد تكونان لشيء واحد في وقتين، ولا يقدم تمريننا معلومات تحسم ذلك.

نراجع كل ادعاء بحسب الصورة المرتبطة به، ونميز عدم الظهور من النفي والعدد المرئي من هوية الأشياء عبر الملفات. لم نختبر تعدد الصور أو دقة النموذج أو زمن معالجتها. هذا مسار مقترح لحفظ علاقة الدليل بالنتيجة، لا إثبات أن تنسيق السؤال يمنع كل تبديل أو يكشف ما لم يظهر.