نوافذ الفيديو في التقييم: هل اختلاف الإطار الأخير يمنع تداخل المدخلات؟

الخلاصة السريعة

لا؛ اختلاف معرف الإطار الأخير يفصل أسماء الأمثلة، لكنه لا يثبت انفصال الإطارات التي تحتويها النوافذ.

• تتيح sliding_window_view في NumPy إنشاء نوافذ منزلقة من المصفوفة. نمثل هنا نافذة فيديو بقائمة إطارات إدخال متتابعة، دون تشغيل الدالة أو النموذج. ^[1]
• في مثال مؤلف، نافذة تنتهي عند 4 تضم 1 و 2 و 3 و 4 ، وأخرى تنتهي عند 5 تضم 2 و 3 و 4 و 5. معرفا المثالين مختلفان، لكن تقاطع المدخلات هو 2 و 3 و 4.
• إذا اشترط التقييم إطارات إدخال لم تستخدم في التدريب، خالف هذا التقاطع الشرط. تقسيم المقاطع قبل بناء النوافذ، أو إعلان حدود أجزاء منفصلة وفق المهمة، يساعد في تطبيق القيد؛ ليس كل سياق ماض مشترك ممنوعا في كل مهمة.
• نافذة 5 و 6 و 7 و 8 لا تتقاطع مع 1 و 2 و 3 و 4 في المثال، لكن ذلك لا يثبت استقلال المحتوى أو جودة الأداء. نوثق المدخلات وحدود الفصل، ولا نحول عدد الإطارات المشتركة إلى نسبة تحيز في الدقة.

ما الذي يدخل في المثال الواحد؟

تنشئ sliding_window_view في NumPy نوافذ منزلقة من مصفوفة الإدخال، فتستخرج أجزاء منها عند مواضع متعاقبة. ^[1]

نؤلف مقطعا إطاراته مرقمة من 1 إلى 8 ، ونختار طول نافذة يساوي 4 إطارات. هذه أرقام ترتيب داخل مقطع افتراضي، وليست أزمنة بالثواني أو قياسات من فيديو سجلناه.

في المهمة التي نفترضها، يستخدم النموذج جميع إطارات النافذة لتصنيف محتواها. نسمي المثال برقم الإطار الأخير للتعريف فقط. لا نفترض أن الإطار الأخير هدف مستقبلي، أو أن بقية الإطارات مجرد أسماء خارج مدخلات النموذج.

كيف يتداخل مثالان لهما معرفان مختلفان؟

لا يتكرر المعرف 4 في صف الاختبار، ولا المعرف 5 في صف التدريب. مع ذلك يظهر كل من الإطارات 2 و 3 و 4 في قائمتي المدخلات. إذن فحص تفرد معرفات الأمثلة يجيب عن سؤال مختلف عن فحص تداخل إطاراتها.

نحسب التقاطع من القائمتين المعلنتين، لا من نتيجة مكتبة أو عملية بحث عن صور متشابهة. توجد ثلاثة إطارات مشتركة، ويختلف الإطار الأول في كل نافذة عن الآخر.

ولا نستنتج من وجود ثلاثة إطارات مشتركة مقدار ارتفاع دقة أي نموذج. لم نحدد الوسوم أو النموذج أو نقيس أداء؛ لدينا دليل على تداخل العضوية في هذا المثال فقط.

متى يخالف التداخل تصميم التقييم؟

نفترض أن سؤالنا هو تقييم التصنيف على إطارات إدخال لم تظهر أثناء التدريب. وفق هذا الشرط الصريح، وضع النافذتين في جانبين مختلفين يخالف التصميم، لأن ثلاثة إطارات من اختبارنا كانت مدخلات تدريب.

إذا كان السؤال عن مقاطع جديدة، نقترح تخصيص المقاطع كاملة للجانبين قبل استخراج نوافذها. أما إذا سمحت المهمة بأجزاء من المقطع نفسه، فنحدد حدود الأجزاء والإطارات المسموحة لكل نافذة، ثم نراجع التقاطع وفق طولها الفعلي.

هذا اقتراح لتنفيذ القيد الذي اخترناه، لا قاعدة تحظر كل سياق سابق مشترك في جميع مسائل التنبؤ. قد تكون مهمة أخرى مصممة للاستفادة من تاريخ معروف؛ يلزم حينها وصف ما يسمح به السؤال، بدل نقل حكم مثال تصنيف المقاطع إليها.

كيف نوثق نتيجة فحص النوافذ؟

نضيف لكل مثال قائمة معرفات مدخلاته أو حدودها الدقيقة ومعرف المقطع الأصلي، إلى جانب معرف المثال المختصر. نقترح حفظ قاعدة بناء النوافذ وقاعدة التقسيم حتى يمكن مراجعة سبب عضوية كل إطار.

لو اخترنا للاختبار النافذة التي تضم 5 و 6 و 7 و 8 ، لم تشترك في أي رقم إطار مع نافذة التدريب 1 و 2 و 3 و 4. يثبت الحساب انفصال هذه المعرفات في المثال، لكنه لا يثبت أن المشاهد أو الأشخاص أو مصادر التصوير مختلفة.

لذلك نصف النتيجة باسم الفحص الذي أجريناه: عدم تداخل إطارات الإدخال المحددة. ثم نراجع بقية شروط المهمة مستقلة. لا يكفي الاسم الأخير للنافذة، ولا يكفي انفصال أرقام الإطارات وحده لإثبات صلاحية تقييم كامل.