البحث عن لحظة بوصف داخل الفيديو يطلب فترة توافق حدثا أو علاقة محددة. أما العثور على كلمة في نص الكلام فيجيب عن موضع ذكرها. نؤلف قائمة فترات لشرح لعبة، ونبحث عن وضع قطعة زرقاء تحت صينية، حتى لا تتحول كل كلمة «قطعة» إلى اللحظة المطلوبة.
الخلاصة السريعة
طابق الفترة مع معنى الطلب ودليله المرئي؛ وقوع كلمة في النص قد يساعد على الوصول إلى موضع، لكنه لا يثبت أن العلاقة المطلوبة ظهرت فيه.
- تربط QVHighlights استعلاما لغويا بلحظات ذات صلة، ويستقبل Moment-DETR تمثيلات الفيديو والاستعلام. [1] هذه مهمة محددة، لا وعد بحدود دقيقة لكل ملف.
- في قائمة تمريننا تذكر كلمة قطعة في فترتين؛ وصف وضع الزرقاء تحت الصينية يخص الفترة الثانية فقط بحسب المشاهدات المعلنة.
- إذا صارت القطعة حمراء أو وضعت فوق الصينية، لا تطابق الطلب نفسه؛ وإذا حجب موضعها، يبقى شرط تحت غير محسوم بدلا من استنتاجه من الكلام.
- احفظ نسخة الفيديو والفترة المرشحة والقرينة التي راجعتها؛ جواب يذكر ثانية لا يثبت دقة حدها أو أن بحثا فعليا نفذ.
ما اتجاه المهمة البحثية المذكورة؟
تصف ورقة QVHighlights، المنشورة سنة 2021، استعلامات لغوية ولحظات فيديو مرتبطة بها. وتعرض Moment-DETR الذي يستقبل تمثيلات الفيديو والاستعلام ويقترح إحداثيات اللحظات ودرجات بروزها. [1]
الاتجاه هنا من طلب إلى مواضع ذات صلة، وليس من كل جزء إلى جملة تصفه. قد ينتج المساران نصا، لكن السؤال الذي يحدده القارئ مختلف: «أين يحدث هذا؟» يحتاج تحديد ما الذي نبحث عنه أولا.
نستخدم وصف المهمة لفهم الطلب، ولا نتبنى نتائج مقارنة النماذج أو نفترض أن نظاما قرأ كل الإطارات. ليست أسماء النموذج أو حدود رقمية مقترحة شهادة على صحة حدث في تسجيل معين.
ماذا تضيف قائمة المشاهدات إلى كلمة؟
نؤلف فترتين في تسجيل لعبة. في أ، من الثانية 2 إلى 4، يقول الشارح «اختر قطعة» بينما يضع قطعة حمراء فوق صينية. في ب، من 7 إلى 9، يقول «هذه القطعة» ويضع الزرقاء تحت الصينية. هذه أوصاف معلنة في تمرين، وليست معاينات نفذناها.
طلبنا هو «أين يضع القطعة الزرقاء تحت الصينية؟». العثور على كلمة قطعة يعيد أ وب في النص المؤلف. لكن العلاقة المرئية المطلوبة تخص ب وفق البطاقة؛ مجرد الكلمة لا يفصل اللون أو جهة الوضع.
يمكن استعمال النص كقرينة للوصول إلى فترات ثم مراجعتها. لا نستنتج من ذلك أن كل بحث لغوي يعتمد الصوت فقط أو أن النص عديم الفائدة؛ نحدد ما الذي أثبته التطابق النصي وما بقي يحتاج قرينة.
أي شرط يمنع تطابقا قريبا لكنه مختلف؟
نغير بطاقة ب في حالة منفصلة إلى «الزرقاء فوق الصينية». بقي اللون، وتغيرت العلاقة. لا نعدها جوابا عن تحت لأن بعض الكلمات تطابق الطلب. وفي حالة أخرى نعلن حجب جهة القطعة؛ لا نستكمل تحت من رغبة السائل.
إذا قال الشارح «تحت» مع غياب رؤية العلاقة المطلوبة، نفرق بين كلامه وبين مشاهدة تؤكدها. قد نكتب أن الكلمة وردت وأن المشهد لا يحسم الموضع؛ لا نحول إحداهما إلى الأخرى تلقائيا.
وجود فترة ذات صلة بموضوع اللعبة أيضا لا يكفي. نراجع الفعل والعنصر والعلاقة المطلوبة، مع إبقاء أي جزء مجهول واضحا في جواب المساعد.
كيف تقدم نتيجة محدودة قابلة للمراجعة؟
نقترح بطاقة تضم نص الطلب ونسخة الملف والفترة المرشحة وسبب ترشيحها وما راجع فعلا. في تمريننا نكتب «ب توافق الوصف وفق قائمة المشاهدات المعلنة»، لا «قاس النموذج الحد عند الثانية 7 بدقة».
إذا احتاج المستخدم قصا دقيقا، تراجع البداية والنهاية على المادة الفعلية قبل إعداد الملف. عنوان فترة أو رقم ناتج لا يضمن ألا يقطع جزءا من الحركة.
لم نحمل فيديو أو نشغل Moment-DETR أو نقس حدودا. القيمة هنا فصل استرجاع موضع يوافق طلبا مرئيا عن العثور على لفظ أو كتابة وصف عام للفيديو.
المصادر ومتابعة القراءة
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.