تقنية

تجربة دليل وسم البيانات: كيف تكشف دفعة صغيرة قاعدة ناقصة؟

أربع خطوات مقترحة من اختيار حالات لدليل الوسم إلى تسجيل سؤال عن رأسين ثم إعلان د 2 ومراجعة السجلات المتأثرة
رسم أصلي لخطة تجربة تعليمات على رموز مفترضة؛ لا قياس جودة أو تجربة فعلية.

تجربة دليل وسم البيانات على دفعة صغيرة قد تكشف سؤالا لم تجب عنه التعليمات. فائدتها هنا فحص قابلية تطبيق القاعدة قبل توسيع العمل، وليست قياس أداء نموذج. نقترح خطوات على رموز أسهم مرسومة، ثم نبين كيف تصل نسخة الدليل الجديدة إلى الحالات التي قد تتأثر بها.

الخلاصة السريعة

اختر حالات تفحص حدود القاعدة، وسجل ما لا يحسمه الدليل، ثم انشر نسخة واضحة وراجع السجلات المتأثرة؛ نجاح الدفعة المختارة لا يثبت اكتمال التعليمات لكل الحالات.

  • الدفعة المقترحة تضم سهما برأس واحد وآخر برأسين؛ اختيرت لفحص معنى الفئة، ولا تمثل تلقائيا كل الصور أو توزيعها.
  • إذا قال الدليل «وسم السهم» فقط، فقد يترك السهم ذا الرأسين بلا قاعدة؛ نسجل السؤال ونكتب د 2: رأس واحد للفئة الأولى ورأسان لفئة منفصلة.
  • أعلن الإصدار والشروط في دليل ظاهر. تتيح CVAT ربط التعليمات بالمشروع أو المهمة وعرضها للموسم؛ لا يعاد فتحها تلقائيا لكل مهمة عمل لاحقة داخل المشروع أو المهمة نفسها. [1]
  • تغيير الدليل لا يراجع السجلات القديمة وحده؛ حدد ما قد يتأثر وسجل إعادة المراجعة عند تنفيذها. المثال خطة تعليمية، وليس تجربة منجزة أو دليلا على تحسن نموذج.

ما الذي نريد من الدفعة الصغيرة أن تختبره؟

نقترح مهمة تصنيف صور رموز مرسومة واضحة وكاملة. تبدأ التعليمات د 1 بعبارة «وسم السهم»، دون تحديد عدد رؤوسه. نختار صورة لسهم برأس واحد وأخرى لسهم برأسين، لأنهما تفحصان تفصيلا لم تحسمه العبارة.

هذه دفعة قصدية صغيرة لفحص الدليل. لا نستنتج منها نسبة انتشار الأسهم ذات الرأسين في البيانات، ولا نسبة خطأ الموسمين، ولا جودة نموذج لم يدرب. ولغرض آخر، مثل تقدير معدل الخطأ في مجموعة محددة، نحتاج تصميما وقياسا يناسبان ذلك الغرض.

قد تكشف تجربة أوسع حالات إضافية، مثل رموز مركبة أو غير واضحة. وجود مثالين مفيدين لا يجعل القائمة شاملة؛ نربط ما تعلمناه بالحالات التي عرضت فعلا.

كيف نحول السؤال المكتشف إلى تعديل محدد؟

في الخطة المفترضة، يتوقف المراجع عند السهم ذي الرأسين: هل يدخل ضمن الفئة نفسها؟ لا نسجل توقفه خطأ في الوسم، لأن د 1 لم يحدد جواب هذه الحالة. نكتب السؤال مع الصورة والتعريف المستخدم.

ثم يقترح صاحب المهمة د 2 لغرض المثال: الفئة الأولى للأسهم الكاملة ذات رأس واحد، والفئة الثانية للأسهم الكاملة ذات رأسين. هذه سياسة أصلية مختارة، وليست التصنيف الصحيح الوحيد لكل تطبيق.

يبين الجدول معنى التعديل على حالتين. لا نزعم أن عاملا طبق د 1 ثم د 2 فعليا، ولا نعطي د 1 حكما افتراضيا لم يكن مكتوبا.

الصورة المفترضةما يوضحه د 1ما يحدده د 2
سهم كامل برأس واحديسمي السهم دون تمييز عدد الرؤوسالفئة الأولى
سهم كامل برأسينلا يحدد التعامل مع الرأسينالفئة الثانية

كيف نجعل النسخة الجديدة متاحة أثناء العمل؟

تتيح CVAT إنشاء تعليمات مرتبطة بالمشروع أو المهمة وعرضها في واجهة الوسم. وتوضح أن الدليل لا يعاد فتحه تلقائيا عند الانتقال إلى مهمة عمل لاحقة داخل المشروع أو المهمة نفسها، مع إمكانية فتحه يدويا. [1]

لذلك نقترح وضع رقم د 2 وتعريفي الفئتين والصورتين في المحتوى الظاهر، ثم التحقق من وصول التغيير إلى من سيطبق التعليمات. لا نساوي تعديل نص في مكان ما بقراءة الجميع للنسخة الجديدة.

هذه الخطوة جزء من خطة التنفيذ عند العمل الفعلي؛ لم نفتح مشروع CVAT أو نجرب إعادة عرض تعليماته. كما لا نفترض أن حفظ ملف باسم د 2 يغير إصدار الدليل المرتبط بالسجلات تلقائيا.

ما الذي يحتاج المراجعة بعد تغيير القاعدة؟

نحتفظ بسجلات د 1 بدلا من إعادة نسبتها إلى د 2. ثم نحدد الحالات التي قد تتأثر بالتفصيل الجديد: الصور ذات الرأسين، أو السجلات التي تركت معلقة لأن عدد الرؤوس لم يكن محددا، إذا كانت هذه السجلات موجودة بالفعل.

عند تنفيذ إعادة المراجعة، نسجل معرف الصورة وقرارها السابق وإصدار الدليل والقرار الجديد وسببه. وقد يبقى حكم صورة ذات رأس واحد كما هو؛ الفرق أنها راجعت الآن وفق شرط معلن، لا أن كل تغيير للنص يستلزم تغيير كل تسمية.

أما خطة إعادة المراجعة أو قائمة السجلات المقترحة فلا تثبت أن العمل اكتمل. نفرق بين «يحتاج مراجعة» و«راجع وفق د 2»، ونبقي أي قياس لاحق لأثر التعديل منفصلا عن مجرد وجود نسخة جديدة للتعليمات.

المصادر ومتابعة القراءة

  1. CVAT: Specification for annotators (يفتح في نافذة جديدة)docs.cvat.ai

أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.