تقنية

اتفاق الموسمين مع أحكام ناقصة: ما مقام النسبة التي نعلنها؟

ثماني حالات تضم خمسة أزواج أحكام وثلاث مطابقات، فتكون نسبة اتفاق الأزواج ستين بالمئة وتغطيتها اثنين وستين فاصل خمسة بالمئة
رسم أصلي لحسابين على سجل تكليف افتراضي؛ لا تقرير عمل منصة.

اتفاق الموسمين مع أحكام ناقصة يحتاج وصفا واضحا للحالات التي دخلت المقارنة. إذا كلفنا الاثنين بثماني حالات لكن خمسا فقط لها حكمان، فمقام اتفاق الأزواج المتاحة هو خمس، بينما مقام تغطية العمل هو ثمان. لا نجعل فراغين حكمين متطابقين، ولا نختلق تسمية لتكملة الجدول.

الخلاصة السريعة

احسب اتفاق الفئات على الحالات ذات الحكمين المتاحين، وأعلن تغطيتها من مجموع التكليف مستقلة؛ غياب الحكم لا يثبت تطابقا أو اختلافا في الفئة.

  • في مثالنا ثماني حالات مكلفة وخمسة أزواج أحكام مكتملة؛ نقارن الفئة في الأزواج المكتملة، ونحفظ سبب نقص البقية إن عرف.
  • تتطابق ثلاثة أزواج من خمسة، فيكون الاتفاق المتاح 60 ٪؛ وتغطية الأزواج خمسة من ثمانية، أي 62.5 ٪.
  • ثلاث مطابقات مقسومة على كل التكليف تعطي 37.5 ٪، لكنها ليست نسبة الاتفاق على الأزواج المكتملة؛ كما أن فراغ الحكمين لا يساوي اتفاقا على فئة.
  • لا نعمم 60 ٪ على الحالات الناقصة أو نتجاهلها في تقرير العمل؛ انعدام الأزواج يجعل حسابنا غير قابل للقسمة، وليس اتفاقا مقداره صفر.

ما الحالات التي يمكن مقارنة فئتها؟

يعرف العرض العلمي الاتفاق المرصود بين موسمين من الأحكام التي يسندانها إلى الحالات نفسها، بعد عد ما يتطابق من الفئات. [1]

نختار لمثالنا مهمة بفئتين أ وب، وفئة واحدة للحالة. كلف موسمان بالحالات ق 1 إلى ق 8 ؛ لكن بعض الأحكام لم تسجل بعد. نقترح هنا تقرير الاتفاق للأزواج المتاحة فقط مع تقرير تغطيتها مستقلا، ولا ندعي أن هذه سياسة جميع المقاييس والأدوات.

الرمز «لم يسجل» في الجدول يصف غياب نتيجة، وليس اسم فئة ثالثة. لا ندخل هذا الرمز بين أ وب ثم نعد اختيار الغياب نفسه اتفاقا على محتوى الحالة.

كيف نحسب الاتفاق والتغطية في الجدول؟

هذا جدول افتراضي من إنشاء الكاتب. ق 1 وق 2 وق 3 وق 4 وق 8 لها حكمان، أي خمسة أزواج. تتطابق الفئة في ق 1 وق 2 وق 8 فقط، ويختلف الحكمان في ق 3 وق 4.

اتفاق الأزواج المكتملة ثلاثة على خمسة، أي 60 ٪. أما تغطية الأزواج من الحالات المكلفة فهي خمسة على ثمانية، أي 62.5 ٪. النسبتان صحيحتان لسؤالين مختلفين تحت سياسة المثال.

بقيت ثلاث حالات خارج حساب الاتفاق المتاح. لا نعرف نتيجة مقارنتها لو اكتملت؛ اكتمال الوسم لاحقا قد يغير النسبة، ولا نفترض مسبقا أنه سيرفعها أو يخفضها.

الحالةالموسم الأولالموسم الثانيالمقارنة المتاحة
ق 1أأتطابق
ق 2ببتطابق
ق 3أباختلاف
ق 4بأاختلاف
ق 5ألم يسجلزوج ناقص
ق 6لم يسجلبزوج ناقص
ق 7لم يسجللم يسجلزوج ناقص
ق 8ببتطابق

أي أخطاء يخفيها استعمال المقام الخطأ؟

إذا قسمنا ثلاث مطابقات على الحالات الثماني كلها، حصلنا على 37.5 ٪. يصلح ذلك لوصف حصة التكليف التي لها تطابق مكتمل، لكنه لا يساوي نسبة اتفاق الفئات بين الأزواج الخمسة المتاحة. نكتب اسم الكمية بدلا من عرض الرقمين تحت عنوان واحد.

وإذا عوملت ق 7 كتطابق لأن الخانتين فارغتان، أضيفت حالة لم يعط فيها أحد فئة. هذا تطابق في حالة الإنجاز الغائب، وليس اتفاقا على الفئة أ أو ب. وكذلك لا ننسب خلافا في الفئة إلى ق 5 لأن الحكم الثاني لم يصل.

قد تتصل الحالات الناقصة بصعوبة معينة، وقد تكون منتظرة لأسباب أخرى. لم نحدد السبب في مثالنا؛ لذلك لا نفترض أنها عينة عشوائية تشبه الحالات المكتملة، ولا نخترع سببا لغيابها.

كيف نبلغ النتيجة دون إخفاء العمل الناقص؟

نقترح وصفا مثل «ثلاث مطابقات من خمسة أزواج متاحة، من أصل ثماني حالات مكلفة؛ ثلاث حالات ينقصها حكم واحد أو كلاهما». يبين هذا الوصف ما حسب وما بقي خارج المقارنة، مع تعريف الفئات وإصدار الدليل.

إذا لم يتوفر أي زوج، يصبح مقام هذا الحساب صفرا. نسجل تعذر حساب الاتفاق المتاح بدلا من إعطائه 0 ٪؛ فصفر مطابقات من أزواج موجودة يختلف عن عدم وجود أزواج للمقارنة أصلا.

لا نقدم 60 ٪ هنا بوصفها جودة نموذج أو اتفاق البيانات كلها. عند وصول أحكام جديدة نحفظ نسخة الحساب وتاريخها والحالات الداخلة فيها، ونحدث التغطية والاتفاق كلّا وفقا لسؤاله. لم ننفذ تكليفا فعليا أو سياسة منصة.

المصادر ومتابعة القراءة

  1. Artstein and Poesio: Inter-Coder Agreement for Computational Linguistics (2008) (يفتح في نافذة جديدة)aclanthology.org

أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.