اتفاق الوسم الهرمي يتوقف على المستوى الذي نقارنه. قد يختلف موسمان بين «قلم» و«فرشاة»، لكن اختياريهما يعودان إلى فئة عامة واحدة في دليلنا هي «أداة رسم». الاتفاق على هذه الفئة العامة لا يحسم أي الفئتين التفصيليتين اختارا، ولا يثبت صحة إحداهما.
الخلاصة السريعة
حدد مستوى الفئة قبل عد الاتفاق؛ قارن الفئات الأصلية أو حولها بخريطة معلنة إلى المستوى العام، ثم سم النتيجة بحسب المستوى الذي حسبته.
- نختار خريطة تعليمية: قلم وفرشاة يعودان إلى «أداة رسم»، وورقة إلى «مادة للرسم»؛ العلاقات محددة في دليل المثال، لا في تشابه الكلمات وحده.
- في أربع حالات يتطابق الوسم التفصيلي في حالتين، أي 50 ٪؛ بعد التحويل إلى الفئتين العامتين يتطابق في ثلاث، أي 75 ٪.
- الزيادة تعود إلى تغيير مستوى المقارنة في ح 2 قلم/فرشاة؛ لا تعني أن الخلاف التفصيلي زال أو أن الموسمين حسنا أداءهما.
- احتفظ بالفئات الأصلية وخريطة التحويل؛ لا تخمن فئة عامة لوسم غاب ربطه المعلن، ولا تجعل تطابق «أداة رسم» كافيا لمهمة تحتاج تمييز القلم من الفرشاة.
أي علاقات فئات يعتمد عليها مثالنا؟
تناقش دراسة Artstein وPoesio مخططات وسم ترتبط فئاتها هرميا وطرقا تراعي الاتفاق الجزئي. [1]
ننشئ هنا دليلا تعليميا أبسط: «قلم» و«فرشاة» فئتان تفصيليتان تحت «أداة رسم»، و«ورقة» تحت «مادة للرسم». هذه خريطة اخترناها للمهمة، وليست محاولة لفرض قاموس لكل الأدوات والمواد أو وصف كل علاقات الهرم.
لا نستنتج أن اسمي فئتين يعودان إلى الأب نفسه لأنهما يتعلقان بالرسم لغويا. نعلن خريطة الربط وإصدارها، ثم نستخدمها في الحساب على الحالات ذات الحكميْن نفسيهما.
كيف نحسب الاتفاق في مستويين؟
نختار أربع حالات افتراضية في الجدول. يتطابق الموسمان تفصيليا في ح 1 وح 3 ؛ وفي ح 2 اختار أحدهما قلما والآخر فرشاة؛ وفي ح 4 اختار الأول فرشاة والثاني ورقة.
العد التفصيلي حالتان من أربع، أي 50 ٪. عند تطبيق الخريطة، تتحول اختيارات ح 2 كلها إلى «أداة رسم»، فتضاف مطابقة عامة. تبقى ح 4 مختلفة بين أداة ومادة، ويصبح الاتفاق العام ثلاث حالات من أربع، أي 75 ٪.
استعملنا الأزواج الأربعة نفسها دون جمع أحكام جديدة. لم نصحح ح 2 إلى قلم أو إلى فرشاة؛ أجبنا عن سؤال أقل تفصيلا من السؤال الأول.
| الحالة | الاختياران التفصيليان | تطابق تفصيلي | الفئتان العامتان | تطابق عام |
|---|---|---|---|---|
| ح 1 | قلم / قلم | نعم | أداة رسم / أداة رسم | نعم |
| ح 2 | قلم / فرشاة | لا | أداة رسم / أداة رسم | نعم |
| ح 3 | فرشاة / فرشاة | نعم | أداة رسم / أداة رسم | نعم |
| ح 4 | فرشاة / ورقة | لا | أداة رسم / مادة للرسم | لا |
هل ارتفاع التطابق يعني اختفاء الخلاف؟
القيم الأصلية في ح 2 ما زالت قلم/فرشاة. اتفاق المستوى العام يخبرنا أن كليهما داخل «أداة رسم» وفق الخريطة، لكنه لا يعطي اختيارا تفصيليا مشتركا. لا نعيد تسمية 75 ٪ بأنها اتفاق على الفئات التفصيلية.
وقد يكون المستوى العام هو المطلوب فعلا لمهمة تفرز الأدوات عن المواد؛ عندئذ نعلن هذا الغرض. أما إذا كانت المهمة تبني مرجعا يميز الأقلام والفرش، فإخفاء الفرعين تحت أب واحد يفقد التفصيل الذي تحتاجه.
لا نستنتج من الزيادة تحسن مهارة الموسمين أو صحة الفئات. كلا القياسين وصف لعلاقة أحكام مسجلة تحت مستوى معين، ولا يوجد في المثال مرجع مستقل يحسم صحة اختيار أي شخص.
كيف نحفظ نتيجة المقارنة قابلة للمراجعة؟
نقترح حفظ المعرفين الأصليين للفئتين في كل حالة، ومستوى المقارنة وخريطة التحويل وإصدارها وعدد الحالات. بذلك يستطيع القارئ إعادة حساب 50 ٪ و 75 ٪ ومعرفة أي خلاف استوعب في المستوى العام.
إذا لم توجد لفئة خريطة معلنة، فلا نضعها تحت أقرب اسم عام بالانطباع ثم نحسبها تطابقا. نسجل نقص الربط ونراجع سياسة المقارنة قبل تعميم النتيجة.
هذا ليس حساب مسافة موزونة بين عقد شجرة، ولا تشغيل أداة تجميع هرمي. المثال يقارن تطابق فئة واحدة في مستويين بعد تحويل معلن، مع إبقاء الأحكام الأصلية؛ لم ننفذ جلسة وسم أو قياس أداء نموذج.
المصادر ومتابعة القراءة
- Artstein and Poesio: Inter-Coder Agreement for Computational Linguistics (2008) (يفتح في نافذة جديدة)aclanthology.org
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.