توزيع أحكام الموسمين يحفظ كيف أجاب الأشخاص عن الحالة نفسها، بينما اختيار رأي الأغلبية يختصر ذلك إلى فئة واحدة. هذا الاختصار قد يناسب هدفا معلنا، لكنه لا يجعل الرأي المختلف خطأ مثبتا ولا يحول حصة الأصوات إلى احتمال أن الفئة صحيحة. يجب أن نعرف ما السؤال وما نوع الاختلاف قبل بناء مرجع التعلم.
الخلاصة السريعة
احفظ الأصوات الفردية وقاعدة تجميعها؛ رأي الأغلبية هدف مشتق من الأحكام، ولا يغني عن مراجعة سبب اختلافها.
- تناقش ورقة عن اختلاف الوسوم البشرية إمكان وجود اختلافات معقولة أو أحكام ذاتية، إلى جانب أخطاء الوسم. [1] لا يحدد عدد الأصوات السبب وحده.
- نفترض أن ثلاثة من أربعة موسمين اختاروا «واضح» وواحدا اختار «غير واضح»؛ حكم الأغلبية «واضح»، والتوزيع المرصود 75 ٪ مقابل 25 ٪.
- حصة 75 ٪ تصف هذه الأحكام فقط؛ ليست احتمال حقيقة موضوعية، ولا درجة ثقة أعطاها نموذج، ولا نتيجة تقول إن الحكم المخالف خطأ.
- احفظ نص السؤال والسياق والأحكام قبل التجميع وسياسة التعادل والمراجعة؛ لا تجمع أصواتا عن نسخ مختلفة، ولا تجعل اختلافا معقولا سببا آليا للحذف.
هل كل اختلاف مجرد خطأ؟
تناقش ورقة Barbara Plank عن اختلاف الوسوم البشرية أن الاختلاف قد يرتبط بأخطاء، لكنه قد يعكس أيضا الذاتية أو أكثر من تفسير معقول للحالة. وتدعو إلى عدم اختزال الأحكام دائما في تسمية واحدة. [1] هذا طرح بحثي يوجه النظر إلى طبيعة المهمة، وليس برهانا على أن كل رأي مختلف صحيح.
إذا أخطأ موسم في قراءة عدد مطبوع واضح تحت قاعدة محددة، فلدينا سؤال عن خطأ يمكن مراجعته بالمرجع المناسب. أما الحكم على وضوح عبارة لقارئ، فقد يعتمد على السياق الذي وصل إليه وعلى تفسير السؤال. لا نقرر نوع الاختلاف بمجرد التصويت.
ابدأ بتحديد ما تريد أن يمثل الهدف: إجابة تستند إلى مرجع، أم حكم جمهور محدد عن صفة ذاتية، أم قرار تجمعه وفق سياسة المشروع. تغيير هذا الاختيار يغير ما نعنيه بالحقيقة المرجعية في هذا الاستخدام، ولا يمحو الأحكام الأصلية.
ماذا تحفظ أربعة أحكام في مثالنا؟
نختار عبارة تعليمية من تأليفنا: «ضعه هناك بعد ذلك». نفترض سؤالا عن وضوحها ضمن السياق المحدد للمهمة، وأربعة أحكام مستقلة لموسمين افتراضيين: واضح، واضح، غير واضح، واضح. هذه أصوات افترضناها لشرح التجميع، ولم نجمع آراء أشخاص فعليين.
إذا كانت السياسة اختيار الفئة الأكثر أصواتا، فالناتج «واضح». وإذا حفظنا التوزيع، فنكتب ثلاثة من أربعة لواضح وواحدا من أربعة لغير واضح. توزيعنا يصف الحالة نفسها؛ ليس إسناد فئتين في الوقت نفسه من موسم واحد.
- لو حفظنا «واضح» فقط، فلن نميز هذا المثال من أربعة أحكام متفقة على واضح.
- لا تستنتج سببا للحكم المخالف من حجمه؛ قد نحتاج تعليلا أو سياقا أو مراجعة للدليل.
| ما نحفظه | نتيجة المثال | ما يبقى ظاهرا |
|---|---|---|
| الأحكام الفردية | واضح، واضح، غير واضح، واضح | كل جواب مع صاحبه الافتراضي |
| رأي الأغلبية | واضح | الفئة المختارة دون حجم الخلاف وحدها |
| توزيع الأحكام | واضح 75 ٪ ، غير واضح 25 ٪ | حصة الفئتين في الأربعة |
لماذا لا نسمي 75 ٪ احتمال الحقيقة؟
حسبنا 75 ٪ بقسمة عدد الأصوات المختارة على عدد الأحكام الأربعة. لم نعاير نموذجا، ولم نرصد احتمالا موضوعيا كامنا وراء العبارة. ومن ثم لا يصح أن نكتب «العبارة واضحة بيقين 75 ٪» أو «دقة الوسم 75 ٪» من هذا الحساب.
قد يكون التوزيع مفيدا لهدف يريد وصف تباين أحكام المشاركين في المهمة. لكنه لا يمثل تلقائيا كل القراء، ولا يثبت ثبات النسب لو استدعينا موسمين آخرين أو قدمنا سياقا مختلفا. اذكر من يمثلهم جمع الأحكام وشروطه.
كذلك لا نعد الواحد من الأربعة مخطئا لأن الثلاثة خالفوه. إذا كان هناك مرجع موضوعي مناسب، نراجعه؛ وإذا كانت المهمة تقبل تفسيرات متعددة، نفكر في كيفية حفظها. عدد الأصوات ليس بديلا لهذا القرار.
كيف نسجل التجميع دون محو الخلاف؟
في سجل مقترح نحفظ معرف الحالة ونسخة النص والسياق، ومعرف كل موسم وحكمه، ثم النتيجة المجمعة وقاعدة حسابها. نحدد أيضا ما يحدث عند التعادل أو عدم اكتمال عدد الأحكام. لا نضيف جوابا افتراضيا لمن لم يراجع.
إذا أجاب بعض الموسمين بعد الاطلاع على سياق أطول، فلا نجمع الأحكام كما لو كانت استجابات للسؤال نفسه دون بيان الفرق. يمكن مراجعة الحالات أو فصل شروطها، مع بقاء النسخ السابقة قابلة للتتبع.
لا يثبت حفظ التوزيع أن الخلاف معقول، كما لا يثبت اختيار الأغلبية أنه ضوضاء. عند إعداد البيانات، افصل قرار تمثيل الهدف عن البحث في سبب اختلاف الحكم. لم ندرب نموذجا على هذه البدائل أو نقس تحسن أداء.
المصادر ومتابعة القراءة
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.