الخلاف الموزون في الوسم: هل كل اختلاف بين الدرجات متساو؟

الخلاصة السريعة

حدد ترتيب الفئات ووزن كل زوج قبل المقارنة؛ عد الاختلافات وحده لا يصف بعدها على المقياس، والوزن المختار جزء من معنى النتيجة.

• نعرف ثلاث درجات تعليمية مرتبة: وضوح قليل ثم متوسط ثم عال؛ اختيار أوزان للمسافات لا يجعلها وحدات قياس فعلية أو فئات صحيحة بمرجع.
• في سياسة خطية أصلية، وزن اختلاف درجتين متجاورتين 0.5 ووزن الطرفين 1 ؛ مجموعتان بلا أي تطابق تام قد تعطيان متوسطي خلاف 0.5 و 1.
• إذا اخترنا مربع الوزن، تصبح المتجاورتان 0.25 والطرفان 1 ؛ لا نغير الأوزان ثم نقارن الأرقام كأن التعريف ثابت.
• هذا متوسط الخلاف المشاهد فقط؛ كابا الموزونة تحتاج الخلاف المتوقع أيضا. ^[1] لا نعلن قبول الوسم أو صحته من حساب الوزن وحده.

متى يكون لترتيب الفئات دور في المقارنة؟

نفترض مهمة تعليمية لتقدير وضوح علامة رسومية بثلاث فئات قليلة ومتوسطة وعالية. نحدد معنى كل درجة في دليل المهمة قبل استخدامها، ونعلن أن هذا ترتيب اخترناه للغرض، وليس قياسا ميدانيا نفذناه.

إذا كانت الفئات أسماء ألوان، فلا نفترض ترتيبا يجعل أزرق بين أخضر وأحمر لمجرد ترتيب أسماء الملف. تحتاج الأوزان معنى يناسب السؤال، لا أرقاما تضاف لتسهيل الحساب.

كما لا نستنتج من الترتيب أن الفرق الفعلي بين قليل ومتوسط يساوي الفرق بين متوسط وعال. في المثال سنختار هذين الفرقين متساويين لأغراض السياسة الحسابية فقط، ونصرح بهذا الاختيار.

كيف تغير الأوزان وصف مجموعتين مختلفتين؟

نختار وزنا صفريا للفئتين المتساويتين، ونصفا للفئتين المتجاورتين، وواحدا لقليل وعال. ثم نأخذ مجموعتين افتراضيتين: في قريبة خلاف قليل/متوسط وخلاف متوسط/عال؛ وفي بعيدة خلاف قليل/عال وخلاف عال/قليل.

لا يوجد تطابق تام في أي من الزوجين في أي مجموعة، فتكون نسبة التطابق الكامل صفرا في كليهما. لكن متوسط الخلاف المختار في قريبة نصف، وفي بعيدة واحد، لأن السياسة تعطي كل زوج وزن بعده المعلن.

لم نحكم أي موسم أخطأ أو أثبتنا أن الخلاف البعيد يسبب ضررا معينا. عرفنا وزن القرار الحسابي، ثم وصفنا كيف تختلف المقارنة تحت هذا التعريف.

ماذا إذا اخترنا تربيع الوزن؟

في سياسة أخرى نربع الوزن السابق لكل زوج، مع بقاء معنى الفئات وترتيبها. يصبح وزن الجوار 0.25 ، ووزن الطرفين يبقى 1. فتكون قيمة الخلاف المشاهد لقريبة 0.25 ، ولبعيدة 1.

انخفاض الرقم الأول من 0.5 إلى 0.25 ليس تحسنا في أحكام الموسمين؛ الأزواج نفسها لم تتغير. الذي تغير هو طريقة احتساب مقدار اختلافها. لذلك نسجل جدول الأوزان ونوعه مع النتيجة.

لا نختار طريقة التربيع لأن رقمها يبدو أفضل في التقرير. نحدد أي اختلافات يريد الغرض تمييزها، ونحفظ الأوزان المعلنة قبل المقارنة بين بيانات أو تقارير متعددة.

لماذا لا نسمي هذا المتوسط كابا موزونة؟

يعرض Artstein وPoesio كابا الموزونة بوصفها واحدا ناقص نسبة الخلاف المشاهد إلى الخلاف المتوقع، مع أوزان أزواج الفئات. ^[1]

حسبنا هنا المكون المشاهد فقط؛ لم نحسب المتوقع من توزيعات الأحكام. لذلك لا نعرض 0.5 أو 0.25 كأنهما قيمتا كابا، ولا نعطي نسبة قبول للوسوم اعتمادا على هذا المتوسط.

نقترح الإبلاغ عن الفئات وترتيبها وجدول الأوزان والأزواج الداخلة في الحساب وما يقيسه الرقم. وتبقى صحة الأحكام بمرجع مناسب وأثرها على نموذج سؤالين آخرين. الأمثلة من إنشاء الكاتب، ولم ينفذ تقييم وضوح أو اختبار مكتبة.