معامل كابا كوهين: لماذا لا تكفي نسبة الاتفاق نفسها للمقارنة؟

الخلاصة السريعة

احسب الاتفاق المرصود والاتفاق المتوقع من نسب الفئات لدى كل موسم، ثم اقسم الفرق بينهما على واحد ناقص المتوقع؛ تطابق النسبة المرصودة وحده لا يضمن تطابق كابا.

• تستخدم صيغة كوهين كابا الاتفاق المرصود والمتوقع، ويقدر المتوقع من توزيع فئات كل موسم على حدة. ^[1] حديثنا عن موسمين وفئة واحدة لكل حالة.
• في مجموعتنا المتوازنة اتفاق 80 ٪ ومتوقع 50 ٪، فتكون كابا 0.6 ؛ في المجموعة الأخرى الاتفاق 80 ٪ والمتوقع 82 ٪، فتكون كابا نحو سالب 0.11.
• القيمة السالبة في الحساب الثاني تعني أن المرصود أقل من المتوقع وفق هذا النموذج؛ لا تعني أن 11 ٪ من الوسوم سالبة أو خاطئة.
• إذا كان المتوقع واحدا يصبح مقام الصيغة صفرا، فلا نحسب قيمة عددية منها؛ ولا يثبت أي معامل صحة الوسوم أو يحدد وحده عتبة قبول عامة.

ما الاتفاق الذي تعدله الصيغة؟

تعرض وثائق cohen_kappa_score الصيغة: كابا يساوي الاتفاق المرصود ناقص المتوقع، مقسوما على واحد ناقص المتوقع؛ ويقدر المتوقع من توزيع فئات كل موسم على حدة. ^[1]

في حسابنا نستخدم موسمين، وفئتين أ وب، وفئة واحدة لكل حالة. المرصود هو حصة الحالات التي تتطابق فيها الفئة. أما المتوقع فنحسبه بجمع حاصل ضرب حصة أ لدى الأول بحصتها لدى الثاني، وحاصل الضرب المقابل للفئة ب.

هذا نموذج رياضي للتوقع يعتمد على التوزيعات المرصودة، وليس تقريرا بأن الموسمين اختارا عشوائيا فعلا أو أن نسبة محددة من قراراتهما جاءت بالتخمين. نميز الافتراض المستخدم في الحساب عن كيفية حدوث العمل.

كيف تختلف مجموعتان لهما اتفاق 80 ٪؟

ننشئ مجموعتين مستقلتين من عشر حالات لكل منهما. في المتوازنة توجد أربع حالات أ/أ، وأربع ب/ب، وحالة أ/ب وحالة ب/أ. يختار كل موسم أ خمس مرات وب خمس مرات؛ المرصود ثماني مطابقات من عشر.

المتوقع في هذه المجموعة هو 0.5 في 0.5 زائد 0.5 في 0.5 ، فيساوي 0.5. وتكون كابا: الفرق 0.8 ناقص 0.5 ، مقسوما على 1 ناقص 0.5 ؛ أي 0.6.

في المجموعة الأخرى توجد ثماني أ/أ، ولا توجد ب/ب، وحالة أ/ب وحالة ب/أ. يختار كل موسم أ تسع مرات وب مرة. يبقى المرصود 0.8 ، لكن المتوقع 0.9 في 0.9 زائد 0.1 في 0.1 ، أي 0.82 ؛ وكابا تساوي سالب 0.02 مقسوما على 0.18 ، أي نحو سالب 0.11.

ماذا تعني الإشارة السالبة في المثال الثاني؟

الثماني مطابقات معلومة في كلا الجدولين. لكن المتوقع في الحساب الثاني 0.82 أكبر من المرصود 0.8 ، فيصبح الفرق سالبا. لذلك لا نقرأ كابا كما لو كانت نسبة الحالات المتطابقة نفسها أو عدد الوسوم الخاطئة.

كما لا نستنتج أن كل حكم في المجموعة المتوازنة أفضل من كل حكم في الثانية؛ لا توجد هنا تسميات مرجعية مستقلة لفحص صحة أ أو ب. المعامل يجيب عن اتفاق موزع بطريقة معينة، بينما سؤال الصحة يحتاج دليله.

نقترح عرض عدد الحالات وجدول أزواج الفئات وتوزيع كل موسم والمرصود مع كابا. بذلك يستطيع القارئ فهم كيف نتج الفرق بدلا من ترتيب مجموعتين اعتمادا على رقم منزوع من شروطه.

ما الحدود التي نذكرها مع النتيجة؟

في حالة مستقلة أخرى، لو اختار الموسمان أ في كل الحالات، يصبح المرصود والمتوقع كلاهما واحدا. تعطي الصيغة صفرا مقسوما على صفر؛ لا تنتج هذه القسمة قيمة عددية نعلنها بوصفها كابا مؤكدة. هذا بيان رياضي، وليس نتيجة تشغيل أداة.

ولا نختار عتبة قبول عامة من حسابينا. معنى استخدام الاتفاق يرتبط بالمهمة وطريقة الوسم واختيار الحالات وما سيستخدم المرجع لأجله، مع بقاء فحص صحة الأحكام وتقييم النموذج منفصلين.

لم نستخدم مكتبة لحساب كابا أو ننفذ تجربة موسمين. الأعداد والجدولان من إنشاء الكاتب، ويمكن إعادة حسابهما من التكرارات المعروضة؛ وما يوضحانه هو أثر توزيع الفئات عند ثبات التطابق المرصود.