دقة التصنيف العامة: ماذا تخفي نسبة الإجابات الصحيحة؟

الخلاصة السريعة

النسبة تجمع الصحيح في الفئات؛ قد تتساوى بين نتيجتين تختلفان في نوع الخطأ، وقد تتغير عند تغير تركيب الفئات حتى مع ثبات معدلات النجاح داخلها.

• نحسب الدقة هنا كنسبة صحيحة غير موزونة، لمهمة ذات فئة واحدة لكل بطاقة؛ اذكر عدد الحالات إلى جانب النسبة. ^[1]
• في عشرين بطاقة منها اثنتان تحتاجان ظرفًا، التنبؤ بأن لا بطاقة تحتاجه يحقق 18 ÷ 20 = 90%، ويفوته الاثنان اللذان يحتاجانه.
• تنبؤ آخر للحالات نفسها يكتشف البطاقتين لكنه يضيف خطأين في الباقي، فيبقى الصحيح 18 والدقة 90%؛ نوعا الخطأ مختلفان رغم النسبة المتساوية.
• مع ثبات نجاح الفئة المحتاجة عند النصف والأخرى عند 90%، يعطي تركيب 50 و 50 دقة 70%، وتركيب 10 و 90 دقة 86%؛ لم نثبت تحسن نموذج أو عمومية نتيجة.

اربط النسبة بمهمة وعد معروفين

تعرض واجهة accuracy_score إما حصة التنبؤات الصحيحة أو عددها وفق اختيار التطبيع. ^[1] نحسب الحصة في مهمة بطاقة ذات فئة واحدة، دون أوزان مختلفة للحالات.

لا تدخل في هذا المثال مهمة يمكن أن تحمل البطاقة فيها عدة ملصقات، أو حساب يعطي بعض الحالات وزنًا أكبر. سمينا الوحدة والمهمة كي لا يحمل رقم واحد تعريفات مختلفة. ونسأل عن الأخطاء الموجودة خلف الصحيح، بدل جعل النسبة وحدها وصفًا كافيًا لكل نتيجة.

نسبة كبيرة مع تفويت الفئة الصغيرة

نختار عشرين بطاقة تعليمية، اثنتان تحتاجان ظرفًا و 18 لا تحتاجه. نفترض تنبؤًا يسمي كل بطاقة «لا تحتاج». الصحيح 18، والخاطئ 2، فتكون الدقة 18 ÷ 20 = 0.9، أي 90%.

لكن البطاقتين اللتين تحتاجان الظرف فاتتا التنبؤ معًا. النسبة محسوبة بصورة صحيحة، لكنها لا تخبر القارئ بهذه المعلومة وحدها. التنبؤ لم يكتشف أي حالة من الفئة الصغيرة في المثال.

لا يعني هذا الحساب أن كل مهمة غير متوازنة تمنع استعمال الدقة أو أن 90% رقم زائف. إنه يحدد معلومة لم يظهرها الرقم المجمل. نحتاج إلى معرفة ما الذي تريد المهمة اكتشافه وما الذي تحملناه من أخطاء.

الدقة نفسها قد تجمع أخطاء أخرى

في تنبؤ ثانٍ للعشرين نفسها، نسمي البطاقتين المحتاجتين بصورة صحيحة. لكننا نسمي اثنتين من الـ 18 الأخرى «تحتاج»، ونصيب في الست عشرة الباقية. الصحيح 2 + 16 = 18، والدقة 90% أيضًا.

لم يعد التنبؤ يفوّت حالة تحتاج الظرف، لكنه يضيف حالتين لا تحتاجانه إلى قائمة الاحتياج. النتيجتان متساويتان في عدد الصحيح، ومختلفتان في معنى العمل الناتج عن الخطأ. ليست إحداهما أفضل لكل غرض بمجرد هذا الجدول.

هذه مجموعتا تنبؤ افتراضيتان على الحالات نفسها، لا نسختان دربناهما أو مخرجات تجربة. المقارنة تفصل المساواة الحسابية عن تماثل أنواع الخطأ.

افصل تغير تركيب الفئات عن تغير الأداء داخلها

نبني حسابين آخرين من مئة بطاقة لكل منهما، ونثبت حصة الصحيح داخل الفئة المحتاجة عند النصف، وداخل غير المحتاجة عند 90%.

إذا كانت كل فئة تضم 50 بطاقة، فالصحيح 25 + 45 = 70، والدقة 70%. وإذا ضمت المحتاجة 10 والأخرى 90، فالصحيح 5 + 81 = 86، والدقة 86%. كل الأعداد حالات كاملة في جدولنا، وليست توقعًا كسريًا لبطاقة.

تغيرت النسبة العامة لأن تركيب الفئات تغير، مع ثبات الحصتين المعلنتين داخل الفئتين. لم نثبت أن نموذجًا تعلم أكثر. عند عرض مقارنة، اكتب أحجام الفئات ومعدلاتها وتعريف الحالات، ثم قرر ما الذي تسمح المقارنة باستنتاجه عن المهمة.