مصنف يمتنع عن بعض الحالات: أي مقام يحسب خطأ المقبول؟

الخلاصة السريعة

احسب خطأ المقبول على عدد الحالات المقبولة، واحسب التغطية على العدد الكلي؛ العددان يجيبان عن سؤالين مختلفين.

• تعرف ورقة SelectiveNet التغطية بمتوسط القبول، والخطأ الانتقائي بخسارة الحالات المقبولة مقسومة على تغطيتها. ^[1] نستخدم هنا قبولًا ثنائيًا وخسارة صفر أو واحد.
• في ثماني حالات معلنة، نقبل أربعًا بينها خطأ واحد: التغطية 4 من 8 أي 0.5 ، والخطأ الانتقائي 1 من 4 أي 0.25 ؛ 1 من 8 يصف حدث الخطأ والقبول معًا.
• اختيار ثان يقبل الحالتين الخاطئتين 2 و 5 فقط: التغطية 0.25 لكن خطأ المقبول واحد؛ تقليل القبول لا يحسن الخطأ حتمًا.
• مع صفر مقبول لا نعين خطأً انتقائيًا من القسمة على صفر؛ لا يثبت الامتناع صحة المرفوض أو نتيجة نموذج جربناه.

أي حدث نقيس في كل نسبة؟

تصف ورقة SelectiveNet التغطية بتوقع دالة القبول g، والخطأ الانتقائي بتوقع حاصل الخسارة والقبول مقسومًا على التغطية. ^[1]

نختار للشرح نسخة سجلية: القبول واحد والامتناع صفر، والخسارة واحد للخطأ وصفر للصواب. مجموع القبول يعد الحالات المقبولة؛ جمع حاصل الخسارة والقبول يعد أخطاء المقبول وحده. هذا اختيار معلن لوحدة الحساب، لا حصر لكل استعمال بدالة قبول مستمرة.

ونقصد بالتغطية هنا حصة الحالات التي يقبلها المصنف. لا نستعملها بمعنى احتواء مجموعة تنبؤ على الفئة الصحيحة أو اكتمال بيانات مجتمع. الاسم الواحد يحتاج تعريفًا بجانب العدد حتى لا ينتقل تفسيره إلى مسألة أخرى.

أين يختلف المقام في سجل من ثماني حالات؟

نرقم الحالات من واحد إلى ثمانية ونعلن أن التنبؤ أخطأ في اثنين وخمسة وثمانية، وصح في الخمس الباقية. قاعدة القبول الأولى تقبل واحدًا واثنين وثلاثة وأربعة. إذن المقبول أربعة، وفيه خطأ الحالة الثانية فقط.

التغطية أربعة÷ثمانية=0.5. الخطأ الانتقائي واحد÷أربعة=0.25. أما واحد÷ثمانية=0.125 فيصف حصة جميع الحالات التي اجتمع فيها قبول وخطأ، وليس خطأ المقبول بعد شرط القبول. الأرقام الثلاثة صحيحة لأسئلة مختلفة.

معدل الخطأ في السجل الكامل ثلاثة÷ثمانية=0.375. لا نحذف أخطاء المرفوض من هذا المعدل الأصلي ونبقي المقام ثمانية ثم نسميه معدل النموذج الكامل. بيان أي الحالات تدخل البسط والمقام جزء من تعريف المقياس، لا تفصيل شكلي.

هل تقليل القبول يخفض خطأه دائمًا؟

نضع قاعدة ثانية مستقلة للورقة، تقبل الحالتين الثانية والخامسة فقط. أخطأ التنبؤ في كلتيهما بحسب سجلنا المعلن، فتكون التغطية اثنين÷ثمانية=0.25 ، والخطأ الانتقائي اثنين÷اثنين=1.

أصبحت التغطية أصغر، لكن خطأ ما قبلناه أكبر من ربع القاعدة الأولى. المثال المضاد يكفي لرفض القول إن عدد الممتنع عنه وحده يضمن التحسن. هو لا يثبت أن خوارزمية معينة تختار هذه القاعدة أو أن الامتناع يفشل دائمًا.

كذلك لا توجد هنا عتبة ثقة تغيرت أو تدريب أعيد أو فحص لحالات خارج التوزيع. أعطينا مجموعتي قبول معلنتين للمقارنة الحسابية. اختيار مجموعة جيدة يحتاج المعلومات والطريقة ونتائج التقييم التي لم نقدمها.

ماذا تكتب إذا لم تقبل أي حالة؟

إذا كانت مجموعة القبول فارغة فعدد المقبول صفر، والتغطية صفر. نسبة أخطاء المقبول إلى عدد المقبول تصبح قسمة على صفر؛ لا نعوضها بصفر أخطاء ونقول إن النظام كامل الدقة. خانة الخطأ الانتقائي غير معرفة بهذا الحساب.

والامتناع لا يحول التنبؤ المرفوض إلى صواب، ولا يثبت أنه أحيل إلى شخص أو جرى إصلاحه. نحتاج عقدًا آخر لما يحدث بعد الامتناع، وقد توجد كلفة أو حالات بلا جواب. سجلنا لم يصف ذلك المسار.

في مراجعة عملية اعرض التغطية والخطأ الانتقائي مع أعداد البسط والمقام وسياسة قبول واضحة، ثم اختبرها على بيانات فعلية مناسبة. ما أنجزناه هنا سجل مؤلف وحسابات قابلة للفحص، لا تدريب SelectiveNet أو إثبات نتيجة تشغيل.