ROC-AUC: جودة ترتيب الدرجات لا تختار عتبة القرار

الخلاصة السريعة

في مثال ثنائي بلا درجات متعادلة وبمقارنات متساوية الوزن، نحسب حصة الأزواج التي تتقدم فيها الإيجابية؛ ثم نختار العتبة بصورة منفصلة وفق الهدف.

• يعرض ROC معدلي الإيجابية الصحيحة والكاذبة عند عتبات مختلفة؛ وتلخص AUC جودة الترتيب، لا قرارًا عند عتبة واحدة. ^[1]
• إيجابيتا مثالنا لهما درجتا 0.8 و 0.4، والسلبيتان 0.6 و 0.2؛ ثلاث مقارنات من الأربع تضع الإيجابي أعلى، فتكون AUC = 0.75، دون تعادل.
• قاعدة أكبر من أو يساوي 0.5 تعطي إصابة وفائتة وخطأ إيجابيًا وسلبية صحيحة؛ وعند 0.3 نكتشف الإيجابيتين ويبقى الخطأ الإيجابي، مع الدرجات نفسها.
• الترتيب الصحيح لا يثبت أن الدرجات احتمالات معايرة، ولا يحدد العتبة الملائمة أو تكلفة الخطأ؛ لم ننفذ نموذجًا أو منحنى تجريبيًا.

افصل المنحنى عن نقطة تشغيل

يحسب ROC معدل الإيجابية الصحيحة ومعدل الإيجابية الكاذبة عبر العتبات، لا عند حد واحد فقط. وتصف AUC في المرجع احتمال تقدم درجة إيجابية على سلبية. ^[1]

نختار مثالًا صغيرًا لتفسير الترتيب، ونثبت أن الدرجة الأعلى تشير إلى الفئة الإيجابية. ليست القيم القادمة احتمالات تحققنا من معايرتها، ولا درجات كشفناها من سجل تدريب. افتراض اتجاه الدرجة جزء لازم من أي قراءة، حتى لا نقلب معنى الأعلى والأدنى.

عد المقارنات الأربع

لدينا حالتان إيجابيتان درجتاهما 0.8 و 0.4، وحالتان سلبيتان درجتاهما 0.6 و 0.2. لا توجد درجات متعادلة. نجعل كل زوج من إيجابي وسلبي مساوي الوزن في حسابنا.

الإيجابي 0.8 يتقدم على السلبيين، فيكسب مقارنتين. الإيجابي 0.4 لا يتقدم على 0.6، لكنه يتقدم على 0.2، فيكسب واحدة. الحصة ثلاثة أرباع، أي 0.75.

هذا لا يعني أن ثلاثة من أربع تنبؤات الفئة صحيحة عند أي عتبة تختارها. المقام أربع مقارنات زوجية، وليس عدد القرارات الصحيحة. لم نضف حالات جديدة حين قارنا كل إيجابي بكل سلبي، بل طرحنا أسئلة متعددة عن ترتيب الحالات نفسها.

غير العتبة مع إبقاء الدرجات

نعلن قاعدة قرار تعليمية: إيجابي إذا كانت الدرجة أكبر من العتبة أو مساوية لها. عند 0.5 نختار الدرجتين 0.8 و 0.6. نكون قد أصبنا في إيجابي واحد وأضفنا سلبيًا واحدًا، وفوّتنا الإيجابي 0.4 وأبقينا السلبي 0.2 صحيحًا.

عند عتبة 0.3 نختار 0.8 و 0.6 و 0.4. نكتشف الإيجابيتين، ويبقى السلبي 0.6 خطأ والسلبي 0.2 صحيحًا. تغيرت القرارات، لكن ترتيب الدرجات والمقارنات الأربع لم يتغيرا.

لا نستخلص أفضلية العتبة الثانية لكل غرض. قد يهتم الهدف بالفائتات أو بعدد الاختيارات أو بنوع الخطأ. معرفة AUC وحدها لا تنفذ هذا الاختيار بدل الفريق.

أي ادعاء يحتاج إلى فحص آخر؟

حتى لو تقدم الإيجابي على السلبي في أغلب الأزواج، لا تتحول قيمة 0.8 تلقائيًا إلى احتمال صحيح قدره 80%. الترتيب يجيب عن المقارنة، أما تفسير مقدار الدرجة بوصفه احتمالًا فيحتاج إلى معرفة المخرج وتقييمه.

ومثالنا بلا تعادل؛ لا نزعم أنه يشرح معالجة الدرجات المتعادلة أو كل إعداد متعدد الفئات. كذلك لا نقيس عدم اليقين من أربع حالات تعليمية أو ننقل نتيجتها إلى مجموعة فعلية.

احتفظ بمعنى الفئة واتجاه الدرجة وتعريف التقييم إلى جانب AUC. ثم افحص نقطة القرار التي ستستخدمها. لم نشغل برنامجًا لرسم ROC أو نختبر نظامًا؛ الحساب يبين لماذا لا يكفي تلخيص الترتيب لاختيار ما ستفعله بالحالة التالية.