درجة Brier تحسب متوسط مربع الفرق بين الاحتمال والنتيجة. في الصيغة الثنائية المعتادة نستخدم احتمال الفئة الإيجابية وحقيقتها صفرًا أو واحدًا، ويكون المجال من صفر إلى واحد. [1]
الخلاصة السريعة
حدد معنى الإيجابي والتحجيم وأوزان الحالات، ثم احسب مربعات الفروق ومتوسطها؛ اختلاف Brier قد يظهر بين قرارين لهما عدد الصحيح نفسه.
- نستخدم الصيغة الثنائية ذات المجال من صفر إلى واحد: متوسط مربع فرق احتمال الإيجابي عن حقيقته؛ ليست مجموعًا غير متوسط أو تحجيمًا آخر. [1]
- في أربع حالات متساوية الوزن، حقيقتها 1 و 0 و 0 و 0 واحتمالاتها 0.7 و 0.6 و 0.2 و 0.1، يكون مجموع المربعات 0.5 ومتوسطها 0.125.
- احتمال ثابت 0.25 للحالات نفسها يعطي Brier يساوي 0.1875؛ وعند قاعدة أكبر من أو يساوي 0.5، يتساوى عد الصحيح عند ثلاث من أربع رغم اختلاف القرارات.
- الأقل في هذه المقارنة لا يثبت وحده معايرة أفضل؛ المقياس يلتقط المعايرة والتمييز وعدم يقين البيانات معًا، فلا نعزل مكونًا دون فحصه. [2]
احتمال أي فئة وبأي صيغة؟
يوثق المرجع أن متجه الاحتمالات يمثل الفئة الإيجابية، وأن الصيغة الثنائية المعتادة متوسط (الحقيقة − الاحتمال)². [1] نعلن الفئة قبل الحساب حتى لا نجمع احتمال «يحتاج» مع حقيقة مشفرة للمعنى المضاد.
مهمتنا المفترضة توقع هل تحتاج علبة ملصقات إلى بطاقة تعريف إضافية. نرمز للاحتياج بواحد ولعدم الاحتياج بصفر. كل احتمال لاحق يخص الاحتياج نفسه، والحالات متساوية الوزن. نحن نقيّم أعدادًا تعليمية مكتوبة، ولا نزعم أن نموذجًا تعلم هذه الاحتمالات أو أنتجها.
احتفظ بمساهمة كل حالة
لدينا أربع علب، تحتاج الأولى فقط إلى البطاقة. اخترنا احتمالات 0.7 و 0.6 و 0.2 و 0.1. نطرح الحقيقة من كل احتمال، ثم نربع، حتى لا يلغي فرق سالب فرقًا موجبًا.
مساهمات العلب 0.09 و 0.36 و 0.04 و 0.01؛ مجموعها 0.5، والقسمة على أربعة تعطي 0.125. أكبر مساهمة هنا للعلبة الثانية: أعطينا احتياجًا غير واقع احتمالًا أعلى من النصف.
هذا لا يحدد سبب التنبؤ الخاطئ أو يقرر أن العلبة مشكلة في البيانات. يحفظ الجدول معنى الفئة وحقيقة الحالة ومقدار مساهمتها، بدل تقديم المتوسط وحده ثم نسيان ما دخله.
| العلبة | حقيقة الاحتياج | احتمال الاحتياج | مربع الفرق |
|---|---|---|---|
| الأولى | 1 | 0.7 | 0.09 |
| الثانية | 0 | 0.6 | 0.36 |
| الثالثة | 0 | 0.2 | 0.04 |
| الرابعة | 0 | 0.1 | 0.01 |
قارن احتمالًا ثابتًا على الحالات نفسها
نختار للمقارنة قيمة 0.25 ثابتة، لأنها نسبة المحتاجة في جدولنا: واحدة من أربع. هذا خط أساس حسبناه من حقيقة المثال للتفسير، وليس قاعدة جاهزة للنشر اكتشفنا نجاحها على حالات مستقبلية.
مربع الفرق للعلبة الأولى هو 0.5625، ولكل علبة أخرى 0.0625. المجموع 0.75 والمتوسط 0.1875. الاحتمالات المتفاوتة في المثال تحصل على خسارة أصغر من الاحتمال الثابت.
لكن عند قرار الاحتياج إذا بلغ الاحتمال 0.5 أو أكثر، تختار الاحتمالات الأولى علبتين، تصيب الأولى وتخطئ الثانية، وتبقي الثالثة والرابعة صحيحتين. الاحتمال الثابت لا يختار أي علبة، فيفوّت الأولى ويصيب الثلاث الأخرى. الصحيح ثلاث في الحالتين، مع اختلاف موضع الخطأ والخسارة.
لا تستبدل فحص المعايرة بالمتوسط
يحذر دليل المعايرة من تفسير انخفاض Brier وحده بأنه تحسن للمعايرة؛ فهو يتأثر كذلك بالقدرة التمييزية وعدم يقين البيانات. [2]
كما يوثق المرجع تحجيمًا بين صفر وواحد للثنائي، مقابل صيغة تجمع الفئات وقد تمتد إلى اثنين، مع خيار للتحجيم. [1] لا نقارن رقمين قبل التأكد من اتفاق التعريف والفئات والأوزان.
لم نستدع واجهة تقييم أو نحسب تفكيك الدرجة إلى مكوناتها. المثال يشرح خسارة احتمالات معينة على أربع حقائق، ولا يمنح احتمال العلبة التالية شهادة صدق. نحتاج إلى مجموعة مناسبة وفحص المعايرة عندما يكون تفسير مقدار الاحتمال جزءًا من القرار.
المصادر ومتابعة القراءة
- scikit-learn: brier_score_loss (يفتح في نافذة جديدة)scikit-learn.org
- scikit-learn: Probability calibration (يفتح في نافذة جديدة)scikit-learn.org
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.