الدرجة المعيارية وكشف الشذوذ: ما حدود المقارنة بالمتوسط؟

الخلاصة السريعة

حدد المتوسط والانحراف المرجعيين وطريقة حسابهما، وتأكد أن الانحراف موجب؛ الدرجة وحدها لا تثبت خطأ أو احتمال ندرة.

• تقارن zscore القيمة بمتوسط البيانات وانحرافها، ويضبط ddof حساب الانحراف؛ الافتراضي في SciPy صفر. ^[1]
• في 2 و2 و2 و10، المتوسط 4؛ عند ddof=0 تكون درجة 10 نحو 1.73، وعند ddof=1 تكون 1.5.
• يحذر NIST من الاعتماد على الدرجة لكشف القيم المتطرفة، خصوصا مع العينات الصغيرة. ^[3]
• عند انحراف صفري لا نقسم عليه لحساب درجة منتهية؛ سجل المرجع والإعداد، ولا تستنتج احتمال القيمة أو صحة القياس من الرقم وحده.

أي متوسط وانحراف يدخلان الحساب؟

تحسب SciPy الدرجة بالنسبة لمتوسط المدخل وانحرافه المعياري، وتتيح ddof مع قيمة افتراضية 0. ^[1]

نوضح الصيغة بالكلمات: نطرح المتوسط من القيمة، ثم نقسم الفرق على الانحراف المعياري الموجب الذي اخترناه. نحدد المجموعة المرجعية قبل هذا الحساب؛ درجة مشتقة من أطوال نوع معين لا تقارن آليا بدرجة مشتقة من نوع آخر.

في حساب NumPy يكون مقام متوسط مربعات الفروق هو عدد العناصر ناقص ddof، ثم نأخذ الجذر. ^[2]

نحتاج معرفة الاتفاقية بدلا من افتراض أن كل أداة تستخدم المقام نفسه. كما نراجع الوحدة ومعنى العمود، ولا نخلط أطوالا بوحدات مختلفة ثم نعطي الدرجة وصفا دقيقا ظاهريا.

كيف تبدو قيمة 10 في المجموعة الصغيرة؟

نفترض أطوال 2 و2 و2 و10 سم. متوسطها 4، والفروق عنه سالب 2 وسالب 2 وسالب 2 و6؛ مجموع مربعات الفروق 48. عند قسمة 48 على 4 والجذر نحصل على انحراف جذر 12، أي نحو 3.46. فرق 10 عن المتوسط 6، فدرجتها نحو 1.73. هذا حساب لأرقام تعليمية مستقلة، لا تحليل لقياسات مشروع.

• في الحالة الثانية نقسم 48 على 3؛ الانحراف 4، ودرجة 10 تساوي 6 مقسومة على 4، أي 1.5.
• إذا اخترنا في المثال التنبيه عند درجة مطلقة أكبر من 3، لا تتنبه 10 في أي من هذين الحسابين.
• لا يثبت ذلك أن طول 10 صحيح أو ممثل لكل القطع؛ هو نتيجة القاعدة والمرجع المختارين.

لماذا لا نحول العتبة إلى حكم شامل؟

يشير NIST إلى أن استخدام الدرجات المعتادة لتحديد القيم المتطرفة قد يكون مضللا، ولا سيما مع العينات الصغيرة. ^[3]

في مجموعتنا شاركت 10 في حساب المتوسط والتشتت اللذين استخدمناهما للحكم عليها. لا نقارنها بمرجع مستقل لم يشاهدها. لذلك لا يكفي أن نكرر عبارة «ثلاثة انحرافات» من دون شرح مصدر الإحصاء وعدد الملاحظات والاتفاقية.

كما أن درجة1.73ليست نسبة 1.73٪ ولا احتمالا مباشرا لظهور القيمة. لم نفترض توزيعا احتماليا أو نحسب احتمالات في هذا المثال. إذا احتاج السؤال اختبارا إحصائيا، نراجع شروط ذلك الاختبار مستقلا عن مجرد حساب الدرجة.

ماذا نسجل إذا كان الانحراف صفرا؟

في مجموعة مستقلة تتساوى فيها كل الأطوال، يكون مجموع مربعات الفروق صفرا. لا توفر القسمة على انحراف صفري درجة معيارية منتهية بهذه الصيغة، ولا نعالجها بوعد أن كل حالة مستقبلية طبيعية. نحتاج سياسة واضحة لما لا يمكن حسابه، دون افتراض سلوك برنامج لم نشغله.

نقترح حفظ المجموعة المرجعية ومتوسطها وانحرافها وddof والوحدة وقاعدة التنبيه وحالات الحساب غير المتاح. لا يعني غياب تنبيه أن البيانات سليمة، ولا يعني وجوده أننا عرفنا سبب القيمة أو تحسن أداء نموذج.