القيمة الشاذة في البيانات ليست وصفا يلازم الرقم في كل جدول. يعرف NIST القيمة الشاذة بأنها ملاحظة تبدو مختلفة بوضوح عن بقية ملاحظات العينة. [1] لذلك نسأل أولا: مختلف عن أي مجموعة؟ يهم هذا السؤال عند تجهيز بيانات تعلم الآلة؛ فقد نخلط مجموعتين ثم نعامل اختلافهما كأنه خطأ في إحداهما.
الخلاصة السريعة
حدد المجموعة والوحدة والمهمة قبل وصف قيمة بأنها شاذة؛ الاختلاف النسبي يدعو إلى الفحص ولا يثبت أن القياس خطأ.
- ترتبط القيمة الشاذة ببقية ملاحظات العينة، وليست حكما مستقلا عن البيانات المقارنة. [1]
- في المثال 30 سم بعيد نسبيا عن 10 و12 و14، لكنه وسط 26 و28 و30 و32؛ المرجع تغير والرقم بقي.
- قد تشير قيمة بعيدة إلى خطأ أو إلى اختلاف يستحق الدراسة؛ لا نحذفها تلقائيا إذا لم يتضح أنها خاطئة. [1]
- احفظ تعريف المجموعة ووحدة القياس وسبب التنبيه وحالة المراجعة، وافصل التنبيه عن قرار التعامل مع القيمة.
ما المرجع الذي نقارن به القيمة؟
نقترح جدولين افتراضيين لأطوال قطع تستخدم في مشروع يدوي: قطع للتزيين وألواح صغيرة. كلا الحقلين بالسنتيمتر، لكن السؤال عن حجم كل نوع مختلف. لا نجمع الأرقام ثم نفترض أن كل القطع يجب أن تشبه نوعا واحدا.
يعتمد التعريف الإحصائي في المصدر على اختلاف الملاحظة عن ملاحظات العينة الأخرى. [1]
لهذا نكتب اسم المجموعة التي نقارن داخلها، والفترة التي جمعت منها، ومعنى الحقل. وقد تكون المجموعة كل القطع للمهمة، أو نوعا محددا منها. نحتاج تبريرا لهذا الاختيار؛ تقسيم البيانات بطريقة تخفي ما لا يعجبنا ليس تفسيرا صالحا تلقائيا.
كيف يتغير وصف الرقم نفسه في المثال؟
في مجموعة التزيين نفترض أطوال 10 و12 و14 و30 سم. نلاحظ فجوة بين 14 و30، فتستحق القطعة الأخيرة فحصا مقارنة بهذه المجموعة الصغيرة. وفي مجموعة الألواح نفترض 26 و28 و30 و32 سم؛ تكون 30 قريبة من جيرانها. هذه مقارنة تعليمية، وليست نتيجة اختبار إحصائي أو نموذج كشف شذوذ.
- الرقم 30 ووحدته لم يتغيرا؛ تغيرت القيم التي نقارن بها.
- لا نستنتج من أربع ملاحظات حد شذوذ عاما أو توزيع كل القطع.
- يمكن أن تكون القطعة الطويلة مقصودة في تصميم التزيين؛ المسافة وحدها لا تحسم صحة القياس.
| المجموعة المفترضة | الأطوال بالسنتيمتر | موضع30 في المقارنة |
|---|---|---|
| قطع التزيين | 10،12،14،30 | بعيدة نسبيا عن بقية هذه القيم |
| ألواح صغيرة | 26،28،30،32 | بين28 و32 في المجموعة |
هل الاختلاف النسبي يثبت خطأ؟
يوضح NIST أن القيمة البعيدة قد تشير إلى بيانات خاطئة، لكن قد يتعذر إثبات ذلك؛ حينها لا نحذف الملاحظة ببساطة. [1]
في مثالنا نراجع نوع القطعة ومعرفها وسجل الطول. ربما أدرج لوح في مجموعة التزيين، أو سجل طول صحيح لقطعة استثنائية، أو وقع خطأ نسخ. لم نحصل على أي من هذه الأدلة من الفجوة العددية وحدها.
ونميز هذا السؤال من فحص نطاق حدده صاحب المشروع مسبقا. قد يكون الرقم ضمن نطاق مسموح ومع ذلك مختلفا عن أغلب المجموعة، أو مخالفا لقاعدة أخرى دون أن يبعد كثيرا عن الأرقام. لكل فحص سؤال يجب تسميته.
ما الذي نكتبه قبل اتخاذ إجراء؟
نقترح سجلا يضم القيمة الأصلية ووحدتها والمجموعة المرجعية وسبب التنبيه والمعلومات التي راجعناها. نكتب «تحتاج مراجعة» إذا لم تتوفر أدلة كافية، بدلا من تحويل الوصف الإحصائي إلى إعلان أن الشيء غير صحيح.
بعد ذلك نراجع الإجراء المناسب للمهمة مع حفظ الأصل. إذا أردنا معرفة أثر معالجة هذه الحالات على نموذج، نحتاج تقييما مستقلا. المثال لا يقيس الأداء ولا يوصي بخوارزمية بعينها؛ يساعد على تعريف المقارنة قبل اختيار الطريقة.
المصادر ومتابعة القراءة
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.