تقنية

قص القيم المتطرفة: ماذا نفقد عند وضع حد أعلى؟

قيمتا أحد عشر وأربعين تمران بحد أعلى سبعة وتظهران سبعة في الحقل الناتج مع بقاء صفين
رسم أصلي لقص مفترض؛ لا يثبت خطأ القيم أو نجاح نموذج.

قص القيم المتطرفة أحد الخيارات عند إعداد مدخلات نموذج، لكنه يغير ما يستطيع المدخل التعبير عنه. إذا استبدلنا كل قيمة تتجاوز حدا بالحد نفسه، تختفي الفروق بين تلك القيم في الحقل الناتج. لذلك نحتاج فهم التحويل وتوثيق اختياره قبل وصفه بتنظيف البيانات.

الخلاصة السريعة

القص يستبدل القيم خارج الحدود بقيم الحدود؛ لا يحذف الصفوف، وقد يجعل قياسات مختلفة متساوية في الحقل المحول.

  • تضع clip القيم الخارجة عند طرف المجال؛ يمكن ترك أحد الطرفين بلا حد باستخدام None. [1]
  • في مثال بحد أعلى 7 ، تتحول 11 و 40 إلى 7 ؛ تبقى الصفوف، لكن الفرق بين القيمتين يختفي من هذا الحقل.
  • افحص ترتيب الحدين قبل التطبيق؛ عند حد أدنى أكبر من الأعلى تعيد NumPy جميع العناصر عند الحد الأعلى. [1]
  • قد تكون القيم المتطرفة مهمة. [2] احفظ الأصل وسبب الحد، ولا تعتبر القص دليلا على خطأ القياس أو تحسن النموذج.

ماذا يعني وضع حد واحد؟

تستبدل NumPy القيم الأصغر من الحد الأدنى به، والأكبر من الحد الأعلى به. ويعني None غياب القص عند الطرف المعني. [1]

نختار مثالا تعليميا مستقلا لأربع قيم في حقل طول بالسنتيمتر: 2 و 5 و 11 و 40. سنضع حدا أعلى 7 فقط، ولن نضع حدا أدنى. الرقم 7 اختيار يشرح الآلية؛ لم نستخرجه من دراسة لهذه الأطوال، ولا نقدمه كحد صالح لكل مشروع.

قبل استخدام الفكرة مع بيانات إعداد نموذج، نحدد العمود والوحدة والسبب الذي يسمح بتغيير تمثيله. لا يكتسب الحد معنى علميا لمجرد أن البرنامج يستطيع تطبيقه.

أي معلومات تختفي من الحقل الناتج؟

تصبح القائمة بعد قاعدة المثال 2 و 5 و 7 و 7. لم نحذف عنصرين أو نخفض عدد الصفوف؛ غيرنا قيمة الحقل في آخر صفين. نعرض الحساب يدويا، ولا ندعي تشغيل المكتبة أو اختبار نموذج على قياسات حقيقية.

من قيمة 7 الناتجة وحدها لا نستعيد هل كان الأصل 11 أم 40. نحتاج العمود الأصلي أو سجلا آخر محفوظا. وحتى قيمة أصلية تساوي 7 ستظهر بالتمثيل نفسه؛ لذلك نسجل أيضا هل تغيرت القيمة إن كان هذا التفصيل مطلوبا للمراجعة.

معرف المثالالأصل: سمبعد الحد الأعلى 7: سم
أ22
ب55
ج117
د407

لماذا نراجع ترتيب الحدين؟

لا تتحقق clip من كون الحد الأدنى أصغر من الأعلى. وإذا كان الأدنى أكبر من الأعلى تصبح النتائج جميعها عند الأعلى. [1]

لذلك لا نفترض أن كتابة حدين معكوسين ستوقف البرنامج تلقائيا. في سياسة إعدادنا المقترحة نرفض هذا الإعداد قبل التحويل، ونبين للمراجع أن الرفض قاعدة اخترناها للتحقق، وليس وصفا لما تفعله المكتبة افتراضيا.

نفصل هذا الخطأ في الإعداد عن حالة عنصر صحيح يقع خارج مجال اخترناه. معالجة ترتيب الحدين لا تثبت أن قيمة 40 خاطئة؛ إنها تمنع تحويلا لا يمثل المجال الذي قصدناه.

ماذا نحفظ قبل تقييم أثر القص؟

تنبه مادة Google إلى أن بعض القيم المتطرفة مهمة وأن اختيار القص يحتاج عناية. [2]

نقترح حفظ الأصل والحد والوحدة وسبب الاختيار، مع مقارنة مناسبة للغرض الذي يخدمه الحقل. إذا كان المطلوب التمييز بين 11 و 40 ، فقد أزال القص ذلك الفرق من المدخل الذي شرحناه. وقد تبقى معلومات أخرى في أعمدة مستقلة؛ لم نفترض شيئا عنها.

لا نستنتج نجاح النموذج من شكل القائمة بعد التحويل. نحتاج تقييما فعليا للمهمة قبل ادعاء أثره، بينما يكتفي هذا المقال بتوضيح فقدان معلومات محدد يمكن مراجعته في أربعة صفوف مفترضة.

المصادر ومتابعة القراءة

  1. NumPy: clip (يفتح في نافذة جديدة)numpy.org
  2. Google: تطبيع البيانات العددية (يفتح في نافذة جديدة)developers.google.com

أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.