تعويض الفئات بالأكثر شيوعا يملأ الفراغ باسم فئة تكرر ظهورها في العمود. لكنه لا يكشف الفئة الحقيقية لكل سجل غائب. قد يظهر اللون الأخضر أكثر في الجدول المعوض، لأننا أضفناه وفق سياسة، لا لأننا رصدنا أشياء خضراء جديدة. هذا الفرق يهم إعداد مدخلات نموذج ومراجعة وصف البيانات.
الخلاصة السريعة
اختر الفئة وفق بيانات التدريب والسياسة المعلنة، واحفظ علامة التعويض؛ زيادة عددها بعد الملء ليست زيادة في الرصد الأصلي.
- تملأ most_frequent كل عمود بأكثر قيمه شيوعا، وتقبل قيما نصية أو عددية. [1]
- في المثال الأخضر ثلاثة من خمسة ألوان معلومة؛ بعد ملء ثلاثة فراغات يصبح ستة من ثمانية، دون رصد ألوان جديدة.
- عند تعادل القيم الأكثر شيوعا تعيد SimpleImputer أصغرها؛ لا يعني هذا أنها الفئة الأصح. [1]
- افصل الأعداد المرصودة عن الأعداد بعد التعويض، ولا تستبدل النتيجة المرجعية المجهولة بفئة مخترعة.
ماذا تعني الفئة الأكثر شيوعا؟
تصف وثائق SimpleImputer استراتيجية most_frequent بأنها تستخدم أكثر قيمة تكرارا في كل عمود، ويمكن تطبيقها على نصوص أو أعداد. [1]
نختار في مثال افتراضي حقل لون البطاقة بوصفه معلومة إدخال، وليس نتيجة نريد إثباتها. نعد الألوان المعروفة في بيانات التدريب، ثم نقترح استخدام الفئة الأكثر تكرارا للفراغات وفق سياسة واضحة. لا نضع كلمة «مفقود» ضمن الألوان المعروفة ثم نعدها لونا رصدناه.
وقد نرمز الأخضر بالعدد 2 والأزرق بالعدد 7. الأعداد هنا أسماء مختصرة للفئات؛ متوسطها لا يمثل لونا بينهما. قبل أي حساب نسأل عن معنى العمود، لا عن شكل الرمز وحده.
كيف تتغير الأعداد بعد الملء؟
نفترض ثماني بطاقات: ثلاث خضراء، واثنتان زرقاوان، وثلاث لم يسجل لونها. الأخضر هو الأكثر تكرارا بين الخمس المعلومة. إذا ملأنا الفراغات الثلاثة بالأخضر، صار عدد القيم الخضراء في النسخة المعوضة ستا والزرقاء اثنتين. هذه أعداد من إنشاء الكاتب، وليست مخرجات تشغيل برنامج.
- قبل الملء الأخضر ثلاثة من خمسة ألوان معلومة، أي 60٪ من الألوان المرصودة.
- بعد الملء الأخضر ستة من ثماني قيم، أي 75٪ من النسخة المعوضة. تغير المقام، ودخلت قيم أضفناها.
- لا نستنتج أن ست بطاقات كانت خضراء فعلا؛ نعرف ألوان خمس بطاقات فقط.
| اللون أو الحالة | قبل التعويض | بعد الملء المقترح |
|---|---|---|
| أخضر | 3 | 6 |
| أزرق | 2 | 2 |
| لون غائب | 3 | 0 |
ماذا يحدث إذا تعادلت فئتان؟
عند وجود أكثر من قيمة لها أعلى تكرار، تنص وثائق SimpleImputer على إعادة الأصغر بينها. [1]
لشرح الشرط نأخذ مجموعة تدريب أخرى مستقلة: الرمز 2 مرتان والرمز 7 مرتان، وكلاهما لون اسمي. في هذه الحالة تكون قيمة التعويض وفقا للقاعدة الموثقة 2. لا نختار 4.5، ولا نبرر اختيار 2 بأنه لون أصح أو أكثر ملاءمة لبطاقة بعينها.
نتجنب أيضا وصف الاختيار بأنه أول فئة ظهرت في الملف. نسجل قاعدة الأداة بدلا من التخمين من ترتيب الصفوف، ونراجع سياسة العمود إذا لم تكن الفئتان قابلتين للمقارنة بالطريقة المتوقعة.
ما المعلومات التي تبقى مع النسخة المعوضة؟
نقترح حفظ اللون الأصلي وحالة الغياب وقيمة الملء وقائمة الفئات وأعدادها في التدريب. عند وصف البيانات نعرض عدد الألوان المعلومة مستقلا عن عدد القيم المعوضة. بذلك لا يتحول خلو الخانات من الفراغ إلى ادعاء اكتمال الملاحظة.
إذا كانت الفئة المجهولة هي النتيجة المرجعية لتقييم نموذج، فلا نعامل ملئها بسياسة شائعة كأننا تحققنا من حقيقتها. مثالنا يخص حقل إدخال، ولا ينشئ إجابات صحيحة للتقييم. كما لا يثبت تحسن أداء نموذج؛ نحتاج تقييما مناسبا لذلك السؤال عندما تتوفر بياناته.
المصادر ومتابعة القراءة
- scikit-learn: SimpleImputer (يفتح في نافذة جديدة)scikit-learn.org
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.