حد عدد فئات الترميز لا يعني الاحتفاظ بهذا العدد من الفئات المنفردة ثم إضافة خانة تجميع فوقه. في إعداد OneHotEncoder الذي نجمع فيه فئات قليلة التكرار، تدخل خانة التجميع ضمن الحد. نؤلف أربع فئات بتكرارات مختلفة لقراءة حد ثلاث خانات دون تعادل.
الخلاصة السريعة
نعم؛ خانة تجميع الفئات النادرة محسوبة ضمن max_categories، وليست خانة إضافية خارج الحد المعلن.
- يشمل max_categories خانة الفئات النادرة ضمن حد خانات كل ميزة. [1]
- نؤلف أ بتكرار 8 وب بتكرار 6 وج بتكرار 3 ود بتكرار 1. دون حذف، نعرض عند حد 3 خانتين لأ وب وخانة مشتركة لج ود؛ ليست ثلاث خانات منفردة ورابعة للجمع.
- ج ود يصلان إلى التمثيل نفسه في خانة الجمع؛ لا نعرف من الخانة وحدها أيهما كان الأصل. حفظ عدد الخانات لا يحفظ جميع أسماء الفئات الأصلية في كل صف.
- دوّن قائمة الأصل والتكرارات وخريطة التجميع والحد. تجميع قليل التكرار ليس حكما بأن الفئات خاطئة أو ذات معنى واحد، ولا يثبت تحسن أداء نموذج.
أي عدد يحده الإعداد؟
تصف الوثائق max_categories بحد لخانات كل ميزة يشمل خانة الفئات النادرة. [1]
يعرض الدليل بقاء الأكثر تكرارا مع تجميع الباقي عند تقييد الخانات. [2]
نثبت في المثال ميزة فئوية واحدة، وأسماء معروفة، وحدا قدره 3. لا نحذف فئة مرجعية ولا نضيف سياسة لفئة جديدة، ولا نفعل حد ندرة آخر. المقارنة بين عدد أسماء المدخل ومواضع الخرج، وليست بين عدد صفوف التدريب وعدد العينات.
كيف نوزع أربع فئات على ثلاث خانات؟
نؤلف 18 صفا: أ ثماني مرات، وب ست مرات، وج ثلاث مرات، ود مرة واحدة. لا يوجد تعادل بين تكرارات هذه الأسماء. نعرض الأكبرين أ وب بخانتين منفردتين، ونضع ج ود في خانة الجمع المتبقية.
إذن لدينا ثلاث خانات: أ، وب، وتجميع ج ود. ولو احتفظنا بثلاث فئات منفردة ثم أضفنا خانة للباقي، لصرنا إلى أربع خانات، وهذا ليس عدد الخرج الذي يصفه حد 3 في إعدادنا.
الجدول يعرض الواحد في خانة الفئة المنفردة أو خانة مجموعتها والأصفار في غيرها. ترتيب الخانات في العرض معلن، وليس لقطة من برنامج. والتكرارات في العمود الثاني أعداد الأصل التي استعملناها للشرح.
| الفئة الأصلية | تكرارها المؤلف | خانة أ | خانة ب | خانة التجميع |
|---|---|---|---|---|
| أ | 8 | 1 | 0 | 0 |
| ب | 6 | 0 | 1 | 0 |
| ج | 3 | 0 | 0 | 1 |
| د | 1 | 0 | 0 | 1 |
ما المعلومة التي فقدها الصف المجمع؟
إذا عرضنا صفا يملك 1 في خانة الجمع وصفرين في الخانتين الأخريين، فإنه يطابق ج ود في خريطتنا. لا تستطيع الخانات الثلاث وحدها حسم أي الاسمين وصل في هذا الصف؛ نحتاج إلى الأصل أو إلى معلومة مستقلة تحفظ الاسم.
عدد الأسماء الأصلية أربعة، وعدد خانات العرض ثلاثة. لم تختف أسماء ج ود من تاريخ البيانات الذي احتفظنا به؛ لكنهما لم تعودا خانتين منفصلتين في التمثيل المختصر. ونميز هذا من محو السجلات التي تحمل الاسمين.
وكذلك لا يصبح ج ود فئة دلالية واحدة لأن تكرارهما أقل. لم نعلن علاقتهما الهرمية أو معناهما، بل جمعناهما وفق خريطة لتقييد الخانات. إذا احتاجت المهمة التفريق بينهما، فهذه المعلومة المفقودة تستحق مراجعة مستقلة.
كيف نراجع الحد مع خريطة التجميع؟
احفظ التكرارات وقائمة الفئات الأصلية والحد وأسماء الخانات النهائية وربط كل أصل بخانته. راجع أن خانة الجمع محسوبة مرة واحدة داخل الحد، وأن الصف الذي وصل إليها يظل مربوطا بمعرفه الأصلي عند الحاجة.
ولا تستنتج من صغر الخرج أن البيانات صارت أدق أو أن الفئات قليلة التكرار غير مفيدة. هذا سؤال يحتاج إلى تعريف المهمة ودليل خاص بها. مثالنا يحسب حدود التمثيل وفقد تمييز اسمين؛ لم نشغل OneHotEncoder، ولم نختبر تحسنا أو نقرر قاعدة لتصحيح الفئات.
المصادر ومتابعة القراءة
- scikit-learn 1.9.1: OneHotEncoder (يفتح في نافذة جديدة)scikit-learn.org
- scikit-learn 1.9.1: preprocessing and infrequent categories (يفتح في نافذة جديدة)scikit-learn.org
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.