التقسيم الطبقي مع مجموعات كاملة: لماذا قد يستحيل حفظ نسبة الفئات؟

الخلاصة السريعة

وجود نسبة عامة متوازنة لا يضمن توازن كل طية؛ قد يستحيل ذلك إذا كانت المجموعات غير القابلة للتجزئة تفصل الفئات.

• يحاول StratifiedGroupKFold حفظ نسب الفئات قدر الإمكان مع عدم تداخل المجموعات؛ توضح الوثائق أن التقسيم الطبقي قد لا يكون ممكنا مع مجموعات قليلة وكبيرة. ^[1]
• نؤلف مجموعتين: الأولى صفان موجبان والثانية صفان سالبان. النسبة العامة 50%، لكن طيتي تحقق غير فارغتين كاملتي المجموعات تكونان 100% و 0% موجبين.
• تغيير البذرة لا ينشئ مجموعة مختلطة غير موجودة. وتجزئة المجموعة قد تغير سؤال التقييم إذا كان المطلوب تعميم النتيجة على كيان جديد.
• نوثق نسب التدريب والتحقق وسبب القيد؛ تدريب بفئة واحدة قد لا يلائم بعض إجراءات التعلم أو التقييم، دون تعميم فشل جميع النماذج.

ما الوعد الفعلي لطريقة التقسيم؟

تصف وثائق StratifiedGroupKFold حفظ نسب الفئات قدر الإمكان تحت شرط المجموعات غير المتداخلة، وتذكر أن التقسيم الطبقي قد لا يمكن تحقيقه عند قلة المجموعات وكبرها. ^[1]

نفترض أن معرفات المجموعات حسمت مسبقا ولا توجد أسماء بديلة لنفس الكيان. نناقش هنا تركيب الفئات داخل مجموعات صحيحة التعريف، لا مشكلة مطابقة المعرفات.

إذا اشترط السؤال تقييم كيان جديد، نحتاج أن تبقى جميع صفوفه في جانب واحد من التقسيم. نسبة الفئات مطلب إضافي، ولا يصنع اسم الإجراء حلا إذا منعته هذه العضوية.

كيف يستحيل حفظ النصف في مثال صغير؟

نختار طيتي تحقق غير فارغتين، مع منع تجزئة المجموعة. لدينا مجموعتان فقط، لذا تحتاج كل طية إلى مجموعة واحدة. تكون نسبة الموجبين في تحقق إحداهما 100% وفي الأخرى 0%. لا يوجد اختيار ثالث يعطي 50% في كليهما.

التدريب المكمل في طية تحقق المجموعة الأولى هو المجموعة الثانية السالبة وحدها، والعكس في الطية الأخرى. إذن نراجع نسب التدريب أيضا، ولا نكتفي بتوازن الجدول الكامل.

هذا استنتاج من جميع إمكانات المثال المؤلف، وليس ناتج استدعاء مكتبة. لا نقول إن هذا الجدول يغطي كل الخوارزميات أو البيانات؛ يكفي أن يبين حالة يستحيل فيها الجمع بين الشرطين.

لماذا لا تصنع البذرة فئة مفقودة؟

قد تتبادل الطيتان اسميهما أو ترتيب عرضهما، لكن كل مجموعة بقيت تحتوي فئة واحدة. لا يغير اختيار عشوائي جديد محتوى مجموعة كاملة، لذا لا يحل استحالة المثال.

إذا وضعنا موجبا وسالبا في كل تحقق بتقسيم المجموعتين، حققنا نسبة 50% وعدلنا شرطا آخر: أصبح الكيان نفسه موزعا بين الجانبين. نراجع هل يسمح سؤال المهمة بهذا التغيير قبل تسميته إصلاحا.

ولا نخلط تغيير أوزان الخسارة بإنشاء أمثلة فئة في جزء لا يحتويها. تلك خطوة في التعلم، بينما الجدول هنا وصف لعضوية البيانات، دون تدريب أو تقييم أداء.

كيف نعرض القيد في تقرير التقييم؟

نقترح عرض عدد المجموعات وأحجامها والفئات داخلها ونسب كل جانب. نكتب أن التصميم المطلوب لم يحقق نسبة الفئة المستهدفة، ونشرح هل السبب تركيب البيانات أم سياسة اختيار أخرى.

تدريب طية بفئة واحدة قد يرفضه بعض إجراءات التعلم، وقد لا تعرف بعض المقاييس لحالات بعينها. لا نفترض أن كل نموذج أو مقياس يتصرف بالطريقة نفسها؛ يلزم فحص الإجراء المحدد قبل تشغيل التقييم.

إذا احتجنا تصميما آخر، نعلن ما تغير في السؤال أو نجمع بيانات مناسبة أو نبلغ القيد كما هو. النجاح في إنشاء طيات لا يثبت وحده أنها تجيب سؤال التعميم المطلوب.