الحالات النادرة في العينة: هل يضمن السحب العشوائي ظهور إحداها؟

الخلاصة السريعة

لا؛ في مثالنا احتمال ألا تظهر أي من الحالتين النادرتين هو 12/19 ، أي نحو 63.16%، ضمن السحب المعلن دون إرجاع.

• نفترض 20 سجلا معروفا، منها حالتان نادرتان، وكل مجموعة من 4 سجلات مختلفة لها الفرصة نفسها. يصف التوزيع فوق الهندسي عدد الحالات من نوع محدد عند السحب دون إرجاع. ^[1]
• عدد العينات الممكنة 4845 ، ومنها 3060 لا تحتوي أي حالة نادرة؛ لذلك احتمال الصفر 3060/4845=12/19.
• احتمال ظهور حالة نادرة واحدة على الأقل 7/19 ، نحو 36.84%. احتمال الظهور لا يخبرنا بما ظهر في عينة فعلية، ولم ننفذ سحبا هنا.
• الحساب يحتاج حجم المجتمع وعدد الحالات النادرة وقاعدة الاختيار الصحيحة. تغيير التصميم أو الإرجاع يغير الحساب؛ وجود حالة واحدة لا يثبت كفاية تقييم النموذج، وغيابها لا يثبت عدم وجودها في المجتمع.

أي سحب تسمح شروطه بهذا الحساب؟

تعرّف وثائق SciPy التوزيع فوق الهندسي لعدد عناصر نوع معين في سحب دون إرجاع من مجتمع محدود، وتعرض صيغة احتمال هذا العدد. ^[1]

نؤلف قائمة من عشرين سجلا مختلفا، ونعلن أن سجلين منها يحملان صفة نادرة وثمانية عشر لا يحملونها. نختار أربعة دون إرجاع، وكل مجموعة غير مرتبة من أربعة سجلات لها الاحتمال نفسه. نعرف الصفة لكل المجتمع في هذا المثال الحسابي.

هذا ليس جمع الملفات الأسهل وصولا ولا اختيار أعداد ثابتة من كل فئة. إذا فرضنا الوصول إلى إحدى الحالتين عمدا، لم يعد ذلك التصميم نفسه. ولا نصف الأرقام بأنها إحصاءات عن صور أو أشخاص حقيقيين.

كيف نحسب احتمال ألا تظهر الحالة؟

عدد طرق اختيار أربعة من عشرين هو 20×19×18×17÷24=4845. نقسم على 24 لأن ترتيب السجلات الأربعة لا ينشئ مجموعة جديدة: أربعة سجلات لها 24 ترتيبا.

كي تخلو العينة من النادر، يجب أن تقع السجلات الأربعة كلها بين الثمانية عشر الأخرى. عدد هذه المجموعات 18×17×16×15÷24=3060. وبما أن جميع المجموعات متساوية الاحتمال، تكون فرصة الصفر 3060 على 4845 ، وتختصر إلى 12 على 19.

النتيجة نحو 63.16%، وهي احتمال في القاعدة الافتراضية قبل الاختيار. لم نلاحظ هذا الغياب في مئات التجارب، ولم نشغل مولدا عشوائيا؛ حسبناه بعدّ الخيارات الممكنة.

ماذا يحدث في بقية العينات الممكنة؟

لظهور حالة واحدة نختار واحدة من الحالتين وثلاثا من الثمانية عشر الأخرى:2×816=1632 مجموعة. ولظهور الحالتين معا نختار سجلين آخرين من الثمانية عشر:153 مجموعة. جمع 3060 و 1632 و 153 يعيد 4845.

ظهور واحدة على الأقل هو عكس عدم ظهور أي حالة:1−12/19=7/19 ، نحو 36.84%. لا نجمع احتمال الحالة الأولى والثانية مباشرة وكأن ظهورهما لا يتداخل؛ العينات التي تحتويهما معا لها موضع واضح في الجدول.

قد تكون العينة الفعلية، لو سحبت، من أي من الصفوف الثلاثة. لا يختار الاحتمال النظري لها جوابا مسبقا، ولا تصبح صفة المجتمع معدومة لأننا لم نرها في أربعة سجلات.

كيف نقرأ نتيجة عينة لتقييم نموذج؟

إذا لم تعرف عدد الحالات النادرة في المجتمع، فلا تستبدله بالرقم اثنين لمجرد أنه مناسب للمثال. وإذا تغيرت فرص السحب أو سمح بإرجاع السجل، فلا تستخدم جدولنا كما هو؛ الأعداد مشتقة من تصميم محدد.

إذا لم تظهر الحالة، اكتب أن عينة التقييم هذه لم تفحصها. وإذا ظهرت مرة، لا تجعل المثال الوحيد برهانا على نجاح النموذج في كل الحالات النادرة. معرفة احتمال الوصول تختلف عن معرفة مقدار خطأ النموذج بعد الوصول.

يمكن أن يتطلب هدفك تصميم فحص آخر أو جمع بيانات إضافية، لكن لا نحدد هنا عددا يكفي لكل مهمة. احفظ قائمة المجتمع وتعريف الصفة وقاعدة السحب وما ظهر بالفعل، وافصل النتيجة المرصودة عن الاحتمال الذي حسبته مسبقا.