الفرق بين آليات فقد البيانات يتعلق بعلاقة احتمال الغياب بالمعلومات، وليس بعدد الخانات الفارغة وحده. تميز MCAR وMAR وMNAR بين استقلال الغياب عن البيانات، واعتماده على معلومات مشاهدة، وبقائه مرتبطا بمعلومات غير مشاهدة. [1] هذه افتراضات نراجعها عند إعداد بيانات تعلم الآلة.
الخلاصة السريعة
اسأل عما يعتمد عليه احتمال الغياب، وما المعلومات التي شاهدتها؛ نسبة الفراغات وحدها لا تحدد الآلية.
- في MCAR لا يعتمد احتمال الغياب على القيم المشاهدة أو غير المشاهدة؛ انخفاض النسبة لا يثبت هذا الاستقلال. [1]
- في MAR قد يعتمد الغياب على معلومات مشاهدة، لكنه لا يعتمد على المفقود بعد أخذ المشاهد في الحسبان. [1]
- في MNAR يبقى احتمال الغياب مرتبطا بمعلومات غير مشاهدة، وقد تكون القيمة المفقودة نفسها. [1]
- لا يمكن التمييز بين MAR وMNAR باختبار البيانات المشاهدة وحدها؛ راجع عملية الجمع وصرح بافتراضك. [1]
ماذا يعني الفقد العشوائي تماما MCAR؟
يعرف الكتاب MCAR باستقلال احتمال الغياب عن القيم المشاهدة وغير المشاهدة. [1]
ننشئ تجربة ذهنية لتسجيل أطوال شرائط ورقية. نفترض أن لكل شريط الفرصة نفسها لفقد تسجيل طوله بسبب اختيار مستقل عن الطول وكل المعلومات الأخرى في المثال. هذا الافتراض يشرح الاستقلال؛ لم ننفذ اختيارا عشوائيا أو نتأكد أن جهازا يعمل وفقه.
وجود فراغات قليلة لا يخبرنا بذلك. فقد يضيع طول واحد فقط لأنه طويل جدا على طريقة التسجيل. العبرة بما ربط الغياب بالمعلومة، لا بأن العدد صغير أو أن ترتيب الفراغات يبدو غير منتظم للعين.
لماذا لا تعني MAR استقلالا عن كل المتغيرات؟
في MAR يمكن أن يعتمد احتمال الغياب على المعلومات المشاهدة، مع عدم اعتماده على غير المشاهد عند تثبيت المعلومات المشاهدة. [1]
نوسع المثال بمسارين لجمع الأطوال، أ وب، ونسجل اسم المسار لكل شريط. نفترض أن ب يفقد تسجيلات أكثر، لكن داخل كل مسار لا تعتمد فرصة الغياب على طول الشريط. وفق هذا التعريف المفترض، اسم المسار معلومة مشاهدة تفسر الفرق؛ لا نصف الغياب بأنه مستقل عن كل ما نعرفه.
لذلك لا تكفي عبارة «عشوائي» دون شرط. إذا أهملنا المسار الموثق، فقد نخفي معلومة تتعلق بكيفية إنتاج البيانات. ولا يجعل تسجيل اسم المسار الافتراض صحيحا تلقائيا؛ نحن نحتاج سندا لفكرة الاستقلال داخل المسار.
متى يكون الاعتماد على غير المشاهد MNAR؟
في MNAR لا يختزل احتمال الغياب إلى المعلومات المشاهدة وحدها؛ يبقى اعتماد على معلومات غير مشاهدة، بما فيها القيم المفقودة. [1]
نفترض الآن أن الشرائط الأطول يفشل تسجيلها أكثر، حتى داخل المسار نفسه. الطول الذي لم نحصل عليه له علاقة بغيابه في هذا السيناريو. لا نستطيع رؤية أطوال الشرائط الغائبة في الجدول ثم فحص تلك العلاقة مباشرة كما نفحص الأطوال المسجلة.
وعدم معرفتنا بسبب الغياب لا يثبت وحده MNAR. قد تكون الآلية مستقلة لكننا لم نوثق عملية الجمع. نفصل بين نقص معرفتنا بالسبب وبين افتراض رياضي عن ارتباط الغياب بالقيم.
كيف نراجع الافتراض دون مبالغة في الدليل؟
يوضح الكتاب أن البيانات المشاهدة لا تتيح وحدها اختبار MAR مقابل MNAR، لأن المعلومات المطلوبة لذلك مفقودة. [1]
نقترح جمع ما يتاح عن إجراءات التسجيل، والمعلومات التي حفظت، وتغير أدوات الجمع. ونكتب الافتراض المستخدم وسبب اختياره، ونراجع كيف يتغير الاستنتاج تحت افتراض آخر عند الحاجة. لا نعلن أن ملء الخانات أو حذفها كشف الآلية.
الأمثلة الثلاثة تصف عمليات مفترضة وليست نتائج تشغيل على بيانات حقيقية. اختيار طريقة التعامل مع الغياب يحتاج أيضا تحديد سؤال النموذج والبيانات المتاحة؛ تسمية الآلية وحدها لا تعطي ضمانا لدقة التوقعات.
المصادر ومتابعة القراءة
- Stef van Buuren: Flexible Imputation of Missing Data, concepts in incomplete data (يفتح في نافذة جديدة)stefvanbuuren.name
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.