صفر أخطاء بعد اختيار النموذج: هل يعني صفر أخطاء جديدة؟

الخلاصة السريعة

لا؛ إذا اخترنا النموذج باستعمال إجابة الصف المقاس عليه، فإن صفر خطئه هناك لا يضمن صفر الخطأ على إجابة مستقلة جديدة.

• تناقش ورقة Cawley وTalbot أثر الإفراط في التكيف أثناء اختيار النموذج على تقدير أدائه؛ المشكلة تتعلق أيضا بعملية الاختيار. ^[1]
• نؤلف متنبئين ثابتين: أ يجيب 0 وب يجيب 1. وسم الاختيار ي يساوي 0 أو 1 باحتمال نصف لكل منهما؛ نختار المطابق له، فنحصل دائما على صفر أخطاء على هذا الصف.
• نفترض وسما جديدا ز مستقلا عن ي وله الاحتمالان العادلان نفسيهما. من أربع حالات متساوية الاحتمال يخطئ الاختيار في حالتين، فاحتمال خطئه الجديد 1/2.
• هذا تعداد رياضي لفرضيات معلنة، دون تدريب أو محاكاة. لا نعمم نسبة النصف على كل اختيار، ونفصل بيانات المفاضلة عن البيانات المستقلة التي تصف أداء الاختيار النهائي.

هل تحتاج المشكلة إلى تعديل معاملات؟

تبحث ورقة Cawley وTalbot الإفراط في التكيف خلال اختيار النموذج وما يتبعه من تحيز تقدير الأداء. ^[1]

نختار مثالا لا يتعلم فيه أي متنبئ من الصفوف: أ يعيد 0 دائما، وب يعيد 1 دائما. الوظيفة ثابتة قبل وصول إجابة الاختيار. ما يتغير هو اسم المتنبئ الذي قررنا الاحتفاظ به.

نعلن توزيع الإجابة ي: صفر باحتمال 1/2 وواحد باحتمال 1/2. بعد معرفتها، نختار أ إذا كانت صفرا وب إذا كانت واحدا. هذه قاعدة مفاضلة مؤلفة، لا مشروع حقيقي ولا نتيجة برنامج.

لماذا يكون الخطأ المقاس على صف الاختيار صفرا؟

عند ي=0 نحتفظ بأ الذي يجيب 0 ، وعند ي=1 نحتفظ بب الذي يجيب 1. في الحالتين يطابق المتنبئ المختار إجابة الصف الذي وجه القرار. إذن عدد أخطاء الاختيار على هذا الصف صفر.

لم نحسن وظيفة أ أو ب، ولم ننقل الإجابة إلى تدريب معاملات. لكن الإجابة دخلت القرار الذي حدد أي وظيفة سنقيم؛ لذلك لا يجعل غياب التدريب على الصف تقديره مستقلا عن الاختيار.

قبل معرفة ي، لا يستطيع أي خيار ثابت ضمان الإجابة المطابقة وفق الاحتمالين المعلنين. يظهر التطابق بعد السماح باستخدام ي لاختيار الاسم المناسب.

ماذا يحدث لإجابة جديدة مستقلة؟

نفترض أن ز مستقل عن ي، وصفر أو واحد باحتمال نصف لكل قيمة. لذلك لكل صف في الجدول احتمال 1/4 ، لا لأننا شاهدنا أربع حالات فعلية، بل بسبب فرضيتي العدالة والاستقلال.

يخطئ الخيار المحتفظ به عندما تختلف ز عن ي. توجد حالتان من أربع متساوية الاحتمال، فيكون احتمال الخطأ الجديد 1/2. وهو احتمال كل متنبئ ثابت قبل المفاضلة أيضا تحت هذه الفرضيات.

هذا حساب احتمالات، وليس مقياسا تجريبيا على أربعة صفوف سجلناها. إذا تغير التوزيع أو الاعتماد بين الوسمين، نحتاج حسابا مختلفا؛ لا نحتفظ بالنسبة نفسها بلا شروطها.

كيف نفسر رقما ممتازا بعد المفاضلة؟

نسأل عن المعلومات التي دخلت اختيار النموذج، لا عن الصفوف التي دخلت تعلم المعاملات فقط. وصف «لم ندرب عليه» قد يكون صحيحا لكنه لا يجيب هل استعملنا إجابته لاختيار الفائز.

نقترح فصل مرحلة المفاضلة عن تقييم اختيار نهائي ثابت على بيانات مستقلة مناسبة، مع حفظ ما دخل كل قرار. وإذا عدنا لاختيار جديد بعد رؤية التقييم، نراجع وصف تلك المرحلة من جديد.

لا يقول المثال إن كل نتيجة صفر خاطئة أو إن أي نموذج مختار سيخطئ نصف الحالات. يثبت فقط أن صفر خطأ الاختيار في المثال لا يستلزم صفرا جديدا، حتى مع خيارين ثابتين ومن دون تدريب.