مسافة التباين الكلي: كيف نقارن نسب الفئات بتوزيع مرجعي؟

الخلاصة السريعة

على فئات متقطعة مشتركة، نجمع الفروق المطلقة بين النسب ثم نقسم المجموع على اثنين؛ في مثال 60/40 مقابل 50/50 تكون المسافة 0.1. ^[1]

• يعرّف المرجع مسافة التباين الكلي للتوزيعات المتقطعة بنصف مجموع فروق الاحتمالات المطلقة. ^[1] استخدم الفئات نفسها ونسبا غير سالبة مجموعها واحد لكل توزيع.
• في مثالنا أ وب فئتان متنافيتان تشملان جميع السجلات. نسب الملف 0.6 و 0.4 ، والمرجع 0.5 و 0.5 ؛ الفروق المطلقة 0.1 و 0.1 ، والمسافة 0.1.
• إذا طابقت النسب المرجع صارت المسافة صفرًا. تبديل اسم الفئة أو ترتيب عمود دون مطابقة الهوية يجعل المقارنة خاطئة، والمقياس لا يرى صفات لم تدخل الفئات.
• المسافة وصف اختلاف بين التوزيعين المدخلين، وليست نسبة خطأ النموذج أو اختبار دلالة أو سببا للفرق. تثبت معنى المرجع والفئات والفترة قبل تفسيرها، دون حد قبول عام مختلق.

ما الذي يجب تثبيته قبل حساب المسافة؟

تقدم محاضرة Chihao Zhang التعريف المتقطع للمسافة بوصفها نصف مجموع الفروق المطلقة على فضاء الحالات نفسه. ^[1]

نفترض فئتين أ وب، لكل سجل فئة واحدة صحيحة وفق تعريفنا، ولا توجد فئة ثالثة أو سجلات مجهولة أسقطناها. مجموع نسب أ وب واحد في كل توزيع. إذا وجدت فئات أخرى، فضمها إلى المقارنة أو أعلن أنك تقارن نطاقا مشروطا مختلفا.

المرجع في المثال نسبة معلنة نختارها للتوضيح، لا نتيجة أداة كلمات مفتاحية أو حقيقة عن سوق. إذا كان المرجع من بيانات واقعية، فعرّف مصدره وفترته والمجتمع الذي يصفه قبل اتخاذه هدفا للمطابقة.

كيف نحسب مثال 60% و 40%؟

نؤلف ملفا من عشرة سجلات: ستة في أ وأربعة في ب. نسبه 0.6 و 0.4. نفترض مرجعا مقسوما بالتساوي، فيكون فرق أ 0.1 وفرق ب−0.1. نأخذ القيمة المطلقة لكل فرق، فنحصل على 0.1 و 0.1.

المجموع 0.2 ، ونصفه 0.1. لا نجمع الفرقين بإشارتيهما لأنهما سيلغيان بعضهما ويعطيان صفرًا رغم اختلاف النسب. ولا ننسى التنصيف ونسمي 0.2 مسافة التباين الكلي وفق التعريف الذي اخترناه.

يمكن التعبير عن 0.1 بأنه عشر نقاط مئوية في فرق فئة أ بهذا المثال الثنائي. لا نقول إن عشرة بالمئة من تنبؤات النموذج خاطئة؛ الجدول لا يحوي أي تنبؤات للمقارنة.

ماذا تعني المطابقة وماذا تخفي؟

إذا أصبح الملف خمس حالات في أ وخمسا في ب، صار الفرقان صفرًا والمسافة صفرًا. هذا يثبت مطابقة النسب المدخلة فقط؛ لا يعرف المقياس إن كانت الصور واضحة أو الوسوم سليمة.

قد تكون السجلات الخمس في أ من موقع واحد أو عدة مواقع. ما دام تقسيمنا أ وب فقط، فلن يرى الحساب هذه المعلومات. لذلك اختر الفئات التي تخدم السؤال، دون الادعاء أن مسافة واحدة تلخص كل جودة البيانات.

طابق أ مع أ وب مع ب. تبديل موضع الأعمدة دون تبديل هويتها يغير المعنى، ولو بقي مجموع كل عمود صحيحا. كذلك لا تقارن أسماء متشابهة تستخدم تعريفين مختلفين للقبول في الفئة.

هل المسافة اختبار دلالة أو تفسير سببي؟

ملف من عشر حالات وآخر من ألف قد يعطيان النسب نفسها والمسافة نفسها إلى المرجع. الحساب لا يتلقى عدد السجلات ولا تصميم سحبها عند إدخال النسب وحدها؛ لذلك لا يخرج منه وحده حكم على عدم اليقين الإحصائي.

قد يكون الفرق مرتبطا بطريقة الجمع أو بالفترة أو بالمجتمع أو بالتقلب العشوائي. لا تحدد 0.1 أيا من هذه الأسباب، ولا تعني تلقائيا أن النموذج تحيز أو أن إعادة الوزن ستصلح المشكلة. نحتاج أدلة تناسب السؤال الجديد.

أعلن التوزيعين وتعريف الفئات وحساب الفروق إلى جانب المسافة. وإذا أردت حد قبول أو مقارنة زمنية، فعرّف الهدف وطريقة الاستدلال المناسبة؛ لا تحول رقم المثال إلى معيار عام لجودة تدريب الذكاء الاصطناعي.