بايز متعدد الحدود: كيف يصبح تكرار الكلمة قوةً في الحساب؟

الخلاصة السريعة

في النموذج العددي المبسط، تكرار الكلمة يكرر عاملها في درجة الفئة؛ اختزال العدد إلى مجرد وجود يغير الحساب. ^[2]

• المدخل المعتاد عدادات؛ دعم قيم كسرية في التطبيق لا يجعل كل وزن احتمال تكرار حرفيًا. ^[1]
• في المثال، مع ثبات المعلمات والقبليات، تتغير الفئة من ب إلى أ عند رفع عدد ورق من واحد إلى اثنين.
• حقيبة العدادات لا تحفظ ترتيب الكلمات؛ النصان ذوا العدادات نفسها يعطيان الحساب نفسه في نموذجنا. ^[2]
• نقارن درجات قبل التطبيع، ونميز شرطية الكلمة عن قبلي الفئة؛ لا نسمي الدرجة الخام احتمال الفئة. ^[2]

ما الذي يعده المدخل؟

تخيل بطاقة مواد تكتب فيها كلمتان: «ورق» و«حبر». المدخل (2، 1) يعني ظهور ورق مرتين وحبر مرة، وليس احتمالين مجموعهما ثلاثة. نحدد هذا التفسير قبل قراءة أي درجة.

وثيقة فيها ثلاث مرات للكلمة نفسها ليست ثلاثة مستندات. وإذا طلب جدول التدريب عدد كلمات الفئة، فلا نستبدله بعدد البطاقات. حفظ معنى العدد يمنع حساب نسبة من بسط ومقام يمثلان حدثين مختلفين.

يشير التوثيق إلى أن قيمًا كسرية مثل TF-IDF قد تستعمل عمليًا. ^[1] هنا نبقى مع عدادات صحيحة حتى يكون معنى تكرار العامل واضحًا؛ لا نحول مثال العد إلى ادعاء عن دقة كل تمثيل وزني.

مثال: ظهور إضافي يقلب القرار

نفترض قبليًا 0.5 لكل فئة. شرطيتا ورق وحبر داخل أ هما 0.8 و 0.2، وداخل ب هما 0.3 و 0.7. هذه معاملات اخترناها للتوضيح، ولم نقدرها من ملف حقيقي.

للمدخل (2، 1)، درجة أ هي 0.5×0.8²×0.2=0.064؛ ودرجة ب هي 0.5×0.3²×0.7=0.0315. ترجح أ. تربيع عامل ورق يعبر عن ظهوره مرتين.

أما المدخل (1، 1) فيعطي أ: 0.5×0.8×0.2=0.08، وب: 0.5×0.3×0.7=0.105؛ فترجح ب. بقيت المعلمات والقبليات نفسها، لكن العدد تغير. لذلك لا نستبدل (2، 1) بـ(1، 1) وندعي أننا حافظنا على المعلومات نفسها.

أين يذهب ترتيب الكلمات؟

يستخدم النموذج شرطية الكلمة نفسها عبر مواقع ظهورها؛ لا يقدر معاملًا مختلفًا لكل موضع. ^[2]

النص «ورق ورق حبر» والنص «حبر ورق ورق» يعطيان (2، 1) في حقيبة الكلمتين. لذلك يعيدان الدرجتين نفسيهما في حسابنا. لا يكشف الاختيار أي الكلمتين كُتبت أولًا.

هذا اختبار بسيط لفهم التمثيل: بدل سؤال المصنف عن ترتيب لم يتلقه، اعرض العدادات التي تلقاها. لا نستنتج أن كل نظام نصي يتجاهل الترتيب؛ وصفنا هذا النموذج والمدخل فقط.

لماذا لا نعطي الدرجة اسم الاحتمال النهائي؟

تضرب الصيغة قبلي الفئة في عوامل الكلمات، ويمكن جمع لوغاريتماتها بدل ضربها. تقدير قبلي الفئة منفصل عن شرطية الكلمة. ^[2]

درجتا 0.064 و 0.0315 لا تجمعان إلى واحد، فلا نقرأ الأولى بوصفها احتمال أ النهائي 6.4%. تكفي المقارنة لاختيار الفئة هنا، لكن عرض توزيع فئات يتطلب خطوة إضافية وتعريفًا واضحًا.

عند مراجعة نتيجة، احتفظ بالمدخل ومعلمات الكلمات والقبليات ومعنى الرقم المعروض. المثال يشرح أثر التكرار، ولا يثبت معايرة احتمالات أو نجاح النموذج على بطاقات لم ندرسها.