كسب المعلومات في شجرة القرار هو انخفاض إنتروبيا الفئات بعد تقسيم الأمثلة: قيمة العقدة الأصلية ناقص مجموع قيم الأجزاء المرجح بأحجامها. يساعد هذا المعيار على مقارنة أسئلة مرشحة. [1]
الخلاصة السريعة
السؤال ذو الكسب الأعلى يفصل فئات البطاقات المعروضة أكثر وفق المعيار؛ لا يكفي الكسب وحده لإثبات فائدة السؤال لحالات جديدة.
- نقيس عدم اليقين في توزيع الفئات قبل السؤال، ثم نطرح متوسطه المرجح بعده. [1]
- في ثماني بطاقات متوازنة، يكسب سؤال ينتج فرعين نقيين 1 بت في المثال.
- سؤال يعيد توزيع الفئات نفسها بين فرعين يكسب صفرًا؛ الحساب يخص المثال المعروض.
- قد يفضل الكسب أسئلة كثيرة النتائج؛ يوضح رقم البطاقة المنفرد لماذا نحتاج ضوابط إضافية. [2]
أي معلومة نقيس؟
عند استخدام لوغاريتم الأساس اثنين، تقاس إنتروبيا توزيع الفئات بالبت. والتوزيع الثنائي المتوازن تكون إنتروبيته 1. [1]
اصنع ثماني بطاقات: أربع «أ» وأربع «ب». قبل قراءة أي وصف، لا ترجح واحدة من الفئتين من تكرارهما وحده. المقصود بالمعلومة هنا تقليل هذا الاختلاط عند معرفة جواب سؤال، وليس حجم نص السؤال أو عدد الحروف المكتوبة على البطاقة.
إذا أضفت وصفًا طويلًا لا يفصل «أ» عن «ب»، فلن تمنحه الخوارزمية كسبًا أكبر لمجرد طول النص. ابدأ من عدد الفئات في كل جزء؛ فهذا ما يحتاجه حسابنا التعليمي.
ماذا لو أعطى السؤال فرعين نقيين؟
في مثال مستقل، نفرض خاصية «الملصق» بقيمتين: دائرة ومثلث. كل البطاقات الأربع «أ» لها دائرة، وكل الأربع «ب» لها مثلث. هذا ترتيب افتراضي نصنعه للشرح، وليس نمطًا رصدناه في بيانات.
إنتروبيا كل فرع نقي صفر. المتوسط المرجح بعد السؤال =0.5 ×0 +0.5 ×0 =0. لذلك كسب السؤال =1 −0 =1 بت. في هذه البطاقات يكشف الملصق الفئة تمامًا. لا نفترض أن بطاقات قادمة ستلتزم العلاقة نفسها بلا تحقق.
ماذا لو لم يتغير الاختلاط؟
أضف خاصية أخرى: «وجه البطاقة فاتح أم داكن؟». نفرض أن كل فرع يحتوي بطاقتين «أ» وبطاقتين «ب». تظل النسبتان في كل منهما 0.5 و 0.5، فتكون الإنتروبيا 1.
المتوسط المرجح =0.5 ×1 +0.5 ×1 =1. الكسب =1 −1 =0. سؤال اللون قسم البطاقات مكانيًا لكنه لم يقلل عدم اليقين في الفئة. عند المقارنة بين هذين السؤالين وفق كسب المعلومات، نختار الملصق في هذا المثال. لاحظ أننا استخدمنا البطاقات نفسها، حتى تكون المقارنة في موضع واحد من الشجرة.
هل الكسب المرتفع دليل كافٍ؟
ناقشت ورقة Quinlan انحياز معيار الكسب للسمات ذات القيم الكثيرة، واقترحت نسبة الكسب لتعديل الاختيار. [2]
افترض أن لكل بطاقة رقمًا فريدًا، وأن السؤال «ما رقمها؟» يعطي ثمانية فروع من بطاقة واحدة. كل فرع نقي في العينة، لكن بطاقة برقم جديد لم تظهر بعد. المثال يبين كيف يمكن للسؤال حفظ البطاقات بدل تقديم تمييز مفيد خارجها. لذلك سجل عدد نتائج السؤال وحجم كل فرع، ولا تحول نقاء البطاقات القليلة إلى ضمان تنبؤ.
هذا المقال يحسب معيارًا داخل عقدة؛ لا يعرض بحثًا عن أفضل شجرة كاملة. الأرقام والخصائص من إعداد المقال، وتبقى فائدة القاعدة سؤالًا يحتاج بيانات مناسبة للمهمة.
المصادر ومتابعة القراءة
- Google: Decision forests glossary — entropy and information gain (يفتح في نافذة جديدة)developers.google.com
- Quinlan1986: Induction of Decision Trees — section7 (يفتح في نافذة جديدة)storm.cis.fordham.edu
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.