يشرح XGBoost وتنظيم الأشجار فكرة اختيار تصحيح يقلل الخسارة مع احتساب تعقيد الأشجار. في الاشتقاق الموثق يستعمل تقريبًا من الدرجة الثانية للخسارة ومشتقاتها، لا أخطاء عددية غير موصوفة فقط. [1]
الخلاصة السريعة
اقرأ البناء في ثلاثة أجزاء: النموذج المتراكم، والخسارة التي يقرب تغيرها، وعقوبة تعقيد الشجرة. هذه آلية للتعلم؛ لا يكفي اسم XGBoost للحكم بأنه أدق أو أسرع في مهمتك.
- يضيف التدريب شجرة مع تثبيت ما تعلم سابقًا، وفق هدف يجمع الخسارة والتنظيم. [1]
- يستعمل الاشتقاق المشتقة الأولى g والثانية h بالنسبة إلى التنبؤ الحالي لتقريب الخسارة. [1]
- عدد الأوراق وقيمها يدخلان عقوبة التعقيد في الصيغة الموثقة؛ مثال الورقة الحسابي مصطنع. [1]
- راجع الخسارة والإعداد والتقييم؛ التنظيم لا يضمن نموذجًا صحيحًا أو أفضل شجرة ممكنة.
ما الهدف الذي نحسنه؟
يعرض التوثيق هدفًا من خسارة التنبؤ وعقوبة تعقيد، ويشرح التدريب الإضافي بتثبيت النموذج السابق ثم تعلم شجرة جديدة. [1]
لا تكتف بعبارة «الشجرة تصلح الأخطاء». اسأل أي خسارة يقيسها التدريب وما التعقيد الذي يعاقبه. قد يعطي مخرجان التسمية نفسها بينما يختلفان في قيمتهما الرقمية وفي الخسارة التي نختار تحسينها. وصف الهدف يجعل المقارنة قابلة للفهم قبل مناقشة اسم المكتبة.
كيف تساعد المشتقات؟
في تقريب Taylor من الدرجة الثانية، يعرف المصدر g كمشتقة أولى وh كمشتقة ثانية للخسارة بالنسبة إلى التنبؤ الحالي. [1]
يمكن للقارئ تصور الفرق على منحنى: معلومات الميل تختلف عن معلومات تقوسه. هذا تشبيه لشرح الدور، وليس إذنًا باستعمال أي دالة بلا مراجعة شروطها. لا نحتاج إلى حفظ معادلات جميع الخسائر لفهم أن التصحيح يتبع الخسارة المعينة وقيم التنبؤ الحالية، لا مقدارًا ثابتًا يعاد إضافته.
إذا ورد في تقرير رمزg أوh، اطلب تعريفه والخسارة التي اشتق منها. استعمال الاسم نفسه لا يخبرك بقيمة المشتقة أو معنى وحدة الهدف.
ماذا يغير تنظيم الورقة؟
يعرض الاشتقاق عقوبة لعدد الأوراق ومربعات قيمها، وصيغة قيمة ورقة هي -G÷(H+λ) بعد تثبيت بنية الشجرة. [1]
مثال حسابي مستقل: نفترض G=-6 وH=2. إذا كان λ=1 فالقيمة -(-6)÷(2+1)=2. وإذا جعلنا λ=4 صارت 6÷6=1. هذه أعداد مصطنعة لشرح أثر المقام في الورقة نفسها، وليست تنبؤات نموذج مدرب أو قاعدة لاختيار λ.
لا ننسى أن هذه المقارنة تثبت G وH والبنية لغرض الحساب. في تدريب كامل قد تغير الإعدادات التقسيمات والقيم المتعلمة. لا نستنتج من الرقم 1 أنه أصح من 2 دون معرفة المهمة والتقييم.
ما الذي لا يضمنه التنظيم؟
عقوبة أكبر قد تغير ما يفضله هدف التدريب، لكن قرار اعتماد النموذج يحتاج مقارنة فعلية. لا تكتب أن التنظيم يجعله متفوقًا على جميع الغابات أو يزيل كل فرط ملاءمة. في هذا المقال لم نقس دقة ولا زمنًا.
راجع الخسارة وطريقة بناء الأشجار وإعداداتها ونسخة التنفيذ. ثم احتفظ بسبب اختيارك وبالمقياس الذي تحققته. حتى هدف واضح لا يعني أن البحث فحص جميع الأشجار الممكنة أو أن خصائصك تحمل المعلومة اللازمة. يفيد الاشتقاق في تفسير آلية التصحيح، وتبقى صلاحية النتيجة سؤالًا للمهمة التي تريدها.
المصادر ومتابعة القراءة
- XGBoost: Introduction to Boosted Trees (يفتح في نافذة جديدة)xgboost.readthedocs.io
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.