التوقف المبكر في التعزيز: متى نوقف إضافة الأشجار؟
التوقف المبكر في التعزيز يراقب مقياسًا أثناء التدريب، ويوقف الإضافة حين لا يظهر تحسن مستوف للشروط خلال عدد جولات محدد. توثق XGBoost هذه الفكرة عبر early_stopping_rounds وخيارات المراقبة. [1]
تقنية (الصفحة 27)
أفكار وأدوات رقمية بلغة مفهومة.
1201 مقال
XGBoost: ما الذي يضيفه إلى فكرة التعزيز؟
يشرح XGBoost وتنظيم الأشجار فكرة اختيار تصحيح يقلل الخسارة مع احتساب تعقيد الأشجار. في الاشتقاق الموثق يستعمل تقريبًا من الدرجة الثانية للخسارة ومشتقاتها، لا أخطاء عددية غير موصوفة فقط. [1]
LightGBM: معنى نمو الشجرة ورقة بعد ورقة
نمو LightGBM ورقة بعد ورقة يختار الورقة التي يحقق تقسيمها أكبر تغير مفيد في الخسارة، بدل اشتراط توسيع كل أوراق مستوى واحد معًا. قد ينمو فرع أكثر من فرع آخر. [1]
CatBoost: كيف يتعامل مع الخصائص الفئوية؟
في CatBoost، لا يلزم تحويل أسماء الفئات إلى ترتيب عددي مصطنع. يدعم النموذج الخصائص الفئوية ويبني منها تمثيلات عددية، وقد يستخدم الترميز الأحادي داخليًا لفئات قليلة بحسب نمط التدريب. [1]
التعزيز بالمدرجات التكرارية: تسريع البحث عن الانقسام
التعزيز بالمدرجات التكرارية يبحث الانقسامات عبر إحصاءات حزم تجمع القيم العددية. الحزم تقرب التمثيل؛ لا تحذف السجلات. [1]
القيود التفاعلية في التعزيز: منع خلط خصائص محددة
القيود التفاعلية في التعزيز تحدد الخصائص المسموح أن تجتمع في مسار شجرة. يعرّف XGBoost هذا التفاعل عبر اختبارات تظهر معًا في الطريق إلى الورقة. [1]
انحدار الكميات بالتعزيز: تقدير أكثر من قيمة متوسطة
انحدار الكميات بالتعزيز يختار مستوى كميًا بدل الاكتفاء بتقدير متوسط. يوضح مثال scikit-learn تدريب نماذج عند 0.05 و 0.5 و 0.95؛ المستوى الأوسط يستهدف الوسيط الشرطي. [1]
التعزيز والبيانات الشاذة: اختيار خسارة أقل حساسية
في التعزيز والبيانات الشاذة، لا يكفي عد الأخطاء؛ شكل الخسارة يحدد كلفتها. عندما تكون الفجوتان 1 و 6، ينتج التربيع 1 و 36، بينما ينتج أخذ المقدار المطلق 1 و 6. لذلك نحتاج فهم ما يطلب النموذج تقليله.
توازي أشجار الغابة: متى يفيد استخدام أكثر من نواة؟
توازي أشجار الغابة سؤال عن الجدولة والموارد: أي أعمال يمكن تنفيذها معًا، وما الوقت الذي يضيفه تشغيلها وجمعها؟ وجود عدة أشجار لا يمنحنا وحده رقمًا للسرعة، ويجب التمييز بين خيار البرنامج وقياس الأداء على جهاز معين.
تجميع نماذج مختلفة: لماذا لا تكفي الدقة الفردية؟
عند تجميع نماذج مختلفة، لا يكفي أن تعرف عدد الإجابات الصحيحة لكل نموذج. نحتاج أيضًا مواضع أخطائها وقاعدة الجمع. سنثبت الفرق بمثال مصطنع فيه ثلاث نماذج متساوية الدقة الفردية، دون ادعاء أن تنوع أسماء الخوارزميات يضمن التحسن.
نماذج التجميع مع فئات نادرة: تجميع متوازن بشروط واضحة
نماذج التجميع مع فئات نادرة قد تغير عينة كل عضو لتوازن حضور الفئات. يصف توثيق BalancedRandomForestClassifier سحب أمثلة من الفئة الأقل عددًا مع الإرجاع، وسحب العدد نفسه من الفئة الأكثر عددًا مع الإرجاع. [1]
الغابة الموزعة: تدريب الأشجار عبر أكثر من جهاز
الغابة الموزعة تستخدم بنية حوسبة موزعة لتدريب نموذج أشجار. في H2O يتكون العنقود من عقدة أو أكثر، وتعيش أجزاء إطار البيانات في ذاكرة العنقود. [1]
الغابات الكمية: كيف نستخرج نطاقًا بدل متوسط فقط؟
الغابات الكمية، أو غابات انحدار الكميات، تحتفظ بقيم الاستجابات داخل الأوراق لتقدير توزيع شرطي، ثم تستخرج منه كميات بدل الاكتفاء بمتوسط. [1]
الانحدار اللوجستي: لماذا يستخدم للتصنيف رغم اسمه؟
الانحدار اللوجستي نموذج تصنيف رغم كلمة «انحدار» في اسمه. يصفه توثيق LogisticRegression بأنه مصنف، وندرس هنا الحالة الثنائية فقط. [1]
انحدار Ridge: ماذا يغير تقليص المعاملات؟
انحدار Ridge يقلل مجموع مربعات المتبقيات مع عقوبة L2 على المعاملات. تضيف العقوبة كلفة إلى الهدف عندما تكبر مربعات المعاملات. [1]
انحدار Lasso: لماذا تصبح بعض المعاملات صفرًا؟
انحدار Lasso يضيف إلى خطأ الملاءمة عقوبة L1، أي مجموع القيم المطلقة للمعاملات مضروبًا في alpha. [1]
Elastic Net: الجمع بين تقليص المعاملات واختيارها
Elastic Net انحدار خطي يجمع تنظيم L1 وL2. يتيح تغيير قوة العقوبة ونسبة المزج بمعلمتين مختلفتين في scikit-learn. [1]
المصنف الخطي SGD: التعلم بتحديثات صغيرة
SGD طريقة تحسين لتدريب نموذج، وليست عائلة نماذج مستقلة. يدعم SGDClassifier خسائر وعقوبات مختلفة لمصنفات خطية. [1]