معدل التعلم في التعزيز: العلاقة بين حجم الخطوة وعدد الأشجار

الخلاصة السريعة

احسب المساهمة بعد ضربها بالمعدل، ثم راقب تقدم النموذج عبر مراحل. تصغير خطوة واحدة لا يحدد وحده العدد المناسب، ولا يضمن أن مضاعفة المراحل ستنتج النموذج نفسه.

• يضبط learning_rate مساهمة كل شجرة في GradientBoostingRegressor؛ العدد والمعدل إعدادان مرتبطان. ^[1]
• إذا كان التنبؤ الحالي 10 وتصحيح الشجرة 4 والمعدل 0.25، فالتنبؤ المحدث في المثال 11.
• لا تجمع التصحيح نفسه مرارًا وتعد ذلك وصفًا للتدريب؛ تتعلم المراحل اللاحقة من حالة النموذج المتغيرة. ^[2]
• قارن المعدل وعدد المراحل معًا وفق خسارة وتكلفة موثقتين؛ لا تفرض معدلًا أفضل لكل المهام.

أي قيمة يصغرها المعامل؟

تصف الوثائق learning_rate بأنه يصغر مساهمة كل شجرة، مع مفاضلة مرتبطة بعدد المراحل. ^[1]

المعامل ليس نسبة الحالات التي تختارها للتدريب، ولا نسبة نجاح النموذج. اكتب في سجل الخطوة قيمة النموذج قبل الإضافة، وتصحيح الشجرة، والمعامل، ثم المساهمة الفعلية. فصل هذه الأرقام يوضح ما تغير حين عدلت المعدل.

قد تخرج الشجرة قيمة موجبة أو سالبة بحسب الحالة والبناء. عند استعمال معامل موجب صغير تصغر قيمة التصحيح المطلقة، ولا تصبح التصحيحات كلها موجبة. المقصود مقدار الإضافة في هذه الخطوة، لا تبديل معنى الهدف الذي تعلم منه النموذج.

احسب خطوة واحدة

المثال من تأليف المقال لانحدار عددي. نبدأ بتنبؤ حالي 10، ونفترض أن الشجرة الجديدة تعطي تصحيحًا 4 لهذه الحالة. بمعدل 0.25 تصبح المساهمة 1، فيكون التنبؤ 11. وبمعدل 0.5 تصبح المساهمة 2، فيكون التنبؤ 12. هذه مقارنة حسابية للخطوة نفسها، ولم ندرب شجرتين أو نقس خسارة.

لو أعطت الشجرة تصحيحًا-4 بدل 4، فإن المعدل 0.25 يجعل المساهمة-1، ويصبح التنبؤ 9. لا تفسر التصغير بأنه زيادة دائمًا. احتفظ بإشارة التصحيح ووحدته في الشرح، ثم اسأل عن الأداء الفعلي خارج هذا الحساب المفروض.

لماذا لا تكفي قاعدة المضاعفة؟

بعد إضافة تصحيح إلى النموذج، تتغير الحالة التي ستتعلم منها المرحلة التالية. لذلك ليست الشجرة الثانية بالضرورة نسخة تعطي 4 مرة أخرى. لا نستبدل المسار المتعلم بمجموع نسخ من تصحيح ثابت، ثم نستنتج عددًا يحقق النتيجة نفسها. ^[2]

تخيل أن خطوتين افتراضيتين أعطتا تصحيحين 4 ثم 1، لا 4 ثم 4. مع المعدل 0.25 تصبح الإضافتان 1 ثم 0.25. مجرد تقسيم المعدل إلى النصف ومضاعفة عدد الخطوات لا يخبرك بقيم التصحيحات الجديدة. هذا مثال يبين ما ينقص الحساب، وليس ادعاء بأن خفض المعدل سيولد هذه القيم بعينها.

كيف نراجع الاختيار؟

ضع قيمًا مرشحة للمعدل وعدد المراحل، وراقب المقياس الذي يهمك مع الوقت والذاكرة في مقارنة واضحة. هذه خطة مراجعة مقترحة؛ لا توجد هنا نتيجة تدعي أن 0.1 أو 0.25 هو الاختيار الأفضل.

قد يتطلب تقدم أبطأ مراحل أكثر، لكن معنى «أكثر» يحدد بقياس المقارنة لا بمعادلة تبديل ثابتة. احفظ أيضًا تعقيد الأشجار والخسارة وطريقة العينات عند المقارنة. إذا غيرتها كلها مع المعدل، فلن تعرف العامل الذي يفسر الفرق. حجم الخطوة جزء من طريق التعلم، ويحتاج الاختيار إلى النظر في الطريق كله.