نمو LightGBM ورقة بعد ورقة يختار الورقة التي يحقق تقسيمها أكبر تغير مفيد في الخسارة، بدل اشتراط توسيع كل أوراق مستوى واحد معًا. قد ينمو فرع أكثر من فرع آخر. [1]
الخلاصة السريعة
قارن مكاسب تقسيم الأوراق المرشحة واختر الأكبر ضمن القيود. افصل عدد الأوراق عن عمق الشجرة، واضبط التعقيد؛ وضع max_depth لا يحول LightGBM إلى نمو مستوى بعد مستوى. [1]
- يوثق LightGBM اختيار الورقة ذات أكبر تغير في الخسارة للنمو؛ القاعدة تخص اختيار الورقة التالية. [1]
- في المثال مكسب اليمين 0.09 أكبر من اليسار 0.04، فينقسم اليمين؛ الأرقام مصطنعة.
- عدد الأوراق يختلف عن أطول مسار؛ راجع num_leaves وmin_data_in_leaf وmax_depth معًا. [2]
- يبقى النمو ورقيًا عند تعيين max_depth؛ قد يؤدي هذا النهج إلى فرط ملاءمة مع بيانات قليلة دون ضبط مناسب. [1]
أي ورقة تنمو أولًا؟
تصف وثائق LightGBM النمو بأنه leaf-wise أو best-first، مع اختيار الورقة ذات أكبر تغير في الخسارة. [1]
نفترض شجرة لها ورقتان، يسار ويمين، وتقسيمان مسموحان. لتقسيم اليسار مكسب 0.04، ولليمين 0.09. إذا كنا نختار المكسب الأكبر في المثال، ينقسم اليمين إلى ابنين ويبقى اليسار كما هو. لم نقس هذه المكاسب، بل فرضناها لتوضيح قرار واحد.
لا يعني الاختيار أن الورقة اليمنى أفضل دائمًا. لو تغيرت المقارنة أو القيود أو البيانات، فقد يقع القرار على ورقة أخرى. اسم الاتجاه على الرسم مجرد موضع، وليس خاصية يرجحها النموذج في كل مسألة.
كيف يصبح الفرع أطول؟
بعد تقسيم اليمين أصبحت لدينا ثلاث أوراق: اليسار القديم وابنا اليمين. نفرض في الخطوة التالية أن أحد ابني اليمين يتيح مكسب 0.07، بينما لا يزال مكسب اليسار 0.04. ينمو الابن المختار، فتصير الأوراق أربعًا، ويصبح ذلك الفرع أعمق من جهة اليسار.
هذه متابعة حسابية لشجرة مصطنعة. لا نحتاج إلى تقسيم اليسار كي نحافظ على شكل متوازن بصريًا. وعند رسم التتابع، أظهر الورقة التي استبدلت بابنين، لا دائرة جديدة توحي بإضافة مخرج دون تقسيم. في شجرة ثنائية، هذه الخطوة تزيد عدد الأوراق بواحدة.
عدد الأوراق ليس العمق
يناقش دليل الضبط num_leaves للتحكم في التعقيد، وmin_data_in_leaf لحجم الورقة، وmax_depth لتحديد العمق. وينبه إلى أن التحويل البسيط بين عدد الأوراق وعمق نمو المستويات ليس ضبطًا عمليًا كافيًا. [2]
في مثالنا أربع أوراق لا تخبرك بأن جميع المسارات تحتوي العدد نفسه من الاختبارات. ارسم المسارات وعدها، ثم عد الأوراق في قائمة أخرى. الأول يصف طول الطريق إلى النتيجة، والثاني يصف عدد مناطق المخرجات. لا تنقل عددًا افتراضيًا للأوراق من مثال تعليمي وتعتبره مناسبًا لأي بيانات.
هل حد العمق يغير طريقة النمو؟
توضح الوثائق أن الأشجار تظل تنمو ورقيًا عند تحديد max_depth، وتنبه إلى خطر فرط الملاءمة مع بيانات قليلة. [1]
حد العمق يمنع خيارات تتجاوز القيد، لكنه لا يفرض أن تنمو بقية الأوراق كلها في مستوى واحد. راجع المكاسب بين الخيارات المسموحة، ثم قيم أثر القيود في المهمة. هذا يفسر الفرق بين قاعدة ترتيب النمو وقاعدة منع تعقيد زائد.
لا يكفي أن تبدو الشجرة غير متناظرة للحكم بأنها خاطئة، أو أن تبدو متوازنة للحكم بأنها جيدة. سجل الإعدادات والتقييم والتكلفة، وراجع نجاح النموذج على ما يهمك. في هذا المثال فهمنا اختيار ورقة، ولم نثبت تفوق LightGBM أو سرعة معينة.
المصادر ومتابعة القراءة
- LightGBM: Features — Leaf-wise Tree Growth (يفتح في نافذة جديدة)lightgbm.readthedocs.io
- LightGBM: Parameters Tuning (يفتح في نافذة جديدة)lightgbm.readthedocs.io
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.