شجرة القرار خارج نطاق التدريب: لماذا لا تستقرئ جيدًا؟

الخلاصة السريعة

إذا كانت الأوراق تعيد متوسطات فقط، فإن مدخلًا بعيدًا لا يولد اتجاهًا جديدًا تلقائيًا. هذا قيد لشكل التنبؤ، وليس حكمًا على كل نموذج يستخدم أشجارًا.

• ورقة squared_error تعيد متوسط أهداف أمثلتها؛ ليست معادلة اتجاه تتغير داخل الورقة. ^[1]
• متوسط قيم تقع بين 2 و 8 لا يمكن أن يخرج عن 2 و 8؛ هذا استنتاج حسابي لشجرة أوراق المتوسط.
• نطاق المدخل يختلف عن نطاق الهدف؛ بطاقة بخاصية داخل الحدود قد تجمع خصائص لم تظهر معًا.
• لا تعمم الحكم على أوراق خطية؛ توثق LightGBM خيارًا يجعل نموذج الورقة خطيًا، مع أول شجرة ثابتة الأوراق. ^[2]

ما الذي تتعلمه ورقة المتوسط؟

تحدد وثائق DecisionTreeRegressor أن معيار الخطأ التربيعي يستخدم متوسط كل عقدة طرفية. ^[1]

نفترض شجرة رسمناها لتوضيح تقدير مؤشر عددي، وأهداف التدريب فيها 2 و 4 و 6 و 8. إحدى الورقتين تحمل متوسط 2 و 4 وهو 3، والأخرى متوسط 6 و 8 وهو 7. حين تصل بطاقة جديدة إلى الورقة الثانية تعيد 7 وفق القاعدة نفسها، سواء كانت قيمة الخاصية أكبر قليلًا من الحد أو أبعد كثيرًا. لا نقول إن 7 قيمة صحيحة للحالة الجديدة؛ إنها ما يعيده رسمنا.

لماذا لا يتجاوز المتوسط حدود أهداف التدريب؟

كل قيمة في مثالنا تقع بين 2 و 8. جمع أي مجموعة منها ثم القسمة على عددها لا يعطي قيمة أصغر من 2 أو أكبر من 8. لذلك جميع متوسطات الأوراق غير الفارغة تقع داخل هذا المجال. هذا برهان حسابي مبسط على أرقام اخترناها، وليس نتيجة اختبار مكتبة.

حتى لو قسمنا البيانات إلى أوراق أكثر، لن يصنع المتوسط هدفًا 9 من أهداف لا تتجاوز 8. المشكلة هنا في قاعدة القيمة النهائية، وليست مجرد نقص في عدد الأسئلة. الاستنتاج مشروط بوجود أوراق تعيد المتوسطات كما وصفنا؛ لا نمده إلى مجموع أشجار مع دوال أخرى أو أوراق لها نموذج مختلف.

كيف نفرق نطاق المدخل عن نطاق الهدف؟

قيم 2 إلى 8 السابقة أهداف، وليست حدود الخصائص التي يسأل عنها النموذج. لنفترض أن خاصية أولى ظهرت بين 10 و 20، وأن بطاقة جديدة تحمل 30. خروج 30 عن هذا المجال يتعلق بالمدخل، بينما بقاء التنبؤ 7 يتعلق بالأهداف وقاعدة الورقة. لا تقارن 30 و 7 وتستنتج أنهما على المقياس نفسه.

ومع خاصيتين، قد تكون كل واحدة داخل مجالها منفردة، لكن اجتماع القيم جديد. إذا رأت البطاقات طولًا 10 مع عرض 20 وطولًا 20 مع عرض 10، فالزوج(20، 20) لم يظهر رغم أن 20 داخل مجال كل عمود. هذه ملاحظة عن مثال محدود تدعو إلى مراجعة الحالات المركبة؛ لا تثبت وحدها خطأ كل تنبؤ فيه.

هل ينطبق القيد على كل أشكال الأشجار؟

توثق LightGBM أن linear_tree يجعل نموذج الورقة خطيًا بدل ثابت، مع ثبات أوراق الشجرة الأولى. لذا تختلف الفرضية عن أوراق المتوسط التي ناقشناها. ^[2]

يمكن لمعادلة خطية مصطنعة مثل المؤشر = الخاصية ÷2 أن تعطي 15 عند الخاصية 30؛ لكن القدرة الحسابية على إخراج 15 لا تثبت صحة الاستقراء. افحص نوع الورقة أولًا، ثم تحقق من ملاءمة الاتجاه للمهمة. إذا امتد الاستخدام بعيدًا عن الأمثلة المتاحة، سجل ذلك ضمن حدود التنبؤ بدل الاكتفاء بوجود رقم يمكن للنموذج إرجاعه.