انحدار Ridge: ماذا يغير تقليص المعاملات؟

الخلاصة السريعة

يوازن Ridge بين الملاءمة وعقوبة مربعات المعاملات؛ في مثال معامل واحد دون ثابت، زيادة alpha تقلص الحل، ولا تثبت تحسن التنبؤ. ^[1]

• الهدف المعروض في توثيق Ridge هو ||y−Xw||²+alpha×||w||². ^[1]
• في المثال المصطنع x=1 وy=4 دون ثابت، يتغير الحل من 4 إلى 2 ثم 1 عندما alpha تساوي 0 ثم 1 ثم 3.
• تقليل الهدف الكامل لا يعني تقليل المتبقي وحده؛ عقوبة المعامل تغير المفاضلة في المثال.
• alpha=0 تعيد المربعات الصغرى رياضيًا؛ يوصي التوثيق باستعمال LinearRegression لها لأسباب عددية، وقارن تعريف الهدف قبل الأرقام. ^[1]

ما الذي أضيف إلى المربعات الصغرى؟

يجمع هدف Ridge في هذا التنفيذ مقدارين: مجموع مربعات y−Xw، وalpha مضروبة في مجموع مربعات المعاملات. وتحدد alpha قوة التنظيم. ^[1]

لا تمثل العقوبة صفًا إضافيًا في البيانات ولا قيمة فعلية جديدة للنتيجة. إنها جزء من السؤال الرياضي الذي نطلب من المحلل تقليله. لقراءة تقرير تجربة، ضع عمودًا لخطأ الملاءمة وعمودًا للعقوبة؛ جمعهما هو الهدف المذكور، بينما الأول وحده يجيب عن سؤال مختلف.

حساب معامل واحد دون ثابت

نختار حالة صغيرة من إعداد المقال: ملاحظة واحدة x=1 وy=4، ومعامل واحد w، ولا يوجد ثابت. يصبح الهدف (4−w)²+alpha×w². عندما alpha=0، يبلغ الهدف صفرًا عند w=4.

وعند alpha=1، يمكن كتابة الهدف 2(w−2)²+8. أصغر قيمة للمربع صفر، لذلك الحل w=2 والهدف 8. أما عند alpha=3، فهو 4(w−1)²+12، فيكون الحل w=1 والهدف 12. هذه مساواة جبرية، لا نتيجة تدريب نموذج على ملف.

إذن لدينا تسلسل حلول 4 ثم 2 ثم 1 في هذه الحالة ذات المعامل الواحد. لا نعمم هذا التسلسل على حركة كل معامل منفرد في مسألة متعددة الخصائص؛ حسابنا لم يفحص خصائص مترابطة أو ثابتًا أو معاملات أخرى.

هل الحل الذي يلائم النقطة تمامًا أفضل للهدف؟

لنثبت alpha=1 ونقارن مرشحين. عند w=4 يكون المتبقي صفرًا، والعقوبة 16، والهدف 16. عند w=2 يكون مربع المتبقي 4، والعقوبة 4، والهدف 8. لذلك يفضل الهدف الكامل المرشح الثاني رغم أن ملاءمته للنقطة أقل إحكامًا.

من الخطأ وصف الفرق بأنه تصحيح لقيمة y أو دليل أن y=4 غير موثوقة. لم نغير الملاحظة؛ غيرنا الكلفة التي نستخدمها لاختيار w. وإذا كانت قيمة جديدة مطلوبة للتنبؤ، فلن تعرف من الحساب وحده أي الاختيارين يقترب من حقيقتها. تحتاج إلى تلك الحقيقة أو إلى مقارنة مناسبة لاحقًا.

كيف نقرأ alpha خارج هذا المثال؟

يذكر التوثيق أن alpha=0 تعادل المربعات الصغرى، ويوصي وقتها بـLinearRegression بدل Ridge لأسباب عددية. ^[1]

قبل نقل alpha=1 إلى برنامج آخر، اقرأ الصيغة: هل مجموع المتبقيات مقسوم على عدد الأمثلة؟ وهل توجد عوامل نصف؟ إن اختلفت الصيغة، فقد يتغير الوزن النسبي للعقوبة رغم بقاء الرقم واحدًا. كذلك لا تجعل 1 اختيارًا موصى به لكل مهمة؛ إنه رقم اخترناه لإكمال المربع في المثال.

احتفظ في تقريرك بوجود الثابت من عدمه، وصيغة الهدف، والمعامل المختار، ونتيجة التنبؤ المرصودة. بهذه المعلومات يفهم القارئ لماذا تنازل الحل عن بعض الملاءمة، وما الدليل المتاح على فائدته خارج النقطة التي حسبناها.