انحدار Lasso: لماذا تصبح بعض المعاملات صفرًا؟

الخلاصة السريعة

يمكن لـLasso أن يجعل بعض المعاملات صفرًا بالضبط. هذا وصف لحل نموذج معين، ولا يثبت أن الخاصية بلا فائدة في كل مهمة. ^[2]

• يسمح تنظيم L1 في Lasso بمعاملات تساوي صفرًا، ولا يفرض أن كل معامل سيصبح صفرًا. ^[2]
• في مثال معامل واحد دون ثابت، الهدف هو 0.5×(0.4−w)²+alpha×|w|؛ اخترنا x=1 وy=0.4.
• عندما alpha=0.5 في المثال، تكون كل قيمة غير صفرية أسوأ من w=0؛ وعند alpha=0.1 يكون الحل w=0.3.
• معامل صفري يلغي مساهمة هذه الخاصية في المعادلة المحددة؛ افحص السياق والنتائج قبل تعميم عدم فائدتها.

ما الفرق بين القيمة المطلقة والمربع؟

توثيق Lasso يعرض الهدف: مجموع مربعات المتبقيات مقسومًا على 2n، ثم alpha مضروبة في مجموع القيم المطلقة للمعاملات. ^[1]

للمعامل 2، القيمة المطلقة 2 والمربع 4؛ وللمعامل −2، كلاهما يعطي مقدارًا موجبًا بالطريقة نفسها التي يعطيها للمعامل 2. لكن عقوبة القيمة المطلقة لها زاوية عند الصفر، بخلاف منحنى المربع. سنقرأ أثرها بحساب صغير، بدل الاكتفاء برسم تقريبي يوحي أن الصفر نتيجة حتمية لكل مسألة.

معامل يصغر دون أن يصل إلى الصفر

المثال من إعداد المقال، بملاحظة واحدة x=1 وy=0.4، ولا نضيف ثابتًا. من الصيغة المذكورة، يكون الهدف 0.5×(0.4−w)²+alpha×|w|. نختار أولًا alpha=0.1.

عندما w غير سالب، يمكن كتابة الهدف 0.5×(w−0.3)²+0.035؛ لذلك أقل قيمة في هذا الجزء عند w=0.3. وإذا كان w سالبًا، يصبح مقدار المتبقي أكبر من 0.4، وتضاف إليه عقوبة موجبة؛ فيتجاوز الهدف 0.08. إذن الحل العام هو 0.3، وهدفه 0.035.

للمقارنة، عند w=0.4 تكون الملاءمة تامة، لكن الهدف 0.04. وعند w=0 يكون الهدف 0.08. الحل 0.3 يتنازل عن ملاءمة تامة ليخفض الهدف الكلي، ولم يلغ المعامل. هذه أرقام جبرية توضيحية، وليست تجربة تنبؤ على بيانات جديدة.

متى يكون الصفر أفضل في المثال نفسه؟

لنرفع alpha إلى 0.5 مع إبقاء الملاحظة كما هي. عندما w≥0، يصبح الهدف 0.5w²+0.1w+0.08. كل من الحدين المضافين إلى 0.08 غير سالب، ولا يساوي مجموعهما صفرًا إلا عند w=0.

وعندما w<0، يكون الهدف 0.5w²−0.9w+0.08، وهو أكبر من 0.08 أيضًا لأن −0.9w موجب. لذلك الصفر هنا أفضل من كل قيمة موجبة أو سالبة، لا مجرد معامل صغير قرب الصفر. وهذا يبين كيف يمكن للعقوبة أن تختار صفرًا بالضبط دون تعديل القيمة المرصودة 0.4.

هل حذف المعامل حكم على معنى الخاصية؟

يميل Lasso إلى حلول بعدد أقل من المعاملات غير الصفرية، ويمكن استخدامه لاختيار خصائص. ^[2]

لكن حل مثالنا اقتصر على ملاحظة واحدة ومعامل واحد ووزن عقوبة اخترناه. قول «w=0 عند alpha=0.5» لا يساوي قول «المدخل x عديم الفائدة مهما تغيرت البيانات». لقد رأينا بأنفسنا أن المعامل لم يكن صفرًا عند الوزن الآخر.

إذا استخدمت اختيار الخصائص عمليًا، سجل الوزن وصيغة الهدف والخصائص المتاحة ونتائج المهمة. لا تسمِّ حذف معامل اكتشافًا لسبب في العالم، ولا تستنتج تفوق النموذج من عدد الأصفار وحده. التعليل الذي قدمناه يثبت اختيارًا رياضيًا لهذه الحالة المحدودة فقط.