AdamW: لماذا نفصل اضمحلال الأوزان عن تدرج عقوبة L2؟

الخلاصة السريعة

الفرق هو موضع تطبيق التقليص: خارج التقييس التكيفي للمتدرجات، بدل إدخال تدرج العقوبة في المسار نفسه. ^[1]

• عقوبة L2 تضيف تدرجًا يتناسب مع المعاملات؛ في طريقة تكيفية قد يختلف أثره بحسب تقييس كل معامل. ^[1]
• مع معاملين قيمتهما 2، وعقوبة معاملها 0.5، وتقييس ثابت 1 و 0.25، ومعدل 0.1، يعطي مسار العقوبة 1.9 و 1.975 عند تدرج خسارة صفري.
• تقليص منفصل نختاره بنسبة 5% يعطي 1.9 و 1.9؛ المثال بعوامل تقييس ثابتة وليس تشغيلًا كاملًا لحالات Adam.
• في AdamW لا يمر حد التقليص عبر متوسطات التدرج نفسها؛ هذا الفصل لا يثبت أفضلية عامة أو يجعل ضبط التقليص غير ضروري. ^[1]

أين تدخل عقوبة L2؟

إذا أضفنا نصف λ مضروبًا في مجموع مربعات المعاملات إلى الخسارة، يكون تدرج العقوبة λ مضروبًا في المعاملات. يدخل هذا التدرج مع تدرج الخسارة؛ وقد يخضع لتقييس مختلف لكل معامل في طريقة تكيفية. ^[1]

في المقابل، فكرة التقليص المنفصل هي تطبيق حد يتناسب مع قيم المعاملات خارج ذلك التقييس. ^[1] لا نكتفي باسم «تنظيم» في الإجراءين؛ نبحث عن المسار الذي يدخل منه الحد إلى معادلة التحديث.

اعزل التقييس في مثال صغير

نصنع مقارنة حسابية من إعداد المقال بعاملَي تقييس ثابتين، لا بجميع حالات Adam ومراحل تحديثها. نفرض معاملين عند القيمة 2، وتدرج خسارة يساوي صفرًا لكليهما. نختار λ يساوي 0.5، فتكون مركبتا تدرج العقوبة 1 و 1.

افترض أن الطريقة تضرب المركبة الأولى في 1 والثانية في 0.25، ثم تطبق معدلًا 0.1. تكون حركتا العقوبة 0.1 و 0.025، فتصير قيمتا المعاملين 1.9 و 1.975. بدأت القيمتان متساويتين لكن التقييس غير المتساوي غير مقدار التقليص.

نثبت عوامل التقييس كي نعزل موقع الحد، كما تناقش الورقة عدم التكافؤ عند تقييس ثابت. ^[1] لا يعني ذلك أن عوامل Adam الحقيقية تبقى ثابتة، أو أن هذه الأرقام ستظهر عند استدعاء محسن جاهز. إنها حالة حسابية محددة وليست سجل تدريب.

قارن بتقليص مباشر معلن

اختر الآن تقليصًا منفصلًا مقداره 5% من كل معامل، أي اضرب كل قيمة في 0.95. تصبح القيمتان 2 ×0.95 =1.9 و 1.9. لم نقسم التقليص الثاني على أربعة كما فعلنا بتدرج العقوبة في المثال السابق.

هذه النسبة اختيار معلن للمقارنة. إذا كتبنا حد التقليص بصيغة η × λ × المعامل، فقيمتا 0.1 و 0.5 تعطيان 5%. لكن بعض الصيغ تجمع المعدل مع معامل التقليص أو تفصله عنه؛ لذلك اكتب حاصل التقليص الفعلي بدل مساواة أسماء المتغيرات بين مصدرين تلقائيًا.

يساعد تثبيت تدرج الخسارة عند صفر على رؤية الفرق وحده. إذا أضفنا تدرجًا آخر أو غيرنا عوامل التقييس أو حالة المحسن، وجب إعادة الحساب. تطابق الناتج الأول 1.9 بين المسارين لا يجعل المسارين متكافئين؛ الناتج الثاني مختلف في الحالة نفسها.

ما الذي يفصله AdamW فعلًا؟

تحدث خوارزمية AdamW متوسطات التدرج باستخدام تدرج الخسارة دون إدخال حد اضمحلال الأوزان إليها، وتطرح حد التقليص خارج النسبة التكيفية. ^[1]

المثال الثابت يشرح لماذا يهم هذا الموضع، لكنه لا ينفذ لحظتين وتصحيح انحياز وخطوات متتابعة لمحسن كامل. لا نستنتج منه دقة أعلى أو تعميمًا أفضل في كل مهمة. وقبل مقارنة إعدادين، تحقق من تعريف معامل التقليص ومن المعاملات التي يطبق عليها، ثم قيم النتائج الخاصة بالمهمة؛ الفصل الحسابي لا يختار شدة التقليص بدلًا منك.