النزول المتدرج: كيف تحدد جهة الخطوة وحجمها؟

الخلاصة السريعة

احسب مكونات التدرج عند المعلمات القديمة نفسها، ثم اطرح معدل التعلم مضروبًا بها؛ لا تحدث معلمة قبل حساب المكونات الباقية.

• في النزول المتدرج المعتاد تُحسب مكونات التدرج عند نقطة واحدة؛ طرحها بمعدل موجب يعطي اتجاه النزول للخطوات الصغيرة المناسبة. ^[1]
• لخسارة (w−1)²+2(z+1)² عند w=3 وz=1، يكون التدرج (4، 8) والخسارة 12.
• بمعدل 0.1 تصبح المعلمتان 2.6 و 0.2، وتنخفض خسارة المثال إلى 5.44؛ ذلك حساب يدوي لا نتيجة تدريب شبكة.
• التدرج الصفري يصف نقطة ساكنة، ولا يثبت وحده أنها أقل خسارة عامة؛ مثلًا تدرج الدالة سالب w² عند الصفر يساوي صفرًا.

أين نحسب الاتجاه؟

نفترض معلمتين مستقلتين، نسميهما w وz، ودالة خسارة محددة. نكتب قيمتيهما الحاليتين قبل الحساب، حتى لا يتغير موضع التقييم أثناء استخراج الاتجاه.

في التحديث المعتاد تحسب مشتقات الخسارة عند المعلمات الحالية، ثم تطرح حاصل ضرب معدل التعلم الموجب والتدرج. تدعم حجة التقريب المحلي اتجاه التدرج السالب لخطوة صغيرة مناسبة. ^[1]

عبارة مناسبة مهمة: اختيار جهة النزول لا يضمن أن أي قفزة كبيرة في هذه الجهة ستقلل الخسارة. ولتفسير تحديث واحد، تحتاج إلى الدالة والنقطة والمعدل، لا إلى اسم الخوارزمية وحده.

استخرج مركبتي التدرج من البداية نفسها

دالتنا من إعداد المقال هي مجموع (w ناقص واحد) تربيع، وضعفي (z زائد واحد) تربيع. نبدأ عند w يساوي ثلاثة وz يساوي واحدًا. حدها الأول أربعة والثاني ثمانية، فتكون الخسارة اثني عشر.

مشتقتها بالنسبة إلى w هي ضعف (w ناقص واحد)، ومشتقتها بالنسبة إلى z هي أربعة أضعاف (z زائد واحد). نعوض القيم القديمة نفسها، فنحصل على أربعة وثمانية.

لا تعني المركبة الثانية أن خسارتها ثمانية لأنها مساوية لها هنا مصادفة. المشتقة تصف التغير المحلي، بينما الخسارة قيمة الدالة. حفظ القائمتين باسمين مختلفين يمنع قراءة رقم التدرج بوصفه خطأ التنبؤ.

نفذ الطرح ثم تحقق من الخسارة

نختار معدلًا 0.1 لهذا الحساب. من w نطرح 0.4، فتصبح 2.6؛ ومن z نطرح 0.8، فتصبح 0.2. التحديثان مبنيان على التدرج القديم (4، 8)، لا على إعادة حساب بعد تحريك أحدهما.

نعوض في الدالة: مربع 1.6 يساوي 2.56، وضعفا مربع 1.2 يساويان 2.88؛ المجموع 5.44. مقارنة هذا العدد باثني عشر تثبت انخفاض هذه الخطوة في الدالة المحددة.

ولو قلت إننا حصلنا على دقة أعلى، لبدلت ما حسبناه بمقياس لم نحسبه. لدينا خسارة رياضية ومعلمتان فقط، دون بيانات اختبار أو شبكة مدربة. المثال يشرح التحديث ولا يقيس جودة نظام حقيقي.

هل يعني التدرج الصفري الوصول إلى الأفضل؟

في دالتنا السابقة أقل قيمة صفر عند w يساوي واحدًا وz يساوي سالب واحد؛ كل حد مربع غير سالب، ويمكن جعل الحدين صفرًا معًا. هذه حجة خاصة بالدالة، تتجاوز مجرد قراءة مشتقات صفرية.

قارنها بالدالة سالب w تربيع. مشتقتها سالب ضعف w، فتكون صفرًا عند الصفر، لكن قيمتها هناك صفر وتنخفض إلى سالب واحد عند w يساوي واحدًا. إذن الصفر نقطة عظمى لهذا المثال، لا نقطة دنيا.

عند وصف توقف تحديث، اكتب هل صار التدرج صغيرًا، أم أثبتت خاصية للدالة أن النقطة أقل خسارة. لا تحول علامة توقف حسابية إلى شهادة عن كل الحلول؛ مثال الدالتين يبين أن تفسير العلامة يعتمد على شكل المسألة.