الزخم في تدريب النماذج: لماذا لا يحدد التدرج الحالي الحركة وحده؟

الخلاصة السريعة

في الصيغة الموضحة، نضرب الحالة السابقة في معامل الزخم، ونضيف التدرج الحالي، ثم نطرح معدل التعلم مضروبًا في الحالة الجديدة. ^[1]

• الحالة هنا تجمع التدرجات ولا تشمل معدل التعلم؛ يجب تثبيت هذا التعريف قبل قراءة الأرقام. ^[1]
• مع حالة أولية صفرية، وزخم 0.5، وتدرجات مفترضة 2 ثم 2 ثم سالب 1، تصبح الحالات 2 ثم 3 ثم 0.5.
• من معامل قيمته 10 ومعدل تعلم 0.2، تتتابع القيم 9.6 ثم 9 ثم 8.9؛ انقلاب التدرج الأخير لا يقلب الحركة فورًا في هذا المثال.
• تصفير الحالة عند المعامل 9 يعطي 9.2 في الخطوة المفترضة التالية، بدل 8.9 عند الاحتفاظ بها؛ الأرقام لا تثبت انخفاض الخسارة.

ابدأ بتعريف الحالة المخزنة

تكتب صيغة الكتاب الحالة الجديدة هكذا: u الجديدة = β × u القديمة + g. ثم يصبح المعامل الجديد w الجديدة = w القديمة − η × u الجديدة. يمثل g التدرج الحالي، وβ معامل الزخم، وη معدل التعلم. ^[1]

نستخدم الحرف u كي نتذكر أن هذه الحالة تجمع التدرجات؛ ليست الإزاحة نفسها. إذا قرأت صيغة تجعل «السرعة» تشمل معدل التعلم والإشارة السالبة، فلن تنقل أرقام الحالة بين الصيغتين بلا تحويل. اختيار الرموز وحده لا يكفي لتحديد معناها.

تابع أثر التدرجات القديمة

نصنع سجلًا تعليميًا من ثلاث قيم تدرج: 2، ثم 2، ثم سالب 1. هذه مدخلات مفترضة للحساب، ولم نستخرجها من تشغيل شبكة أو من دالة خسارة محددة. نبدأ بحالة صفرية، ونختار β يساوي 0.5.

بعد التدرج الأول نحصل على 0.5 × صفر + 2 = 2. وبعد الثاني نحصل على 0.5 × 2 + 2 = 3. وفي الخطوة الثالثة يصبح الحساب 0.5 × 3 − 1 = 0.5. ساهم التاريخ بمقدار 1.5، فأبقى الناتج موجبًا رغم سلبية التدرج الجديد.

يمكن فك العلاقة لرؤية أوزان الماضي المتناقصة بقوى β. ^[1] وفي سجلنا، كانت الحالة السابقة كافية لتمثيل ما نحتاجه من التاريخ؛ لا نحتاج إلى إعادة كتابة كل تدرج قديم لإتمام الخطوة الثالثة.

اربط الحالة بحركة المعامل

اختر معاملًا ابتدائيًا w يساوي 10، ومعدل تعلم ثابتًا η يساوي 0.2. بطرح المعدل مضروبًا في الحالات المحسوبة نحصل تباعًا على: 10 − 0.4 = 9.6، ثم 9.6 − 0.6 = 9، ثم 9 − 0.1 = 8.9.

التدرج الأخير وحده، لو استخدمناه في نزول بلا زخم، يدفع المعامل من 9 إلى 9.2. لكن الحالة المتراكمة في مثالنا تبقي الحركة إلى القيمة الأصغر. هذه مقارنة حسابية عند المعامل نفسه والتدرج المفترض نفسه؛ لا تعني أن اتجاهًا معينًا أفضل دائمًا.

إذا أردت تفسير خطوة، فسجل الحالة قبلها وبعدها، إلى جانب التدرج ومعدل التعلم. وصف التدرج الحالي فقط يحذف السبب الحسابي لبقاء الاتجاه السابق في هذا السجل.

ماذا يحدث إذا صفرت التاريخ؟

نعود إلى المعامل 9 قبل الخطوة الأخيرة. مع الاحتفاظ بالحالة 3 نحصل على 8.9. أما إذا صفّرنا الحالة، ثم أدخلنا التدرج سالب 1، فتصبح الحالة الجديدة سالب 1 ويصير المعامل 9.2. تغيرت الحالة الابتدائية للخطوة، فتغير الناتج.

لهذا، لا يكفي تطابق المعامل الحالي لتطابق الخطوة التالية في المثال؛ يلزم أيضًا تطابق الحالة والإعدادات والمدخل. الأرقام تشرح أثر الاحتفاظ بالتاريخ ولا تقيس سرعة تدريب أو جودة نموذج. ولأننا لم نحدد الخسارة التي أنتجت التدرجات، لا نستنتج من تناقص المعامل تناقص الخسارة.