معدل التعلم: متى تتقارب الخطوات ومتى تتأرجح؟

الخلاصة السريعة

في مثال (w−3)²، يتغير البعد الموقع عن الثلاثة بعامل 1−2η؛ يفسر هذا العامل التقارب أو التأرجح أو الابتعاد.

• لتفسير معدل التعلم نحتاج إلى دالة الخسارة والمشتقة والنقطة؛ رقم المعدل وحده لا يعطي حجم الحركة. ^[1]
• عند الخسارة (w−3)² والبداية 0، يعطي المعدل 0.25 القيم 0 ثم 1.5 ثم 2.25 ثم 2.625، فتقترب من 3.
• المعدل 1 يبدل 0 و 6 بخسارة ثابتة 9؛ والمعدل 1.25 يعطي 0 و 7.5 وسالب 3.75 ثم 13.125، مع ازدياد البعد.
• من البداية المختارة في هذه الدالة، يتحقق التقارب بمعدل ثابت بين 0 و 1 حصرًا؛ الحد يتغير بتغير الدالة وليس قاعدة اختيار لكل نموذج.

الخطوة ليست رقم المعدل وحده

تأخذ خطوة النزول المتدرج معدلًا مضروبًا بالتدرج؛ لذلك يتوقف مقدار الحركة على الاثنين. تحذر معالجة المصدر من البطء عند معدل صغير ومن تجاوز الحد الأدنى عند معدل كبير. ^[1]

نختار دالة افتراضية: مربع (w ناقص ثلاثة). مشتقتها ضعف (w ناقص ثلاثة)، وقيمتها الدنيا صفر عند الثلاثة. نبدأ عند الصفر، ونستعمل معدلًا ثابتًا موجبًا، دون زخم أو جدول تغير أو مصطلحات أخرى في التحديث.

نسمي الفرق w ناقص ثلاثة «البعد الموقع»، لأنه قد يكون سالبًا أو موجبًا؛ أما البعد المطلق فلا يحمل جهة. بعد خطوة الطرح يصبح الفرق الجديد (واحد ناقص ضعف المعدل) مضروبًا بالفرق القديم. هذا هو مفتاح المقارنة.

عامل صغير يجعل الخطأ ينكمش

مع معدل 0.25 يكون عامل الفرق 0.5. من الصفر نتجه إلى 1.5، ثم 2.25، ثم 2.625. الفروق عن الثلاثة هي سالب ثلاثة، وسالب 1.5، وسالب 0.75، وسالب 0.375.

تتراجع الخسائر من تسعة إلى 2.25 ثم 0.5625 ثم 0.140625. كل خطوة تضرب الفرق بنصف، والخسارة بربع، لأن دالتنا مربع الفرق. هذه سلسلة يدوية، لا قياس سرعة تعلم نموذج.

وقد يكون معدل أصغر أبطأ هنا: مع 0.01 تصبح أول قيمتين بعد الصفر 0.06 و 0.1188. المقارنة تثبت مقدار الحركة في البداية المحددة، ولا تكفي لتفضيل 0.25 في مسألة أخرى ذات مشتقة مختلفة.

العبور لا يعني الاقتراب

عند المعدل واحد، يصبح عامل الفرق سالب واحد. القيم تتناوب بين صفر وستة؛ تعبر الثلاثة في كل تحديث، لكن البعد المطلق يبقى ثلاثة والخسارة تسعة. التأرجح وحده ليس انخفاضًا في الخطأ.

عند معدل 1.25، يصبح العامل سالب 1.5. تبدأ القيم بصفر ثم 7.5 ثم سالب 3.75 ثم 13.125. يكبر البعد المطلق بمرة ونصف في كل خطوة، وتتزايد الخسائر إلى 20.25 و 45.5625 و 102.515625 بعد التسعة.

سجلنا القيم والخسائر معًا حتى نفرق بين عبور المركز وانكماش البعد. وجود قيم على جانبي الحل لا يدل وحده على الاستقرار؛ معدلنا الأخير يغير الجهة ويزيد المسافة في الوقت نفسه.

أي حد نستطيع إثباته هنا؟

بداية المثال فرقها غير صفري. لكي ينكمش الفرق عبر تكرار عامل ثابت، يجب أن تكون القيمة المطلقة لواحد ناقص ضعف المعدل أصغر من واحد. بحل ذلك، نجد المعدل أكبر من صفر وأصغر من واحد.

وعند المعدل 0.5 يصبح العامل صفرًا، فنصل إلى الثلاثة بخطوة واحدة في هذه الدالة. المعدل صفر لا يحرك البداية، والمعدل واحد يحافظ على البعد مع تغيير الجهة. استبعاد الطرفين جزء من الحد، وليس تفصيلًا اختياريًا.

إذا ضربنا الخسارة نفسها في ثابت موجب، تتغير مشتقتها ويتغير حد المعدل. لذلك لا نحول المجال الذي أثبتناه إلى وصفة للشبكات أو لكل مجموعة بيانات. الدرس هو ربط تفسير المعدل بالتحديث والدالة ومراقبة الخسارة التي حسبناها بالفعل.