إحماء معدل التعلم: كيف نصعد إلى المعدل المحدد في بداية التدريب؟

الخلاصة السريعة

في الإحماء نصعد بالمعدل في البداية؛ يجب تحديد نقطة البدء ومدة الصعود والجدول التالي، ولا توجد مدة مناسبة لكل تدريب. ^[1]

• نعرّف t بأنه عدد التحديثات المكتملة قبل التحديث التالي؛ مثالنا التحريري يبدأ من 0.02، بخلاف بداية الصفر في صيغة الدليل.
• في أربع فترات زيادة، تصعد القيم 0.02 ثم 0.04 ثم 0.06 ثم 0.08 ثم 0.1؛ الوصول عند t يساوي 4 يسبق التحديث الخامس.
• عند تدرج ثابت مفترض يساوي 3 ونزول بسيط، تتزايد مقادير الحركة من 0.06 إلى 0.3؛ هذا حساب لا قياس لاستقرار التدريب.
• نثبت المعدل بعد الصعود في مثالنا فقط؛ لا يحدد الإحماء وحده الجدول اللاحق، ولا يضمن إزالة كل عدم استقرار.

حدد البداية وما الذي يعده العداد

نختار جدولًا تعليميًا يبدأ عند 0.02 ويصل إلى 0.1. هذه بداية موجبة من إعداد المقال، وليست نقلًا حرفيًا لاقتراح الدليل الذي يبدأ عند الصفر. نسمي عدد التحديثات المكتملة t: عندما يكون صفرًا، لم نجر التحديث الأول بعد.

أهمية هذا التعريف تظهر عند عبارة «أربع خطوات إحماء». قد يقرأها شخص باعتبارها أربع قيم للمعدل، ويقرأها آخر باعتبارها أربع فترات زيادة بين خمس قيم. نكتب تعريفنا صراحة حتى لا تتغير الأرقام بمجرد اختلاف العد.

اقرأ خمس قيم لا أربعة أسماء

للقيم من t يساوي صفرًا إلى 4، نضع المعدل مساويًا 0.02 + 0.02 × t. عند الصفر نحصل على 0.02، وعند 1 على 0.04، وعند 2 على 0.06، وعند 3 على 0.08، وعند 4 على 0.1.

لذلك توجد أربع فترات صعود بين خمس قيم. القيمة الأخيرة ستستخدم قبل التحديث الخامس وفق تعريفنا. لم نستخرج هذه القيم من تجربة شبكة؛ اخترناها كي يراجع القارئ العلاقة بين العداد والمعدل دون برنامج.

إذا سجلت جدولًا مشابهًا، ضع في كل صف عدد التحديثات المنتهية والمعدل المستخدم في التحديث المقبل. كتابة رقم الصف فقط قد تخفي نقطة اختلاف بين سجلين.

افصل المعدل عن حركة المعامل

نفترض تدرجًا ثابتًا قيمته 3، ونستخدم نزولًا بسيطًا يطرح المعدل مضروبًا في التدرج من المعامل. مقادير الطرح في القيم الخمس هي 0.06، ثم 0.12، ثم 0.18، ثم 0.24، ثم 0.3. الإشارة هنا موجبة، فتكون الحركة إلى المعامل الأصغر.

ثبات التدرج افتراض للحساب، ولا نزعم أن شبكة تحتفظ بتدرج واحد أثناء التدريب. كما لا نستنتج أن الحركة الأصغر تقلل خسارة بعينها؛ لم نحدد دالة تنتج هذه التدرجات. عند محسن يحمل تاريخًا أو تحويلات إضافية، يلزم إدخال تلك القواعد أيضًا قبل حساب الإزاحة.

ماذا يأتي بعد الإحماء؟

بعد t يساوي 4، نختار إبقاء المعدل 0.1 في هذا الجدول. كان يمكن أن نحدد مرحلة تناقص لاحقة، لكن تعريف الإحماء وحده لا يختارها عنا. انتهى صعود البداية ولا تبدأ دورة جديدة تلقائيًا.

يناقش دليل Google الإحماء لمعالجة بعض صور عدم استقرار بداية التدريب، مع ضرورة اختيار المدة وفق التجربة. لا يقدم طولًا صالحًا لكل نموذج. ^[1]

قبل مقارنة جدولين، ثبت معنى العداد ونقطة البدء والمعدل النهائي والمرحلة التالية. ثم افحص سجل التدريب المقصود. مثالنا يساعد على قراءة الجدول؛ لا يثبت أن هذه القيم أو هذه المدة تحسن نموذجًا فعليًا.