معدل التعلم الدوري: كيف تعود الدورة المثلثية إلى بدايتها؟

الخلاصة السريعة

الدورة المثلثية تضم صعودًا وهبوطًا؛ تمثل stepsize نصف الدورة في تعريف الورقة، ولا تعني طول الدورة الكاملة. ^[1]

• الجدول الدوري المثلثي يعود بين حد أدنى وأعلى، بخلاف صعود أولي واحد يليه جدول آخر. ^[1]
• في مثالنا الحد الأدنى 0.02 والأعلى 0.1، ونصف الدورة فترتان؛ القيم المتتابعة 0.02 و 0.06 و 0.1 و 0.06 و 0.02.
• عند t يساوي 4 تبدأ دورة كاملة جديدة، ثم تأتي 0.06 و 0.1؛ لا نخَفّض سعة الدورات في هذا المثال.
• التدرج المفترض الثابت يوضح اختلاف الحركات في النزول البسيط؛ لا يثبت أن حدينا أو الدورات تحسن تدريب نموذج.

ما الذي يجعل المعدل دوريًا؟

تقترح الورقة جداول تتكرر بين حدين، وتعرض المثلثي الذي يزيد المعدل خطيًا ثم ينقصه خطيًا. كما تعرض تنويعات تغير السعة؛ لا نخلطها مع المثلثي ثابت السعة هنا. ^[1]

المطلوب في مثالنا أن تكتمل العودة إلى البداية ثم يتكرر المسار. الصعود وحده لا يصنع دورة. إذا قرأت خمس قيم متزايدة في بداية تدريب، فلا تسمها دورة مثلثية قبل معرفة ما يأتي بعدها.

اختر الحدين ونصف الدورة

نجعل الحد الأدنى 0.02 والأعلى 0.1. الفرق بينهما 0.08. نختار فترتين للوصول من الأدنى إلى الأعلى، فتكون الزيادة في كل فترة 0.04. نعرّف t بأنه عدد التحديثات المكتملة قبل استخدام المعدل التالي.

عند t يساوي صفرًا يكون المعدل 0.02. وعند 1 يصبح 0.06، وعند 2 يصل إلى 0.1. في النصف الهابط، عند 3 يعود إلى 0.06، وعند 4 يصل إلى 0.02. اكتملت دورة طولها أربع فترات، لا فترتان.

تسمي الورقة طول نصف الدورة stepsize. ^[1] لذلك نقل الرقم 2 بوصفه طول الدورة الكاملة سيجعل العودة تحدث في وقت مختلف. سجّل الوحدة أيضًا: نحن نعد تحديثات لا دورات مرور على مجموعة البيانات.

تابع بداية الدورة الثانية

بعد العودة عند t يساوي 4، يصبح المعدل عند 5 مساويًا 0.06 وعند 6 مساويًا 0.1. حافظنا على الحدين نفسيهما. لم نستخدم تنويعًا يخفض ارتفاع القمة في كل دورة، ولم نضف مرحلة تناقص أخرى.

رسم هذه القيم على خط زمني يعطي قمة عند 2 ثم قمة عند 6. المسافة أربع فترات. أما المسافة من القاع إلى القمة فهي فترتان. قراءة القمم والقيعان تجعل الفرق بين طول الدورة ونصفها ظاهرًا دون حفظ معادلة كبيرة.

الأرقام من إعداد المقال. لم نجر اختبارًا لاختيار الحدين، ولا نستدل من انتظام الرسم على انتظام خسارة النموذج؛ الجدول يحدد المعدل فقط.

كيف يظهر التغير في خطوة حسابية؟

نفترض تدرجًا قيمته 2 عند كل خطوة، مع نزول بسيط بلا حالة إضافية. مقادير الطرح المقابلة لأول ثلاث قيم هي 0.04، ثم 0.12، ثم 0.2. تعود الحركة إلى 0.12 ثم 0.04 عند الهبوط. حساب الحركة هنا يضرب معدلًا معلومًا في تدرج مفترض ثابت.

لا تعني العودة إلى معدل سابق العودة إلى معامل سابق. لو بدأنا من 5، وطبقنا الحركات الخمس الأولى، يصبح المعامل 4.48؛ لا يعود إلى 5 لأن الحركات كلها في الاتجاه نفسه في فرضنا.

قبل استخدام جدول دوري، اكتب حدوده ووحدة عدّه وشكله وما إذا كانت سعته ثابتة. ثم قيّم الاختيار على التدريب المقصود. هذا المثال يفسر بنية الدورة ولا يقرر أفضل جدول أو أفضل حدود.