تقنية

جدول جيب التمام لمعدل التعلم: كيف ينخفض خلال فترة واحدة؟

خمس عقد تعرض جدول جيب تمام لمعدل تعلم خلال أربعة تحديثات ثم تثبيته عند النهاية
هذه قيم معدل التعلم المحسوبة، وليست قياسات خسارة أو نسبة اكتمال تعلم.

يربط جدول جيب التمام معدل التعلم بموضعه خلال فترة محددة وفق منحنى يصل بين طرفين. [1]

الخلاصة السريعة

تخفض النسخة الموضحة المعدل خلال فترة واحدة، ثم تثبته دون إعادة رفعه. [1]

  • نحدد المعدل الأولي والنهائي وطول الفترة T؛ معادلة الكتاب تستخدم جيب تمام π مضروبًا في t ÷ T خلال الفترة. [1]
  • للبداية 0.12 والنهاية 0.02 وT يساوي 4، تكون القيم عند t من 0 إلى 4 نحو 0.12 و 0.10536 و 0.07 و 0.03464 و 0.02.
  • بعد T نثبت المعدل عند 0.02 في هذه النسخة؛ تمديد العلاقة دوريًا أو إعادة رفع المعدل يصف اختيارًا مختلفًا. [1]
  • عند منتصف الفترة يصبح المعدل 0.07 في المثال، ولا يعني هذا بلوغ نصف دقة ممكنة أو اكتمال نصف التعلم.

حدد طرفي الفترة وعدّادها

يعطي الكتاب العلاقة: η(t) = η النهاية + نصف الفرق بين المعدل الأولي والنهائي × (1 + cos(π × t ÷ T))، عندما t بين صفر وT. [1]

في مثالنا نعد التحديثات المكتملة قبل التحديث التالي. نختار T يساوي 4، وبداية 0.12، ونهاية 0.02، من دون مرحلة إحماء. هذه خيارات تعليمية وليست توصية لمهمة أو إعدادات افتراضية لمكتبة. الفرق بين الطرفين 0.10، ونصفه 0.05.

بهذا تصبح العلاقة الخاصة بالمثال: 0.02 + 0.05 × (1 + cos(π × t ÷4)). يحتفظ المعدل بوظيفته كعامل في التحديث؛ وجود منحنى ناعم لا يحدد وحده اتجاه التدرج أو نجاح التدريب.

راجع خمس قيم بدل اسم المنحنى

عند t صفر يكون جيب التمام 1؛ نحصل على 0.02 +0.05 ×2 =0.12. وعند t واحد يكون جيب تمام π ÷4 نحو 0.707107، فيكون المعدل نحو 0.105355. قربنا الرقم لأجل العرض، ولم نغير طرفي الفترة.

في المنتصف، عند t اثنين، يكون جيب تمام π ÷2 صفرًا؛ المعدل 0.07. وعند t ثلاثة يكون جيب تمام 3π ÷4 نحو سالب 0.707107؛ المعدل نحو 0.034645. وعند t أربعة يكون جيب تمام π سالب 1، فتبقى القيمة النهائية 0.02.

لاحظ أن الفروق بين القيم المتجاورة ليست ثابتة. الانخفاض من البداية إلى القيمة الثانية أصغر من الانخفاض التالي. لذلك ليس هذا خطًا مستقيمًا ولا جدولًا يقسم المعدل على اثنين كل تحديث. الأرقام الخمسة تمكنك من التحقق من شكل الاختيار دون تشغيل نموذج.

ماذا يحدث بعد نهاية الفترة؟

بعد T تثبت النسخة التي يشرحها الكتاب المعدل عند القيمة النهائية دون زيادته مجددًا. [1] لذا يكون المعدل في مثالنا 0.02 عند t خمسة وستة أيضًا؛ لا نستمر في إدخال هذين الرقمين في العلاقة الداخلية على أنها دورية.

إذا مددنا جيب التمام حسابيًا بعد الحد، فإنه سيغير المسار الذي أعلنّاه. كما أن خطة إعادة التشغيل التي ترفع المعدل إلى قيمة أعلى تحتاج تعريفًا مستقلًا لبدايات فتراتها وأطوالها. اختيار اسم «جيب التمام» وحده لا يخبر القارئ أيهما قصدنا.

لم نطبق إحماء قبل البداية، ولم نختبر دورة ثانية. كتابة هذين الشرطين بجانب الرسم تبقي القيم معبرة عن فترة واحدة فعلًا، وتمنع قراءة البداية 0.12 على أنها قيمة بعد مرحلة لم نحسبها.

لا تجعل الموضع الزمني مقياسًا للفهم

منتصف الفترة عند t اثنين أعطانا 0.07، وهي منتصف المعدلين في هذا المثال. لا يحمل هذا الرقم معلومات عن نسبة دقة النموذج أو عدد الأنماط التي تعلمها. إنه نتيجة المعادلة والعداد والطرفين فقط.

كما لا يكفي انخفاض المعدل للقول إن الخسارة تنخفض في كل تحديث؛ لم نحدد تدرجات أو بيانات أو حالات محسن. اخترنا جدولًا يمكن حسابه وفحص حدوده، ولم نجرب تدريبًا أو نقارن أداء عائلات جداول. إذا أردت تقييم اختيار فعلي، افصل سجل المعدل المستخدم عن سجل النتيجة المرصودة، حتى لا يصبح انتظام الأول دليلًا على تحسن الثاني.

المصادر ومتابعة القراءة

  1. Dive into Deep Learning: Cosine Scheduler (يفتح في نافذة جديدة)d2l.ai

أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.