النزول المتدرج: كيف تحدد جهة الخطوة وحجمها؟
يطرح النزول المتدرج مقدارًا متناسبًا مع تدرج الخسارة من المعلمات الحالية. يعطي التدرج اتجاه التغير، ويضبط معدل التعلم حجم الخطوة. [1]
جميع المقالات (الصفحة 90)
قراءات عربية في العلوم والتقنية والطبيعة والثقافة، تبدأ بسؤال وتترك لك مساحة للاستكشاف.
2302 مقال
النزول المتدرج العشوائي: لماذا قد ترتفع الخسارة بعد خطوة؟
يستخدم النزول المتدرج العشوائي تدرج مثال مختار بدل حساب تدرج جميع الأمثلة في كل تحديث؛ الاختيار المنتظم يعطي تقديرًا غير متحيز عند نقطة ثابتة. [1]
الدفعة الصغيرة: لماذا لا يكفي معرفة عدد أمثلتها؟
يحسب النزول المتدرج بالدفعة الصغيرة متوسط تدرجات أمثلتها، ثم ينفذ تحديثًا واحدًا. عدد الأمثلة وحده لا يحدد قيمة هذا المتوسط. [1]
معدل التعلم: متى تتقارب الخطوات ومتى تتأرجح؟
يضبط معدل التعلم طول خطوة النزول المتدرج. المعدل الصغير قد يبطئ الحركة، والكبير قد يسبب تجاوزًا أو ابتعادًا عن الحد الأدنى. [1]
الزخم في تدريب النماذج: لماذا لا يحدد التدرج الحالي الحركة وحده؟
يحتفظ الزخم في تدريب النماذج بحالة تجمع التدرج الحالي مع أثر متناقص للتدرجات السابقة، ثم يستخدمها لتحديث المعاملات. [1]
زخم Nesterov: أين يُحسب التدرج قبل تحديث المعامل؟
في صيغة زخم Nesterov الموضحة في الورقة، نحسب التدرج عند موضع ينتج من إضافة أثر الحركة السابقة إلى المعامل الحالي. [1]
AdaGrad: كيف يغيّر مجموع مربعات التدرجات معامل الخطوة؟
تجمع خوارزمية AdaGrad مربعات التدرجات لكل معامل، وتستخدم هذا التاريخ في مقام يقيس تحديثه بصورة منفصلة. [1]
RMSProp: كيف يتراجع أثر مربعات التدرجات القديمة؟
تستخدم خوارزمية RMSProp متوسطًا متحركًا لمربعات التدرجات، فيتراجع وزن المعلومات القديمة بدل جمعها كلها بالتساوي. [1]
خوارزمية Adam: ماذا يغيّر تصحيح المتوسطات التي تبدأ من صفر؟
تحتفظ خوارزمية Adam بمتوسط متحرك للتدرجات وآخر لمربعاتها، وتصحح أثر بدء الحالتين من صفر قبل حساب التحديث. [1]
AdamW: لماذا نفصل اضمحلال الأوزان عن تدرج عقوبة L2؟
يفصل اضمحلال الأوزان في AdamW أثر تقليص المعاملات عن مسار التحديث التكيفي للتدرجات؛ إضافة عقوبة L2 ليست الإجراء نفسه عمومًا. [1]
خفض معدل التعلم على مراحل: ماذا يعدّ الجدول خطوة؟
خفض معدل التعلم على مراحل يبقي المعدل ثابتًا بين حدود معلنة، ثم يضربه في عامل خفض عند تلك الحدود. [1]
جدول جيب التمام لمعدل التعلم: كيف ينخفض خلال فترة واحدة؟
يربط جدول جيب التمام معدل التعلم بموضعه خلال فترة محددة وفق منحنى يصل بين طرفين. [1]
إحماء معدل التعلم: كيف نصعد إلى المعدل المحدد في بداية التدريب؟
إحماء معدل التعلم مرحلة أولية نرفع خلالها المعدل إلى قيمة محددة. يصف دليل Google صيغة تبدأ من الصفر، ثم تتبعها المرحلة المقررة بعد الإحماء. [1]
معدل التعلم الدوري: كيف تعود الدورة المثلثية إلى بدايتها؟
معدل التعلم الدوري يغير المعدل بين حدين ويتكرر. في الشكل المثلثي يرتفع خطيًا إلى الحد الأعلى ثم يهبط خطيًا إلى الأدنى. [1]
قص التدرج: لماذا يختلف حد المعيار عن حد كل عنصر؟
قص التدرج يغير مشتقات الخسارة قبل استعمالها في التحديث. يميز تنفيذ PyTorch بين تقييد معيار التدرجات مجتمعة وتقييد قيمة كل عنصر. [1]
تراكم التدرجات: كيف نجمع دفعات صغيرة غير متساوية؟
في تراكم التدرجات نؤجل تحديث المعاملات حتى نجمع مساهمات دفعات صغيرة. وتوضح وثائق Accelerate أهمية الوزن الصحيح عندما يختلف عدد العناصر بين الدفعات. [1]
تصفير التدرجات في PyTorch: ماذا يبقى إذا لم نمسح المساهمة القديمة؟
تضيف backward في PyTorch المشتقات إلى مخازن التدرجات بدل استبدالها تلقائيًا؛ لذلك يلزم تحديد متى نريد الاحتفاظ بها ومتى نمسحها. [1]
الانتشار العكسي: كيف تجمع قاعدة السلسلة مسارين إلى متغير واحد؟
يحسب الانتشار العكسي مشتقات عبر الرسم الحسابي بتطبيق قاعدة السلسلة من الناتج إلى المدخلات؛ وعند اجتماع مساهمات المسارات يلزم جمعها. [1]