AdamW: لماذا نفصل اضمحلال الأوزان عن تدرج عقوبة L2؟
يفصل اضمحلال الأوزان في AdamW أثر تقليص المعاملات عن مسار التحديث التكيفي للتدرجات؛ إضافة عقوبة L2 ليست الإجراء نفسه عمومًا. [1]
تقنية (الصفحة 31)
أفكار وأدوات رقمية بلغة مفهومة.
1201 مقال
خفض معدل التعلم على مراحل: ماذا يعدّ الجدول خطوة؟
خفض معدل التعلم على مراحل يبقي المعدل ثابتًا بين حدود معلنة، ثم يضربه في عامل خفض عند تلك الحدود. [1]
جدول جيب التمام لمعدل التعلم: كيف ينخفض خلال فترة واحدة؟
يربط جدول جيب التمام معدل التعلم بموضعه خلال فترة محددة وفق منحنى يصل بين طرفين. [1]
إحماء معدل التعلم: كيف نصعد إلى المعدل المحدد في بداية التدريب؟
إحماء معدل التعلم مرحلة أولية نرفع خلالها المعدل إلى قيمة محددة. يصف دليل Google صيغة تبدأ من الصفر، ثم تتبعها المرحلة المقررة بعد الإحماء. [1]
معدل التعلم الدوري: كيف تعود الدورة المثلثية إلى بدايتها؟
معدل التعلم الدوري يغير المعدل بين حدين ويتكرر. في الشكل المثلثي يرتفع خطيًا إلى الحد الأعلى ثم يهبط خطيًا إلى الأدنى. [1]
قص التدرج: لماذا يختلف حد المعيار عن حد كل عنصر؟
قص التدرج يغير مشتقات الخسارة قبل استعمالها في التحديث. يميز تنفيذ PyTorch بين تقييد معيار التدرجات مجتمعة وتقييد قيمة كل عنصر. [1]
تراكم التدرجات: كيف نجمع دفعات صغيرة غير متساوية؟
في تراكم التدرجات نؤجل تحديث المعاملات حتى نجمع مساهمات دفعات صغيرة. وتوضح وثائق Accelerate أهمية الوزن الصحيح عندما يختلف عدد العناصر بين الدفعات. [1]
تصفير التدرجات في PyTorch: ماذا يبقى إذا لم نمسح المساهمة القديمة؟
تضيف backward في PyTorch المشتقات إلى مخازن التدرجات بدل استبدالها تلقائيًا؛ لذلك يلزم تحديد متى نريد الاحتفاظ بها ومتى نمسحها. [1]
الانتشار العكسي: كيف تجمع قاعدة السلسلة مسارين إلى متغير واحد؟
يحسب الانتشار العكسي مشتقات عبر الرسم الحسابي بتطبيق قاعدة السلسلة من الناتج إلى المدخلات؛ وعند اجتماع مساهمات المسارات يلزم جمعها. [1]
التفاضل التلقائي: لماذا تتغير المشتقة مع ثبات القيمة بعد detach؟
يسجل التفاضل التلقائي اعتماد القيم بعضها على بعض في رسم حسابي. وعند فصل متغير وسيط، يمكن أن تبقى قيمته مع توقف انتقال مشتقته عبر ذلك المسار. [1]
فحص التدرج عدديًا: ماذا تخبرنا الفروق المركزية وما حدودها؟
يقارن فحص التدرج مشتقات محسوبة بالتفاضل مع تقريب عددي. توثق PyTorch استعمال الفروق المركزية لتقريب مشتقة الدالة الحقيقية عند نقطة. [1]
تهيئة Xavier: كيف يحدد حجم الطبقة توزيع الأوزان الأولية؟
تهيئة Xavier تربط توزيع الأوزان الأولية بعددي مدخلات الطبقة ومخرجاتها، بهدف موازنة انتشار الإشارات والتدرجات تحت افتراضات التحليل. [1]
تهيئة He مع ReLU: لماذا نحسب عدد الوصلات الداخلة؟
تأخذ تهيئة He أثر ReLU في انتشار الإشارة بالحسبان. في حالة الانتشار الأمامي المدروسة، تختار أوزانًا بمتوسط صفر وتباين 2 ÷ عدد الوصلات الداخلة. [1]
نقطة السرج في التدريب: لماذا لا يكفي التدرج الصفري؟
نقطة السرج في التدريب تساعد على فهم أن التدرج الصفري لا يثبت الوصول إلى أقل خسارة. قد ترتفع الدالة في اتجاه وتنخفض في اتجاه آخر حول النقطة نفسها. [1]
تجميد معامل في النموذج: هل يمنع مرور التدرج إلى معامل آخر؟
تجميد معامل في النموذج يحدد أي متغير نطلب تدرجه ونحدثه. في PyTorch، قد تسجل العملية للتفاضل إذا احتاج أحد مدخلاتها إلى تدرج، ولو كان مدخل آخر ثابتًا. [1]
تماثل الوحدات عند التهيئة: متى تحصل وحدتان على التحديث نفسه؟
تماثل الوحدات عند التهيئة قد يجعل وحدتين تتلقيان التحديث نفسه بدل تطوير حسابين مختلفين. يناقش المرجع تساوي المعاملات والتدرجات بوصفه مشكلة عند إنشاء الشبكة. [1]
قراءة مصفوفة الالتباس: حدد الصف والعمود قبل تفسير الخطأ
قراءة مصفوفة الالتباس تبدأ بتسمية المحاور وترتيب الفئات. في تعريف scikit-learn، يحمل الصف الفئة الفعلية والعمود الفئة المتنبأ بها؛ الخلية تعد الحالات التي جمعت الوصفين. [1]
دقة التصنيف العامة: ماذا تخفي نسبة الإجابات الصحيحة؟
دقة التصنيف العامة في الحالة ذات ملصق واحد لكل مثال هي نسبة التنبؤات الصحيحة إلى مجموع الأمثلة. يميز المرجع هذه النسبة عن عدد الإجابات الصحيحة دون تطبيع. [1]