تراكم التدرجات: كيف نجمع دفعات صغيرة غير متساوية؟

الخلاصة السريعة

لتكوين متوسط أمثلة غير متساوية العدد، نزن مساهمة كل دفعة بحصتها من العدد الكلي، مع إبقاء المعامل ثابتًا أثناء التجميع في المثال.

• نبقي المعامل w يساوي 1 أثناء الدفعتين؛ لكل مثال خسارة مستقلة، ولا نضيف عمليات تعتمد على تكوين الدفعة.
• مشتقات خسائرنا الثلاث هي 2 و 4 و 8؛ متوسط أول مثالين 3، ومتوسط المثال الأخير 8، والمتوسط الكلي 14 ÷ 3.
• وزن المتوسطين بحصتي 2 ÷ 3 و 1 ÷ 3 يعطي 14 ÷ 3؛ متوسطهما المتساوي 5.5 لا يمثل متوسط الأمثلة هنا.
• بتحديث واحد في نزول بسيط ومعدل 0.03، يصبح المعامل 0.86؛ لا نعد بتطابق عام مع كل تدريب ذي دفعة كبيرة.

حدد ما الذي يبقى ثابتًا

في دليل Accelerate، يمكن تقسيم الخسارة وفق التجميع، ثم حساب التدرجات عدة مرات قبل خطوة المحسن ومسحها. ^[1] نتخذ هنا حسابًا يدويًا لنرى الأوزان، ولا نشغّل الدليل أو مكتبة تدريب.

لدينا ثلاثة أمثلة وخسائرها المستقلة w²، ثم 2w²، ثم 4w². نثبت المعامل w عند 1 خلال الحساب كله قبل التحديث. لا تعتمد خسارة أي مثال على وجود مثال آخر معه، ولا نفرض أوزانًا إضافية للأمثلة. هذه شروط المثال، وليست وصفًا لكل شبكة.

احسب مساهمتي الدفعتين

مشتقات الخسائر بالنسبة إلى w هي 2w و 4w و 8w. عند القيمة 1 نحصل على 2 و 4 و 8. نضع المثالين الأولين في دفعة صغيرة، والمثال الثالث في دفعة ثانية. مجموع مشتقات الأولى 6 ومتوسطها 3، ومجموع الثانية ومتوسطها 8.

لو جمعنا الأمثلة الثلاثة بوزن متساو لكل مثال، فإن متوسط المشتقات يساوي (2 + 4 + 8) ÷ 3، أي 14 ÷ 3، نحو 4.6667. سجل حجم كل دفعة بجانب المتوسط؛ بدون العدد تبدو القيمتان 3 و 8 كأن لهما المساهمة نفسها.

لماذا لا يكفي متوسط المتوسطين؟

إذا حسبنا (3 + 8) ÷ 2، نحصل على 5.5. أعطينا المثال الوحيد في الدفعة الثانية نصف الوزن الكلي، في حين تقاسَم المثالان الآخران النصف الآخر. لم يعد كل مثال متساوي الوزن.

التجميع المطلوب هو (2 ÷ 3) × 3 + (1 ÷ 3) × 8، فيساوي 14 ÷ 3. ويمكن الوصول إليه بجمع 6 و 8 ثم القسمة على 3. في الحالة المتساوية الحجم تتساوى حصص الدفعات، لكن هذا الشرط غائب هنا.

يؤكد دليل Accelerate في خسارة رموز متفاوتة العدد أن القسمة تكون على العدد الكلي للرموز المعنية، بدل متوسط خسائر الدفعات المنفردة. ^[1] مثالنا مستقل ويعد أمثلة كاملة؛ لا نستبدل عدد الأمثلة بعدد الرموز في تطبيق آخر دون مراجعة تعريف الخسارة.

نفذ تحديثًا واحدًا على الورق

اختر معدل تعلم 0.03 ونزولًا بسيطًا بلا حالة إضافية. بعد إنهاء التجميع الصحيح نطرح 0.03 × (14 ÷ 3)، أي 0.14، من المعامل 1. تصبح القيمة 0.86. أما استعمال المتوسط الخاطئ 5.5 فيعطي 0.835.

الفرق جاء من الوزن، لا من خطأ في اشتقاق المثال الثالث. وكذلك لو حدث تحديث بين الدفعتين، لما بقيت المشتقات كلها محسوبة عند w يساوي 1. حينها تتغير المسألة التي نقارنها.

لا نعمم هذا التطابق على عمليات تعتمد على الدفعة أو حالات عشوائية أو قيم معاملات تتغير أثناء التجميع. ما أثبتناه حسابيًا هو تكوين متوسط ثلاث خسائر مستقلة عند نقطة واحدة، ثم تحديث واحد بالقاعدة المختارة.