خوارزمية Adam: ماذا يغيّر تصحيح المتوسطات التي تبدأ من صفر؟

الخلاصة السريعة

في Adam الأصلي، نقسم المتوسطين على معاملي تصحيح يعتمد كل منهما على رقم الخطوة، ثم نقيس الأول بجذر الثاني وحد استقرار. ^[1]

• المتوسط الأول يحتفظ باتجاه التدرجات، والثاني بمتوسط مربعاتها؛ الثاني ليس تباينًا متمركزًا حول متوسطها. ^[1]
• مع بداية صفرية ومعاملي متوسط 0.5 وتدرج أول 2، تكون الحالتان 1 و 2؛ بعد تصحيح الخطوة الأولى تصبحان 2 و 4.
• في الخطوة الثانية عند تدرج مفترض سالب 2، تصبح الحالتان سالب 0.5 و 3؛ التصحيح يعطي سالب 2/3 و 4.
• بمعدل 0.1 وإهمال ε في المقامين الموجبين، يتغير المعامل 5 إلى 4.9 ثم نحو 4.93333؛ هذه حسابات وليست تجربة تقارب أو علاجًا لانحياز البيانات.

لماذا نحتاج حالتين مختلفتين؟

يحدث Adam المتوسط m بواسطة β1 × m القديمة + (1−β1) × g، ويحدث v بواسطة β2 × v القديمة + (1−β2) × g². في الصيغة الأصلية تبدأ الحالتان بصفر. ^[1]

نعني باللحظة الثانية هنا متوسط المربعات، لا متوسط مربعات الفروق عن المتوسط. فلو كان التدرج ثابتًا عند 2، لكان مربعه 4 رغم أن تباين قائمة القيم المتطابقة يساوي صفرًا. معرفة هذا الفرق تمنع تفسير المقام بأنه مقدار عدم يقين في تنبؤ النموذج.

احسب تصحيح أول خطوة

لتصحيح m نرفع β1 إلى رقم الخطوة، ونطرح الناتج من واحد، ثم نقسم m على هذا الفرق. ولتصحيح v نفعل ذلك مع β2. والتحديث η × m المصححة ÷ (جذر v المصححة + ε). ^[1]

في مثالنا الخاص نختار β1 وβ2 كليهما 0.5، ونبدأ بصفر، ونفترض تدرجًا أول قيمته 2. ينتج m يساوي 1 وv يساوي 2. عند الخطوة الأولى يكون معامل القسمة 0.5 لكل منهما، فتكون القيم المصححة 2 و 4.

للتبسيط نهمل ε هنا فقط؛ المقام المصحح يساوي 2 وليس صفرًا. بمعدل 0.1 تكون الحركة 0.1. من معامل ابتدائي 5 نحصل على 4.9. لو حذفنا التصحيح من هذا الحساب، لصارت الحركة 0.1 ÷ جذر 2، أي نحو 0.07071؛ تغيير الإجراء يغير النتيجة بالفعل.

لا تمحُ التاريخ عند انقلاب التدرج

نفترض تدرج الخطوة الثانية سالب 2. يصبح المتوسط الأول نصف 1 زائد نصف سالب 2، أي سالب 0.5. ويصبح متوسط المربعات نصف 2 زائد نصف 4، أي 3. التربيع حفظ المقدار رغم انقلاب الإشارة.

رقم الخطوة الآن 2، فيكون معامل القسمة 1−0.5² = 0.75. المتوسط الأول المصحح سالب 0.5 ÷0.75 = سالب 2/3، والثاني 3 ÷0.75 =4. الجذر 2، ومن ثم تكون الحركة الموقعة سالب 1/30، أي نحو سالب 0.03333.

بطرح الحركة الموقعة من المعامل 4.9 نحصل على نحو 4.93333. ارتفعت القيمة هذه المرة، لكن بزيادة أصغر من 0.1 بسبب بقاء أثر التدرج السابق في المتوسط الأول. لا نستنتج ارتفاع الخسارة من ارتفاع المعامل؛ لم نحدد دالة تنتج هذه التدرجات.

ما حدود كلمة تصحيح؟

تصحيح البداية الصفرية جزء من حساب المتوسطات في هذا المحسن. ^[1] لا يعني أنه يصحح انحياز تسميات البيانات، أو يجعل النموذج منصفًا، أو يحول نتائجه إلى حقيقة. هذه أسئلة مختلفة تحتاج أدلة تخصها.

راجع رقم الخطوة مع الحالتين إذا حاولت إعادة الحساب؛ استخدام معامل قسمة الخطوة الأولى في الثانية يعطي أرقامًا أخرى. اخترنا قيم 0.5 للتعليم، ولم نقدمها بوصفها إعدادات موصى بها أو افتراضات مكتبة. المثال يشرح الآلية فقط، ولا يتضمن تشغيلًا لنموذج أو مقارنة سرعة تدريب.