تجمع خوارزمية AdaGrad مربعات التدرجات لكل معامل، وتستخدم هذا التاريخ في مقام يقيس تحديثه بصورة منفصلة. [1]
الخلاصة السريعة
كل معامل له مجموع تراكمي لمربعات التدرجات؛ نقسم معدل التعلم على جذر هذا المجموع مع حد استقرار صغير في الصيغة المذكورة. [1]
- يزيد مجموع المربعات أو يبقى ثابتًا؛ تحديث الصيغة الموضحة يقسم على جذر المجموع الجديد زائد ε داخل الجذر. [1]
- في المثال، تاريخان 0 و 15 وتدرجان 3 و 1 يعطيان مجموعين جديدين 9 و 16؛ نهمل ε للحساب لأن المقامين موجبان.
- مع معدل أساسي 0.4، يكون معاملا القياس نحو 0.1333 و 0.1، لكن الحركتين 0.4 و 0.1؛ معامل القياس وحده لا يحدد حجم الحركة.
- التدرج الصفري لا يزيد التاريخ ولا يحرك المعامل في هذا الحساب؛ عدم تناقص المجموع لا يثبت أنه ينمو بلا حد.
ما الذي يتراكم لكل معامل؟
في صيغة الكتاب، s الجديدة = s القديمة + g²، ثم w الجديدة = w القديمة − η × g ÷ جذر(s الجديدة + ε). تجري العمليات لكل معامل، وε حد للاستقرار العددي. [1]
هذا المجموع يختلف عن متوسط التدرجات الموقعة. مربع السالب موجب أيضًا، فيسجل التاريخ مقدار الإشارات السابقة من دون الاحتفاظ باتجاهها داخل s. أما التدرج الحالي خارج المقام فيظل يحمل إشارته لتحديد اتجاه التحديث.
ضع تاريخين مختلفين في الحساب
نفترض معاملين كلاهما قيمته 10. التاريخ المخزن للأول صفر، وللثاني 15؛ هذه حالة مفترضة معلنة وليست تهيئة صفرية للمعاملين معًا. يصل تدرج حالي 3 للأول وتدرج 1 للثاني، فيصبح المجموع الأول صفر + 9 = 9، والثاني 15 + 1 = 16.
لكي تظهر الأعداد بوضوح، نهمل ε في هذا المثال اليدوي فقط. الجذران هنا 3 و 4، ولذلك لا يوجد مقام صفري في الحساب. لا ننقل هذا الإهمال إلى تنفيذ برمجي أو إلى حالة يبدأ فيها التاريخ والتدرج معًا بصفر.
اكتب الحالة القديمة والتدرج الحالي في عمودين مستقلين. لو استبدلت 15 بصفر، فلن تكون النتيجة نفسها للمعامل الثاني، رغم بقاء قيمته الحالية وتدرجه كما هما. المثال يبين أن التحديث يعتمد على التاريخ لا على الملاحظة الأخيرة وحدها.
افصل معامل القياس عن الحركة الناتجة
اختر η يساوي 0.4. يصبح معامل القياس للأول 0.4 ÷ 3، أي نحو 0.1333، وللثاني 0.4 ÷ 4 = 0.1. نضرب كل قيمة في تدرجها، فتكون الحركة الأولى 0.4 والثانية 0.1. تصير قيمتا المعاملين 9.6 و 9.9.
المعامل ذو التدرج الأكبر في هذه الخطوة يتحرك أكثر، مع أن تاريخه الجديد مختلف. فلا تكفي عبارة «معدل تكيفي صغير» للحكم على الحركة الفعلية؛ يجب أن ترى التدرج الذي يضربه أيضًا. ولا تتحول النسب إلى وحدات زمن أو نسب ثقة بمجرد صغرها.
إذا أردت مقارنة معاملين، فاعرض المجموع الجديد، والجذر، ومعامل القياس، ثم حاصل الضرب النهائي. هذا ترتيب مقترح لقراءة المثال، ويمنع استخدام رقم المقام باعتباره مقدار التغير مباشرة.
هل يجب أن يتوقف التعلم بعد مدة؟
لأننا نضيف مربعات غير سالبة، لا ينقص المجموع التراكمي. [1] لكن القول إنه لا ينقص مختلف عن القول إنه يزيد بلا حد. إذا كانت التدرجات اللاحقة كلها صفرًا، يبقى التاريخ في مثالنا عند 9 و 16 وتكون الحركتان صفرًا.
وإذا توقف التراكم عند مقدار محدود موجب، فلا يفرض هذا الوصف وحده هبوط معامل القياس إلى الصفر. الأرقام هنا تحقق قاعدة تحديث مفترضة، ولا تقيس تقارب نموذج أو ملاءمة المحسن لمهمة. لفهم توقف حركة معينة، افحص التدرج والمقام معًا بدل نسبة السبب تلقائيًا إلى تراكم التاريخ.
المصادر ومتابعة القراءة
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.