Sigmoid وTanh: هل المشتقة المحلية هي تدرج الشبكة؟

الخلاصة السريعة

احسب مشتقة التنشيط في المدخل الفعلي، ثم راجع عوامل المسار الأخرى؛ المشتقة المحلية ليست تدرج خسارة الشبكة كاملًا.

• مشتقة Sigmoid هي σ(1 − σ)، وأقصاها 0.25؛ مشتقة Tanh هي 1 − tanh²، وأقصاها 1. تضعف المشتقتان بعيدًا عن الصفر. ^[1]
• عند 4، مشتقة Sigmoid نحو 0.017663 ومشتقة Tanh نحو 0.001341؛ هذه نتائج مدخل واحد، لا حكم أن دالة أفضل في كل المواضع.
• في مسارنا اليدوي، ثلاثة تنشيطات Sigmoid عند وسائط صفر وأوزان 1 ومشتقة نهائية 1 تعطي 1 ÷ 64؛ تغيير الأوزان إلى 10 مع تعديل الثوابت لإبقاء الوسائط صفرًا يغير حاصل الضرب.
• لا تستنتج تدرج خسارة أو نجاح تدريب من قيمة تنشيط؛ المثال لم ينفذ شبكة أو تدريبًا، وعوامل المسار وشروطه معلنة.

اقرأ المشتقة مع الدالة ومدخلها

Sigmoid تساوي 1 ÷ (1 + exp(−x))، ومشتقتهاσ(1 − σ). Tanh تساوي(1 − exp(−2x)) ÷ (1 + exp(−2x))، ومشتقتها 1 − tanh²(x). ^[1]

في الصفر يكون خرج Sigmoid نصفًا، فتكون مشتقتها ربعًا؛ خرج Tanh صفر، فتكون مشتقتها 1. يصف المرجع بلوغ المشتقتين أقصاهما هناك واقترابهما من الصفر بعيدًا عنه. ^[1]

نقصد بالمشتقة المحلية التغير بالنسبة إلى مدخل هذه الدالة وحده. لا نضع اسم خسارة على الناتج أو نساوي هذا العدد بتغير جميع معاملات شبكة.

قارن الموضع نفسه دون إعلان فائز دائم

نختار المدخل 4 ونحسب يدويًا، مع تقريب الأرقام المعروضة. خرج Sigmoid نحو 0.982014، فتكون المشتقة نحو 0.017663. خرج Tanh نحو 0.999329، فتكون المشتقة نحو 0.001341.

في هذا الموضع المحدد مشتقة Tanh أصغر، رغم أن قيمتها في الصفر أكبر. نقل مقارنة الصفر إلى جميع المدخلات يبدل سؤالًا محليًا بتعميم لم نحسبه.

ولا تعني المشتقة الصغيرة أن الدالة صفر أو أن مخرجها لا يفيد مطلقًا. الجدول يعرض دالتين في موضعين، ولا يقيس مهمة تنبؤ أو تغيير خسارة أو معدل تعلم.

اتبع عوامل المسار إلى جانب التنشيط

يربط المرجع مشتقات الحساب بقاعدة السلسلة؛ تظهر عوامل الأوزان ومشتقة التنشيط ضمن انتقال التدرج. ^[2]

ننشئ مسارًا عدديًا بثلاث وحدات Sigmoid، لكل واحدة وزن 1، ونختار الثوابت كي تكون وسائطها الثلاثة صفرًا عند المدخل الذي نفحصه. نثبت مشتقة نهائية تساوي 1. حاصل عوامل المسار هو(1 × 0.25)³ = 1 ÷ 64، أي 0.015625.

لو جعلنا الأوزان الثلاثة 10، وعدلنا الثوابت كي تظل الوسائط صفرًا في ذلك المدخل، يصبح الحاصل(10 × 0.25)³ = 15.625. لم تتغير المشتقات المحلية للتنشيطات هناك؛ تغيرت عوامل أخرى. هذا بناء يدوي عند نقطة، ولا يصف جميع مسارات شبكة واسعة.

حدد السؤال قبل أن تشخص تدرجًا

لم ننفذ انتشارًا خلفيًا أو تدريبًا أو نسجل مشتقات آلية. الأرقام تخص مثالًا اخترنا أوزانه وثوابته ونقطته ومشتقته النهائية، فلا نعرضها تجربة تلاشي تدرج في نموذج فعلي.

إذا سألك تقرير عن تدرج خسارة بالنسبة إلى معامل، فحدد أي معامل وأي مدخل ومسار وشروط حساب. قراءة مشتقة Sigmoid وحدها لا تجيب عن ذلك السؤال.

والتشبع المحلي يفسر ضعف عامل معين في موضع محدد؛ لا يثبت سبب كل تعثر تدريب أو أفضل تنشيط لمهمة جديدة. حافظ على الفرق بين دالة مفردة، وحاصل مشتقات معلن، ونتيجة تدريب تقاس فعلًا.