دالة ReLU: كيف تغير تركيب تحويلين أفينيين؟

الخلاصة السريعة

قارن الحساب قبل ReLU وبعدها؛ الصفر في مدخل سالب يصف الحالة الحالية، ولا يثبت أن الوحدة ستبقى متوقفة لكل المدخلات.

• تركيب تحويلين أفينيين بلا تنشيط غير خطي يبقى أفينيًا؛ ReLU تسمح بمثال ذي سلوك مختلف على جانبي حد المدخل. ^[2]
• في الحساب المحدد، F(x) = 6x − 1، بينما G(x) = 3max(0, 2x − 1) + 2؛ عند صفر يعطيان سالب 1 و 2، وعند 1 يعطيان 5.
• مشتقة ReLU صفر للمدخل السالب و 1 للموجب؛ عند الصفر لا توجد مشتقة عادية، ولا نستنتج توقف الوحدة الدائم من حالة سالبة واحدة. ^[2]
• ثبت المعاملات والمدخلات وحد الفرع في المقارنة؛ المثال حساب يدوي، لا تدريب أو إثبات أن ReLU تحسن كل مهمة.

ماذا يحدث دون تنشيط بين التحويلين؟

يشرح المرجع أن تركيب تحويلات أفينية يبقى تحويلًا أفينيًا إذا لم نضع بينها لاخطية. ^[2]

لننشئ تحويلًا أول يأخذ x ويعطي 2x − 1، ثم تحويلًا ثانيًا يضرب الناتج في 3 ويضيف 2. بفتح الأقواس نحصل على F(x) = 6x − 1. إضافة طبقة مسماة جديدة لم تمنح هذا المثال قاعدة غير خط مستقيم.

نستعمل كلمة أفيني لأن التحويل يتضمن ثابتًا مضافًا. لا نقول إن زيادة عدد الطبقات وحدها غير مفيدة في كل بنية؛ نحدد هنا تركيب هذين التحويلين بالذات دون عملية أخرى بينهما.

ضع ReLU في الوسط ثم أعد الحساب

نضع ReLU بعد 2x − 1 وقبل التحويل الثاني، فيصبح G(x) = 3max(0, 2x − 1) + 2. المعاملات نفسها، لكن المدخل السالب للتحويل الثاني يستبدل بصفر.

عند x = 0 يكون المدخل الوسيط سالب 1؛ F يعطي سالب 1، بينما G يعطي 2. عند x = 0.5 يصبح الوسيط صفرًا ويعطي كلاهما 2. وعند 1 أو 2 يكون الوسيط موجبًا، فتتساوى النتيجتان في هاتين الحالتين.

لذلك G ثابت بقيمة 2 عندما x أقل من أو يساوي 0.5، ثم يساوي 6x − 1 فوق هذا الحد. ليس أفينيًا على المجال كله؛ ميله صفر في الجانب الأول و 6 في الثاني.

المشتقة المحلية ليست حكمًا على كل المدخلات

يعرض المرجع مشتقة صفر في الجانب السالب و 1 في الموجب، ويبين عدم وجود المشتقة العادية عند الصفر. ^[2]

عند x = 0 لا يتغير خرج G لتغير صغير يبقي الوسيط سالبًا. هذا وصف محلي لفرع الحساب، وليس دليلًا أن الوحدة لا تنشط لاحقًا. الوحدة نفسها في مثالنا تمرر وسيطًا موجبًا عند x = 1.

حد الانتقال في G يقع عند 0.5، لا عند صفر x، لأن الوسيط هو 2x − 1. وإذا اختار برنامج اصطلاحًا لمشتقة ReLU عند الصفر، نسمي ذلك اصطلاحًا حسابيًا، ولا ننسبه إلى مشتقة عادية موجودة.

ما الذي تختبره المقارنة فعلًا؟

أبقينا المعاملات ثابتة ليظهر أثر إدخال التنشيط وحده. لم نستعمل أمثلة تدريب أو خسارة أو محسنًا، ولم نختبر جودة تنبؤات أو سرعة تنفيذ.

عند مراجعة شبكة، اكتب المدخل قبل التنشيط والخرج بعده للحالات التي تهمك. رؤية قيمة موجبة في صورة لاحقة من الحساب لا تكفي لمعرفة الفرع الذي مر فيه مدخل آخر.

وتساوي F وG في مدخلين موجبين لا يجعلهما الدالة نفسها؛ المدخل صفر كشف الاختلاف. اختيار التنشيط لمهمة فعلية يحتاج إلى تقييم مستقل، ولا تحسمه هذه الأرقام التعليمية.