تهيئة He مع ReLU: لماذا نحسب عدد الوصلات الداخلة؟

الخلاصة السريعة

نحسب في هذه الصيغة عدد الوصلات الداخلة لكل ناتج، ثم يكون الانحراف المعياري جذر (2 ÷ العدد)؛ هذا وصف توزيع لا حد أعلى للوزن. ^[1]

• يعتمد عامل النصف في تحليل ReLU على افتراضات التوزيع والتناظر والاستقلال، لا على عد نصف الوحدات في كل صورة فعلية. ^[1]
• لثماني وصلات داخلة، يكون التباين 0.25 والانحراف المعياري 0.5؛ الانحراف ليس سقفًا لقيم توزيع غاوسي.
• مرشح 3 في 3 مع قناتي دخل يملك 18 وصلة لكل ناتج في مثالنا؛ الانحراف المعياري ثلث، لا 1 الناتجة من عد القناتين وحدهما.
• تثبيت مقياس البداية لا يثبت جودة التدريب أو بقاء التباين نفسه طواله؛ نحدد اتجاه التحليل ونوع التفعيل قبل نقل القاعدة.

من أين جاء عامل النصف؟

يمرر ReLU القيمة الموجبة ويجعل السالبة صفرًا. في تحليل الورقة، مع أوزان مستقلة وتناظر مناسب حول الصفر وانحياز صفري، يدخل عامل النصف في علاقة تباينات الطبقات. ^[1]

لا يعني هذا أن كل صورة تمرر نصف عناصرها حرفيًا أو أن نصف وحدات كل عينة يعمل دائمًا. ذلك عد فعلي لم نجْره، بينما القاعدة مشتقة من افتراضات عن توزيع القيم. نستخدم حالة الانتشار الأمامي الخاصة بـReLU، ولا ننقل رقمها تلقائيًا إلى أي دالة تنشيط أخرى.

افصل التباين عن الانحراف والحد

نختار طبقة تعليمية ذات 8 وصلات داخلة لكل ناتج. يصبح تباين الأوزان المقترح 2 ÷ 8 = 0.25. الانحراف المعياري جذره، أي 0.5. الخلط بين العددين يجعل وصف توزيع البداية مختلفًا حتى لو بقي اسم He.

تختار الصيغة المدروسة توزيعًا غاوسيًا بمتوسط صفر وبالانحراف المحسوب. ^[1] هذا الانحراف ليس مجالًا من سالب 0.5 إلى موجب 0.5؛ لا نحكم أن وزنًا مقداره 0.6 مستحيل لمجرد كبره عليه.

وفي حساب تحت العلاقة النظرية المبسطة، إذا كان تباين الإشارة السابقة 3، فالعامل نصف × 8 × 0.25 يساوي 1، فيظل المقدار المحسوب 3. هذا تطبيق للعلاقة المفترضة، لا قياس لقيم شبكة سحبنا أوزانها.

عد الوصلات في مرشح صغير

نفترض مرشحًا يقرأ مساحة 3 في 3 من قناتين. كل ناتج في هذا التصور يتلقى 9 قيم من القناة الأولى و 9 من الثانية، فيكون العدد الداخل 18. التباين 2 ÷ 18 يساوي 1 ÷ 9، والانحراف المعياري ثلث.

عد القناتين فقط سيعطي 2 ÷ 2 = 1 كتباين، وانحرافًا 1، وهو إعداد مختلف. كما لا نضرب 18 في عدد مرشحات الإخراج لتسمية ذلك عدد الوصلات الداخلة لناتج واحد. عرّفنا النطاق أولًا، ولذلك نستطيع رؤية موضع خطأ العد.

الأبعاد من إعداد المقال، ولا تمثل إعدادًا اختبرناه لمعالجة صور. عندما ترى متغير fan_in، راجع شكل العملية واتجاهها بدل افتراض أنه عدد عناصر واحد ظاهر في بطاقة النموذج.

ما الذي لا يضمنه إعداد صحيح؟

توجد في الورقة أيضًا دراسة للانتشار العكسي وعدد وصلات يخص اتجاهه. ^[1] لا نستبدل اتجاهًا بآخر بصمت؛ مقالنا حسب حالة الانتشار الأمامي التي سميناها منذ البداية.

وصحة التباين النظري لا تعني أن قائمة أوزان صغيرة ستساويه بالضبط، ولا أن التباين يبقى ثابتًا بعد كل تحديث أو مع تغيّر العلاقات بين القيم. لا نستخرج من قاعدة البداية مدة تدريب أو نسبة دقة.

قبل اعتماد وصف تهيئة، اكتب التفعيل ونوع التوزيع وعدد الوصلات واتجاه التحليل، ثم افحص التدريب المقصود. لم نسحب أوزانًا أو ننفذ مرشحًا أو نقارن He بطريقة أخرى عمليًا؛ الأرقام تشرح كيف يغير تعريف العدد مقياس البداية.