تهيئة Xavier تربط توزيع الأوزان الأولية بعددي مدخلات الطبقة ومخرجاتها، بهدف موازنة انتشار الإشارات والتدرجات تحت افتراضات التحليل. [1]
الخلاصة السريعة
في النسخة المنتظمة الموضحة، حد المجال هو الجذر التربيعي للكسر الذي بسطه 6 ومقامه عدد المدخلات + عدد المخرجات، وتباين التوزيع 2 ÷ المجموع نفسه. [1]
- تتعامل القاعدة مع عدد الوصلات الداخلة والخارجة، لا عدد أمثلة مجموعة التدريب؛ وهي اختيار للبداية، لا قاعدة تحديث.
- لأربعة مدخلات ومخرجين، مجموع العددين 6، فيكون المجال بين سالب 1 وموجب 1 والتباين النظري ثلثًا.
- أربع قيم توضيحية سالب 0.9 وسالب 0.5 وموجب 0.5 وموجب 0.9 تقع داخل المجال، لكن متوسط مربعاتها 0.53 لا ثلث؛ ليست عينة نفذنا سحبها.
- لـ 12 مدخلًا و 6 مخرجات يصغر حد المجال إلى نحو 0.57735؛ تهيئة محسوبة لا تثبت أن كل شبكة أو تفعيل سيحفظ الإشارات دائمًا.
حدد أي عدد يدخل القاعدة
نقصد طبقة كاملة الوصلات، يتلقى كل مخرج فيها قيمة من كل مدخل. إذا كان عدد المدخلات 4 والمخرجات 2، فمصفوفة الأوزان تحمل 8 وصلات. لكن مقام القاعدة يجمع 4 و 2، ولا يستبدله بعدد الوصلات 8 أو بعدد بطاقات التدريب.
تقترح الورقة تباينًا 2 ÷ (عدد المدخلات + عدد المخرجات)، وتوزيعًا منتظمًا متناظرًا حول الصفر لتحقيقه. [1] نكتب هذين العددين قبل حساب المجال، كي لا يغير اختلاف ترتيب صفوف المصفوفة معنى المدخل والمخرج.
احسب مجال البداية
المجموع في طبقتنا 6. حد المجال الموجب يساوي جذر (6 ÷ 6)، أي 1، والحد الآخر سالب 1. تباين التوزيع النظري يساوي 2 ÷ 6، أي ثلثًا. نحن نحسب وصف توزيع، لا ثمانية أوزان فعلية خرجت من برنامج.
لا تجعل الحد الموجب القيمة المطلوبة لكل وزن. قولنا توزيع منتظم بين الحدين يختلف عن ملء المصفوفة كلها بموجب 1، أو ملء نصفها بالحد الأعلى والنصف الآخر بالأدنى. تلك قوائم محددة من إعداد شخص، ولا تحمل بمجرد موقعها داخل المجال كل خصائص التوزيع.
عند تدوين إعداد التهيئة، اكتب نوع التوزيع مع مجاله. القيمة 1 وحدها قد تكون حدًا في هذا المثال أو انحرافًا معياريًا في إعداد آخر، ولا يصح تبادل المعنيين.
لا تطلب من أربع قيم مساواة التباين النظري
اخترنا أربع قيم للشرح: سالب 0.9، وسالب 0.5، وموجب 0.5، وموجب 0.9. ليست هذه مصفوفة الطبقة الكاملة، وليست عينة عشوائية نفذنا سحبها. متوسطها صفر، ومتوسط مربعاتها يساوي (0.81 + 0.25 + 0.25 + 0.81) ÷ 4، أي 0.53.
كل القيم داخل المجال، لكن تباين قائمتنا حول متوسطها ليس ثلثًا. وصف التوزيع لا يفرض أن كل قائمة محدودة داخله تحقق المتوسط والتباين النظريين حرفيًا. عند مراجعة مصفوفة فعلية، لا تعتبر اختلاف تباينها وحده دليلًا حسابيًا على أن القاعدة المقصودة لم تستعمل.
ما الذي يتغير مع حجم طبقة آخر؟
لو اخترنا 12 مدخلًا و 6 مخرجات، يصبح المجموع 18، وحد المجال جذر (6 ÷ 18)، نحو 0.57735. التباين النظري يصبح 2 ÷ 18، أي 1 ÷ 9. اتساع المجال أصغر من مثالنا الأول بسبب القاعدة نفسها.
يبني تحليل الورقة هذا التوازن على افتراضات، منها استقلال الأوزان ونظام خطي تقريبي عند البداية؛ لا يقدم وعدًا عامًا لكل بنية وحالة تدريب. [1]
لذلك نفصل صحة حساب المجال عن نجاح التدريب. لم نقس تنشيطات شبكة أو نشغل تهيئة أو نختبر جودة نموذج. المقال يساعد على وصف نقطة البداية ومعنى أعدادها، ثم تحتاج التجربة الفعلية إلى فحص الإشارات والخسارة وفق نموذجها.
المصادر ومتابعة القراءة
- Glorot and Bengio: Understanding the difficulty of training deep feedforward neural networks (يفتح في نافذة جديدة)proceedings.mlr.press
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.