تماثل الوحدات عند التهيئة: متى تحصل وحدتان على التحديث نفسه؟

الخلاصة السريعة

نفحص المعاملات المتناظرة وظروف الحساب والتحديث كلها؛ تساوي الأوزان الداخلة وحده لا يكفي إذا اختلف ما يصل الوحدتين بالمخرج.

• قد يستمر تماثل وحدتين مع تساوي المعاملات المتناظرة وتساوي الحساب والتحديث؛ يناقش المرجع كسر هذا التماثل عند التهيئة. ^[1]
• في نموذجنا الخطي، نبدأ الوزنين الداخلين عند 1 والخارجين عند 0.5؛ مع دخل 2 وهدف 1، تكون مشتقتا الداخل 1 ومشتقتا الخارج 2.
• عند تحديث متزامن بمعدل 0.1 من التدرجات نفسها، يبقى الوزنان الداخلان متساويين عند 0.9 والخارجان عند 0.3؛ استبعدنا الاختلاف العشوائي والحالة غير المتناظرة.
• جعل وزني الخروج 0.2 و 0.8 يبقي الناتج الأولي والخسارة نفسيهما، لكنه يعطي تدرجي دخول 0.4 و 1.6؛ التهيئة المختلفة لا تضمن وحدها جودة النموذج.

سم الشروط قبل إعلان التماثل

يتناول المرجع الوحدات المتناظرة التي تبدأ من المعاملات نفسها، ويمكن أن تحصل على التدرجات نفسها؛ ويعرض اختلاف التهيئة بوصفه وسيلة لكسر التماثل. ^[1]

لكن عبارة «كل وزن يدخل الوحدتين متساوٍ» لا تصف كل المعاملات. قد تختلف الأوزان التي تصل كل وحدة بالمخرج، أو شروط الحساب والحالة المستخدمة في تحديثها. نريد مثالًا مكتمل الشروط، كي لا نجعل حكمًا جزئيًا قاعدة لكل شبكة.

ابن وحدتين يمكن حساب مشتقاتهما

نعرف وحدتين خطيتين: h1 = a1 × x وh2 = a2 × x. والمخرج y = b1 × h1 + b2 × h2. نختار الخسارة L = نصف (y−1)². لا توجد انحيازات أو عمليات عشوائية في هذا المثال من إعداد المقال.

ليكن x = 2، وa1 = a2 = 1، وb1 = b2 = 0.5. كل وحدة تعطي 2، والمخرج 2، والخسارة 0.5. مشتقة الخسارة بالنسبة إلى المخرج تساوي 1.

مشتقة كل وزن داخل تساوي هذا الخطأ × وزن الخروج × الدخل، أي 1 × 0.5 × 2 = 1. ومشتقة كل وزن خارج تساوي الخطأ × قيمة وحدته، أي 1 × 2 = 2. التساوي هنا نتيجة حساب مفصل، لا نتيجة شكل الصناديق في الرسم.

التحديث نفسه يحافظ على المساواة في الخطوة

نحسب التدرجات الأربع قبل تغيير أي معامل، ثم نطبق معدل تعلم 0.1 عليها. يصبح كل وزن داخل 1 − 0.1 × 1 = 0.9. وكل وزن خارج يصبح 0.5 − 0.1 × 2 = 0.3.

في هذه الخطوة بقيت الوحدتان متساويتين. لم نعط إحداهما ضوضاء أو حالة تحديث مختلفة. أما إذا حدث تحديث معامل قبل حساب مشتقة الآخر، فلن نكون قد طبقنا الحساب المتزامن الذي وصفناه.

هذا المثال يوضح استمرار المساواة وفق شروطنا، ولا يقيس سعة شبكة حقيقية أو يحكم أن كل بداية صفرية باطلة لأي نموذج. ينبغي ربط تشخيص التماثل بالبنية والمعاملات التي تحدد المسارين بالفعل.

الناتج نفسه لا يضمن التدرجات نفسها

أعد الوزنين الداخلين إلى 1، وبدل وزني الخروج اجعلهما 0.2 و 0.8. يبقى الدخل 2 والهدف 1؛ المخرج 0.2 × 2 + 0.8 × 2 = 2 والخسارة 0.5، كما كانا.

لكن تدرجي الدخول يصبحان 1 × 0.2 × 2 = 0.4 و 1 × 0.8 × 2 = 1.6. وبعد خطوتنا المتزامنة ذات المعدل 0.1، يصيران 0.96 و 0.84. اختلاف الخروج كسر مساواة التحديث رغم تساوي الدخول والخسارة الأولية.

لم نسحب أوزانًا عشوائية أو نقارن تدريب شبكتين. نستخلص من الحساب سؤالًا محددًا: هل كل المعاملات والظروف المتناظرة متساوية؟ ثم يبقى نجاح اختيار البداية محتاجًا إلى تقييم المهمة، ولا ينتج من وجود اختلاف وحده.