جمع الوصلات المتبقية في الصيغة الأساسية يجمع F(x) والمدخل x عنصرًا بعنصر. ليس ضم القائمتين، ولا يعني إسقاط حساب الفرع F؛ تعرض ورقة ResNet الجمع قبل التنشيط اللاحق. [1]
الخلاصة السريعة
راجع شكل طرفي الجمع وموضع التنشيط؛ مرور المدخل في فرع مباشر لا يجعل الخرج قائمة أطول أو يضمن أنه سيبقى المدخل نفسه.
- تكتب الورقة y = F(x) + x، وتذكر تنشيطًا بعد الجمع؛ هذه علاقة بين الفرعين، لا حذف للفرع الذي يحسب F(x). [1]
- في تمريننا x يساوي 2 وسالب 1، وF(x) يساوي سالب 0.5 و 3؛ الجمع يعطي 1.5 و 2، بينما ضم القائمتين ينتج أربع قيم.
- إذا اختلف البعد، تعرض الورقة إسقاطًا خطيًا للمدخل لمطابقة فرع F؛ في مثالنا اخترنا إسقاطًا من قيمتين إلى ثلاث، ولم نتعلمه بتدريب. [1]
- عندما يكون F(x) صفرًا يبقى x في نقطة الجمع، لكن تنشيطًا لاحقًا مثل ReLU قد يغير عنصره السالب؛ لا تعمم الهوية على الكتلة كلها أو تستنتج جودة تدريب.
اقرأ الفرعين ونقطة الجمع
تحدد الورقة الجمع عنصرًا بعنصر، وتفصل نقطة الجمع عن التنشيط الذي يليها. [1]
نسمي فرعًا يحسب F(x)، وفرعًا يحمل x مباشرة إلى الجمع في الحالة المتوافقة الأبعاد. وجود الطريق المباشر لا يخبرنا أن حساب F اختياري أو أن الخرج يساوي فرعًا واحدًا منهما. كلاهما يدخل العملية التي أعلناها.
لن نحسب أوزان F من بيانات؛ نختار خرجه للتوضيح. لا ننسب الرقم إلى شبكة ResNet فعلية، ولا نفترض أن كل بنية تحمل اسم وصلة متبقية تضع التنشيط في المكان نفسه.
الجمع ليس لصق قائمتين
نختار المدخل [2، سالب 1] وخرج الفرع [سالب 0.5، 3]. العنصر الأول 2 + (سالب 0.5) يساوي 1.5، والثاني سالب 1 + 3 يساوي 2. الناتج بقي ذا عنصرين.
أما ضم القائمتين بالتتابع فيعطي [2، سالب 1، سالب 0.5، 3]؛ هذه أربعة عناصر دون إجراء الجمع. لا نبدل العمليتين لمجرد أن كلتيهما تستخدم الفرعين؛ الطبقة التي تستقبل الناتج ستقرأ شكلًا مختلفًا.
وإذا بدلنا ترتيب عناصر فرع واحد، تغيرت الأزواج المجمعة. توافق عدد العناصر شرط في مثالنا، لكنه لا يثبت وحده أن أسماء القنوات أو معناها رُتبت كما قصد مصمم البنية.
| العملية المختارة | الناتج | عدد العناصر |
|---|---|---|
| جمع عنصرين متقابلين | 1.5، 2 | 2 |
| ضم القائمتين | 2، سالب 1، سالب 0.5، 3 | 4 |
ماذا إذا اختلف عدد العناصر؟
تعرض الورقة عند اختلاف الأبعاد إسقاطًا خطيًا Ws على المدخل، فتكون الصيغة F(x) + Ws x. [1]
في تمرين جديد نريد ثلاث قيم لفرع F، ونختار خرجًا [0.5، 2، سالب 1]. لا نجمعه مباشرة بمتجه المدخل ذي القيمتين. نعلن إسقاطًا يعطي العنصر الأول من x، ثم الثاني، ثم مجموعهما؛ للمدخل السابق ينتج [2، سالب 1، 1].
الآن نجمع ثلاثة أزواج فنحصل على [2.5، 1، 0]. مصفوفة هذا الإسقاط المختار صفوفها [1، 0] و[0، 1] و[1، 1]. لم ندربها أو نفترض أن المكتبة ستخترعها تلقائيًا عند اختلاف شكلين. هذا مثال توافق، لا توصية بأوزان إسقاط عامة.
هل الطريق المباشر يضمن الهوية؟
إذا اخترنا F(x) متجهًا صفريًا، يكون خرج الجمع x. لكننا نقيد الكلام بنقطة الجمع: المدخل [2، سالب 1] يبقى هناك، ثم يصبح [2، 0] إذا طبقنا ReLU بعده. الفرع المباشر لم يمنع هذا التغيير اللاحق.
ولا نستنتج من التوافق العددي أن وصلة ستزيد دقة كل نموذج أو تتجنب كل صعوبة تدريب. لم نشغل شبكة أو نقس تعميمًا. عند قراءة رسم بنية، تتبع الفرعين إلى العملية الفعلية، وحدد الأبعاد والإسقاط وموضع التنشيط.
بهذه التفاصيل يمكن مراجعة ما تنفذه الكتلة: جمع محدود الأبعاد في نقطة معلومة. نقل العبارة إلى تنبؤ كامل أو نتيجة مهمة يحتاج حساب بقية البنية ودليلًا آخر، لا سهم الطريق المباشر وحده.
المصادر ومتابعة القراءة
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.