نقطة السرج في التدريب: لماذا لا يكفي التدرج الصفري؟

الخلاصة السريعة

نفحص اتجاهات مختلفة قرب النقطة، ولا نسمي كل موضع ذي تدرج صفري حدًا أدنى؛ في نقطة السرج توجد حركة تخفض القيمة وأخرى ترفعها. ^[1]

• انعدام التدرج وصف للميل عند الموضع، ولا يكفي وحده لإثبات حد أدنى في فضاء متعدد المتغيرات. ^[1]
• في دالتنا التعليمية، الموضع u = 1 وv = سالب 2 يعطي قيمة 4 ومشتقتين صفريتين؛ الدالة من إعداد المقال وليست خسارة شبكة اختبرناها.
• تحريك u بمقدار 0.1 يعطي 4.01، وتحريك v وحده بالمقدار نفسه يعطي 3.9801؛ اختلاف الاتجاهين هو أساس الحكم في المثال.
• تحديث مباشر يعتمد على التدرج الحالي وحده يبقى عند هذا الموضع الدقيق؛ الشرط يستبعد الضوضاء والحالة السابقة، ولا يصف كل خوارزمية أو نقطة قريبة.

الميل عند النقطة ليس وصف الحي كله

في أكثر من بعد، يمكن أن يختلف سلوك الدالة بين اتجاهين قرب النقطة. يناقش المرجع نقاطًا سكونية لا تمثل حدودًا دنيا، ومنها نقاط السرج. ^[1]

عندما نقرأ سجل تدريب يظهر مقدار تدرج صغيرًا، نحتاج إلى فصل هذه الملاحظة عن حكم «انتهى البحث بنجاح». مقالنا يحسب حالة يكون فيها المقدار صفرًا بالضبط، لكنه لا يقدم تشخيصًا لسجل فعلي أو عتبة عددية للحكم عليه.

اكتب دالة تستطيع فحصها

نختار دالة تعليمية ذات متغيرين: L = 4 + (u−1)² − 2(v+2)² + (v+2)⁴. الحد الرابع يجعل المثال مختلفًا عن مجرد فرق مربعين. ولم نستخرج الدالة من بيانات أو ندرب بها نموذجًا.

عند u = 1 وv = سالب 2، تصبح الأقواس صفرًا، وتكون القيمة 4. المشتقة بالنسبة إلى u هي 2(u−1). وبالنسبة إلى v هي سالب 4(v+2) + 4(v+2)³. كلتاهما صفر في الموضع المحدد.

ويمكن كتابة الدالة نفسها على صورة 3 + (u−1)² + ((v+2)²−1)². هذا يوضح أنها لا تحتاج قيمًا سالبة لتظهر فيها نقطة سرج. انعدام الميل في حسابنا لا يساوي انعدام الخسارة.

جرب اتجاهين منفصلين

أبق v عند سالب 2، واجعل u = 1.1. يصبح الحد المربع 0.01، وتبلغ القيمة 4.01. هذا اتجاه ترتفع فيه الدالة عن قيمة المركز.

ثم أعد u إلى 1، واجعل v = سالب 1.9. هنا v+2 يساوي 0.1، فتكون القيمة 4 − 0.02 + 0.0001 = 3.9801. هذا اتجاه تنخفض فيه الدالة. لم نغير المتغيرين معًا، لذلك نستطيع نسبة كل مقارنة إلى اتجاه معلوم.

ولأي إزاحة صغيرة غير صفرية في الاتجاه الثاني، يكون التغير سالبًا ما دام مربع الإزاحة أقل من 2. وفي الاتجاه الأول يزيد مربع الإزاحة القيمة. لذلك لا يعتمد الحكم على اختيار خطوتنا 0.1 وحدها؛ توجد الاتجاهات المختلفة قرب الموضع.

متى يبقى التحديث في مكانه؟

افترض قاعدة تطرح معدل التعلم مضروبًا في التدرج الحالي، دون حالة سابقة أو ضوضاء أو أي حد إضافي. بما أن مركبتي التدرج صفر في مركزنا، يظل u = 1 وv = سالب 2 بعد هذا التحديث. زيادة معدل التعلم وحدها لا تغير حاصل ضربه في صفر.

هذا استنتاج عن الموضع الدقيق والقاعدة المفترضة. عند نقطة مجاورة قد لا يكون التدرج صفرًا، وقد تستخدم خوارزمية أخرى معلومات سابقة أو تغيرًا عشوائيًا. لا نحول المثال إلى وعد بأن كل تدريب يتوقف عند سرج، أو أن إجراءً واحدًا يضمن الخروج منه.