الغابة الموزعة: تدريب الأشجار عبر أكثر من جهاز

الخلاصة السريعة

توزيع البيانات والعمل يحتاج إلى تنسيق؛ وفي H2O يمكن اختيار بناء الأشجار على عقدة واحدة أيضًا. كثرة الأجهزة لا تعني تسارعًا مضمونًا. ^{[1] [2]}

• في H2O، إطار البيانات موزع داخل العنقود؛ الجهاز الذي يرسل الطلب ليس بالضرورة مكان تخزين جميع البيانات. ^[1]
• افصل مكان البيانات عن إعداد تنفيذ بناء الشجرة؛ يتيح build_tree_one_node التشغيل على عقدة واحدة. ^[2]
• في المثال ذي الأجزاء غير المتداخلة والمختلفة الحجم، احتفظ بالأعداد؛ متوسط المتوسطات غير الموزون قد يعطي جوابًا خاطئًا.
• قارن الزمن والموارد بعد احتساب الاتصال؛ يشير التوثيق إلى كلفة الشبكة وإلى ملاءمة العقدة الواحدة للبيانات الصغيرة. ^[2]

أين توجد البيانات وأين يوجد الطلب؟

يمثل H2O Frame وحدة البيانات المتاحة للمستخدم. ويوضح توثيق البنية أن كتل البيانات المستوردة تعيش داخل إطار موزع في ذاكرة العنقود، مع تخزين مفاتيح وقيم موزع. ^[1]

تخيل مخططًا تعليميًا فيه جهاز محرر يرسل طلب التدريب، وجهازان يخزنان أجزاء البيانات. لا يعني ظهور نافذة العمل على جهاز المحرر أن كل الصفوف مرت عبره أو أن ذاكرته تحمل النسخة الكاملة. ضع في الرسم سهمًا للطلب، وأسهمًا منفصلة لمواضع البيانات؛ بهذا يصبح سؤال «أين تعمل المهمة؟» محددًا.

توزيع الإطار لا يحدد كل إعداد تدريب

توثيق DRF يصف غابة للتصنيف أو الانحدار، ويعرض build_tree_one_node لاختيار بناء الشجرة على عقدة واحدة، مع استخدام معالجات أقل وتجنب كلفة الشبكة في هذا الوضع. ^[2]

قبل المقارنة، اكتب حجم الإطار، وعدد العقد، والإعداد المذكور، وعدد الأشجار المطلوب. عبارتا «البيانات موزعة» و«البناء على عقدة واحدة» تتعلقان بسؤالين مختلفين. ولا نفترض هنا أن كل جهاز يبني غابة مستقلة ثم يلصق ملفه بالملفات الأخرى؛ هذا إجراء مختلف يحتاج إلى وصف صريح إذا اختير.

مثال: لماذا نحتفظ بعدد الصفوف؟

هذا حساب من إعداد المقال لدمج ملخصات أجزاء، وليس وصفًا لطريقة H2O الداخلية في حساب انقسامات الأشجار. الجزء الأول فيه قيمتان مجموعهما 6، فمتوسطه 3. الجزء الثاني فيه ست قيم مجموعها 30، فمتوسطه 5. المتوسط العام هو (6+30)/(2+6)=4.5.

أما (3+5)/2 فيساوي 4، لأنه يعطي الجزأين الوزن نفسه رغم اختلاف عدد القيم. ويمكن استعادة 4.5 من المتوسطين إذا حفظنا العددين: (2×3+6×5)/8. هذا الخطأ يظهر عند نسيان ما يمثله الملخص، قبل أي حديث عن جودة نموذج.

عندما تقرأ نتيجة موزعة، اسأل: هل الرقم مجموع أم متوسط؟ وما مقام المتوسط؟ وهل الأجزاء متداخلة؟ افترضنا أجزاء غير متداخلة في حسابنا؛ عد الصف نفسه مرتين يغير معنى النتيجة حتى لو نُفذت العمليات الحسابية دون خطأ.

ماذا نكتب في تقرير المقارنة؟

سجل وقت الطلب ووقت ظهور النموذج المكتمل، ثم وصف الأجهزة والاتصال وحجم البيانات والإعدادات. لا تقارن مرورًا موزعًا لنصف البيانات بمرور محلي لجميعها وتسمِّ الفرق فائدة توزيع.

توزيع التخزين يساعد على فهم مكان الموارد، لكنه لا يعطينا زمنًا محسوبًا من عدد الأجهزة وحده. إن كان المقصود خدمة تنبؤ جديدة، افحص ملف النموذج وتنبؤاته أيضًا. يظل المثال السابق اختبارًا لاتساق التجميع، وليس قياسًا لتسارع أو دقة غابة فعلية.