أفكار وأدوات رقمية بلغة مفهومة.
1201 مقال
ضرب أوزان المتوسط الموزون في ثابت موجب لا يغير المتوسط إذا بقيت القيم نفسها وكان مجموع الأوزان الأصلي موجبا. يتضاعف البسط والمقام معا، فتثبت النسبة. أما جمع القيم المضروبة بالأوزان دون القسمة فهو مجموع موزون يتغير، وهو حساب آخر.
إعادة وزن فئة غائبة من البيانات تواجه نقصا لا يحله تغيير أوزان الصفوف الموجودة وحده. معرفة أن نصف المجتمع من الفئة ب لا تخبرنا بقيم ب إذا لم نجد لها أي سجل. يمكن للأوزان تعديل مساهمات ما رصدناه، لكنها لا تحول سجل أ إلى قياس رصدناه لب.
المتغير الثابت ومعامل النموذج الخطي قد لا يمكن فصلهما من بيانات لا يتغير فيها المتغير. إذا كانت سمة الإضاءة تساوي 1 في جميع السجلات، واحتوى النموذج ثابتا أيضا، فإن البيانات ترى مجموع المعامل والثابت. تغيير أحدهما وتعويضه في الآخر قد يبقي كل التنبؤات المرصودة نفسها.
اتفاق جهازين في القياس لا يثبت وحده أن الرقم قريب من قيمة مرجعية مناسبة. يمكن أن يتطابق الجهازان على رقم مختلف عن المرجع. وعند إعداد بيانات لتعلم الآلة، نحتاج تحديد المقارنة المقصودة قبل اعتبار هذا التطابق شهادة على صحة المدخلات.
المتوسط اليومي للبيانات يلخص القيم التي أدخلناها في حسابه، لكنه لا يخبرنا وحده كيف تغيرت داخل اليوم. قد تنتهي قراءات مختلفة إلى المتوسط نفسه. لذلك نراجع ما إذا كان سؤال النموذج يحتاج هذا الملخص أو تفاصيل التوقيت والتغير.
تحويل ثابت قبل تقسيم البيانات لا يشرك الاختبار تلقائيا في تعلم إحصاء، إذا كان يعمل على كل صف وحده وكانت قاعدته محددة مسبقا دون الاستعانة بالاختبار. نحتاج فحص ما تستخدمه الخطوة، لا الحكم عليها من ترتيب أسماء الملفات فقط.
تصحيح بيانات قديمة عند التنبؤ يطرح سؤالين مختلفين: ما القيمة التي نسجلها الآن عن ذلك الوقت، وما القيمة التي كانت معروفة حين أعددنا التوقع؟ قد تغير المراجعة اللاحقة جواب الأول، دون أن تغير ما كان متاحا بالفعل في الماضي.
فصل سجلات الشخص بمعرفات مختلفة قد يخفي تداخلا بين التدريب والاختبار إذا كانت تلك المعرفات أسماء بديلة للشخص نفسه. عندما يقصد التقييم أشخاصا جددًا، نحتاج مراجعة هوية الكيان الذي تجمعه الرموز، لا الاكتفاء باختلاف نصوصها.
بصمات ملفات الصور وتداخل الأصل يجيبان عن سؤالين مختلفين. قد تختلف ملفات مشتقة من الصورة نفسها، بينما تظل مرتبطة بأصل واحد. لذلك لا يكفي فحص اختلاف بصمات الملفات لإعلان أن الاختبار يقيس صورا من أصول لم تظهر في التدريب.
تسرب الهدف عبر متغير بديل قد يبقى مخفيا حتى بعد حذف عمود الهدف من المدخلات. إذا اشتق العمود البديل من الإجابة التي لم تكن معروفة وقت التنبؤ، فإن إعادة تسميته لا تمنحه مصدرا مستقلا أو تجعل معلوماته متاحة آنذاك.
المعالجة داخل التحقق المتقاطع تحتاج احترام فصل التدريب والتحقق في كل طية، حتى إذا بقي الاختبار النهائي جانبا. حساب إحصاء من كامل بيانات التطوير قبل الطيات قد يدخل قيم الجزء المحجوز للتحقق في معالجة الجزء الذي يدرب عليه النموذج.
ترتيب تحويل البيانات جزء من تعريف المسار الذي يعد مدخلات نموذج الذكاء الاصطناعي. حتى عندما تكون كل خطوة ثابتة ولا تتعلم إحصاء من البيانات، قد يغير تبديل خطوتين القيم الناتجة. معرفة أسماء التحويلات وحدها لا تكفي لإعادة النتيجة.
طيات التدريب الزمني المتوسع تغير حدود التدريب عبر الزمن. قد يظهر سجل في تحقق طية مبكرة ثم يدخل تدريب طية لاحقة، عندما تسمح نقطة الزمن الجديدة باستعمال معلوماته. هذا الانتقال لا يجعله تدريبا بأثر رجعي في الطية الأولى.
التقسيم الطبقي مع مجموعات كاملة يجمع مطلبين: فصل المجموعات بين التدريب والتحقق، وتقريب نسب الفئات. قد تمنع بنية المجموعات تحقيق النسب المطلوبة، حتى عندما تكون النسبة العامة متوازنة تماما. نفحص إمكان تحقيق الشرط قبل الحكم على اسم طريقة التقسيم.
الفجوة في التقسيم الزمني قد تعرف بعدد سجلات، بينما السؤال التطبيقي يسأل عن دقائق أو أيام. لا تتحول وحدة العد إلى وحدة زمن بمجرد ترتيب الصفوف؛ نحتاج الطوابع الزمنية والفاصل الفعلي لتفسير المدة.
حجم الاختبار في GroupShuffleSplit يحدد مجموعات كاملة، لا نسبة مباشرة من صفوف البيانات. عندما تختلف أحجام المجموعات، قد يؤدي اختيار العدد نفسه منها إلى أعداد صفوف مختلفة كثيرا. لذلك نوضح وحدة الحجم قبل تفسير الرقم بوصفه تغطية للبيانات.
صفر أخطاء بعد اختيار النموذج قد يصف الصف الذي وجه الاختيار نفسه. لا يساوي ذلك بالضرورة أداء على حالة مستقلة. يمكن إظهار الفرق دون تدريب أي معاملات، باستعمال خيارين ثابتين وإجابة واحدة استعملناها للمفاضلة بينهما.
تحديد حجمي التدريب والاختبار صراحة قد يختار جزءا من البيانات بدلا من توزيعها كلها. في train_test_split لا نفترض أن غياب صف من التدريب يجعله تلقائيا في الاختبار؛ نراجع كيف حدد الحجمين وما الذي أعاده التقسيم.
