قراءات عربية في العلوم والتقنية والطبيعة والثقافة، تبدأ بسؤال وتترك لك مساحة للاستكشاف.
2297 مقالًا
اتساق البيانات وصلاحيتها بعدان مختلفان. يربط الإطار الحكومي البريطاني الصلاحية بالنطاق والصيغة المتوقعة، والاتساق بعدم تعارض القيم التي تصف الكيان نفسه. وقد تقبل قاعدة عددية قيمتين، بينما يتعارضان في المعنى. [1]
نسبة القيم المفقودة لكل عمود تحتاج تعريف المفقود ونطاق الصفوف. في pandas، تحدد isna قيما مثل None وNaN، لكنها لا تعد السلسلة الفارغة قيمة NA تلقائيا. لذلك قد يختلف فحص الأداة عن قاعدة الحقل التي تقصدها. [1]
فحص القيم خارج المجال المتوقع يحتاج قاعدة مكتوبة: ما الحد الأدنى، وما الحد الأعلى، وهل نقبل القيم الواقعة على الطرفين؟ اختبر الأرقام الموجودة بهذه القاعدة، وسجل القيم المفقودة في مسار منفصل؛ فغياب الطول لا يعني أننا شاهدنا طولا أكبر من الحد.
تناقض الحقول المرتبطة قد يظهر رغم أن كل رقم يقع داخل مجاله المقبول. إذا وصفنا محتويات علبة بفئات منفصلة وشاملة في الوقت نفسه، فيجب أن يوافق مجموع أعدادها العدد الكلي حسب تعريف السجل. نجاح فحص كل عمود وحده لا يختبر هذه العلاقة.
فحص الصفوف المكررة لا يبدأ بزر الحذف، بل بسؤال عن معنى الصف والأعمدة التي نقارنها. قد تتساوى قيم اللون والعدد في حدثين صحيحين مختلفين؛ وإذا قارننا هذين الحقلين وحدهما، فقد نخفي الفرق الذي سجله معرف الحدث ووقته.
الحدث الجديد وإعادة إرسال الرسالة ليسا الشيء نفسه في إعداد بيانات النموذج. قد تصل الرسالة التي تصف الواقعة نفسها أكثر من مرة. لذلك نحتاج تعريفا لهوية الحدث وسياسة لدى مصدره؛ تساوي عدد الرسائل وعدد الوقائع افتراض يحتاج تحققا.
تقرير فحص البيانات يبين ما راجعناه وكيف حسبنا النتيجة. لا تمنح عبارة «اجتاز الفحص» ملفا شهادة صلاحية لكل مهمة ذكاء اصطناعي؛ فقد نختبر وجود حقل، ونترك دقة قيمته أو طريقة اختيار الصفوف دون تحقق. لذلك نكتب حدود التقرير بجانب نتائجه.
سجل قرارات تنظيف البيانات يشرح سبب كل تغيير، لا قائمة الأوامر وحدها. إذا حولنا رمزا إلى كلمة أو عدلنا قيمة، نحتاج دليلا يبرر المعنى الجديد. قد يحسن التغيير شكل الملف، لكنه يضيف معنى لم يكتبه المصدر إن طبقناه على حالة مجهولة.
مجموع القيم المفقودة والصفر قد يلتبسان عند إعداد بيانات النموذج. تعرض وثائق pandas أن Series.sum يعيد صفرا افتراضيا للسلسلة الفارغة أو التي جميع قيمها مفقودة. [1] لكن ظهور هذا الصفر لا يعني أننا شاهدنا صناديق فارغة أو قسنا كمية تساوي صفرا.
رموز القيم المفقودة عند استيراد CSV تحتاج تعريفا من مصدر الملف. قد تبدو الخانة نصا واضحا في النسخة الأصلية، ثم تعاملها أداة القراءة كقيمة مفقودة. لذلك نحدد معنى الرمز في الحقل قبل الاستيراد، حتى لا يفقد النموذج فئة صحيحة أو يخلط بين الغياب ونص مقصود.
أسباب غياب القيم في البيانات لا تختصر دائما في خانة فارغة. قد تكون القيمة موجودة لكننا لا نعرفها، أو يكون الحقل غير مناسب للشيء الذي نصفه، أو لم يؤد مسار الجمع إلى معرفة الإجابة. حفظ هذا الفرق يساعدنا على إعداد بيانات النموذج دون اختراع قيمة لكل فراغ.
الفرق بين آليات فقد البيانات يتعلق بعلاقة احتمال الغياب بالمعلومات، وليس بعدد الخانات الفارغة وحده. تميز MCAR وMAR وMNAR بين استقلال الغياب عن البيانات، واعتماده على معلومات مشاهدة، وبقائه مرتبطا بمعلومات غير مشاهدة. [1] هذه افتراضات نراجعها عند إعداد بيانات تعلم الآلة.
حذف السجلات الناقصة قد يزيل الفراغات من الملف المتبقي، لكنه يغير أيضا السجلات التي يراها النموذج. إذا كانت مجموعة تفقد قيما أكثر من أخرى، فقد تصبح أقل تمثيلا بعد الحذف. لذلك نراجع من حُذف وما سؤال التحليل، بدلا من الحكم على النتيجة بخلوها من الخانات المفقودة.
تعويض القيم المفقودة بالوسيط يختار قيمة محسوبة من العمود، ولا يعيد قياس القيمة الغائبة. تتيح SimpleImputer استراتيجية median لملء القيم المفقودة بوسيط كل عمود عددي. [1] لذلك نحتاج معرفة البيانات التي حسبنا منها الوسيط وحفظ الفرق بين القياس الأصلي والقيمة التي أضفناها.
تعويض الفئات بالأكثر شيوعا يملأ الفراغ باسم فئة تكرر ظهورها في العمود. لكنه لا يكشف الفئة الحقيقية لكل سجل غائب. قد يظهر اللون الأخضر أكثر في الجدول المعوض، لأننا أضفناه وفق سياسة، لا لأننا رصدنا أشياء خضراء جديدة. هذا الفرق يهم إعداد مدخلات نموذج ومراجعة وصف البيانات.
مؤشر القيم المفقودة يحتفظ بمعلومة قد تختفي من شكل الجدول بعد ملء الفراغ. إذا رأينا الرقم 9 مرتين، فقد يكون مرة قياسا ومرة قيمة تعويض. لا يوضح الرقم وحده الفرق. لذلك نضع في المثال علامة مستقلة للغياب الأصلي، ونراجع أي أعمدة تعرضها أداة المؤشر.
إحصاء التعويض من التدريب فقط يمنع بيانات الاختبار من المشاركة في تحديد طريقة إعداد المدخلات. قد يبدو حساب الوسيط خطوة بسيطة قبل النموذج، لكنه يستفيد من القيم التي ندخلها في الحساب. إذا ضممنا الاختبار، لم يعد إعداد النموذج مستقلا عنه. نشرح ذلك بأرقام افتراضية صغيرة، دون تدريب نموذج أو قياس دقته.
نسبة الغياب عبر الزمن قد ترتفع حتى عندما يبقى معدل الغياب داخل كل مجموعة ثابتا. يتغير الإجمالي إذا ازدادت حصة مجموعة ينقص فيها التسجيل أكثر. لذلك لا نقرأ خطا صاعدا في تقرير إعداد بيانات الذكاء الاصطناعي على أنه تشخيص لعطل جهاز أو تراجع نموذج. نراجع من دخل المقارنة وكيف عرّفنا الغياب.
