أفكار وأدوات رقمية بلغة مفهومة.
1201 مقال
رموز القيم المفقودة عند استيراد CSV تحتاج تعريفا من مصدر الملف. قد تبدو الخانة نصا واضحا في النسخة الأصلية، ثم تعاملها أداة القراءة كقيمة مفقودة. لذلك نحدد معنى الرمز في الحقل قبل الاستيراد، حتى لا يفقد النموذج فئة صحيحة أو يخلط بين الغياب ونص مقصود.
أسباب غياب القيم في البيانات لا تختصر دائما في خانة فارغة. قد تكون القيمة موجودة لكننا لا نعرفها، أو يكون الحقل غير مناسب للشيء الذي نصفه، أو لم يؤد مسار الجمع إلى معرفة الإجابة. حفظ هذا الفرق يساعدنا على إعداد بيانات النموذج دون اختراع قيمة لكل فراغ.
الفرق بين آليات فقد البيانات يتعلق بعلاقة احتمال الغياب بالمعلومات، وليس بعدد الخانات الفارغة وحده. تميز MCAR وMAR وMNAR بين استقلال الغياب عن البيانات، واعتماده على معلومات مشاهدة، وبقائه مرتبطا بمعلومات غير مشاهدة. [1] هذه افتراضات نراجعها عند إعداد بيانات تعلم الآلة.
حذف السجلات الناقصة قد يزيل الفراغات من الملف المتبقي، لكنه يغير أيضا السجلات التي يراها النموذج. إذا كانت مجموعة تفقد قيما أكثر من أخرى، فقد تصبح أقل تمثيلا بعد الحذف. لذلك نراجع من حُذف وما سؤال التحليل، بدلا من الحكم على النتيجة بخلوها من الخانات المفقودة.
تعويض القيم المفقودة بالوسيط يختار قيمة محسوبة من العمود، ولا يعيد قياس القيمة الغائبة. تتيح SimpleImputer استراتيجية median لملء القيم المفقودة بوسيط كل عمود عددي. [1] لذلك نحتاج معرفة البيانات التي حسبنا منها الوسيط وحفظ الفرق بين القياس الأصلي والقيمة التي أضفناها.
تعويض الفئات بالأكثر شيوعا يملأ الفراغ باسم فئة تكرر ظهورها في العمود. لكنه لا يكشف الفئة الحقيقية لكل سجل غائب. قد يظهر اللون الأخضر أكثر في الجدول المعوض، لأننا أضفناه وفق سياسة، لا لأننا رصدنا أشياء خضراء جديدة. هذا الفرق يهم إعداد مدخلات نموذج ومراجعة وصف البيانات.
مؤشر القيم المفقودة يحتفظ بمعلومة قد تختفي من شكل الجدول بعد ملء الفراغ. إذا رأينا الرقم 9 مرتين، فقد يكون مرة قياسا ومرة قيمة تعويض. لا يوضح الرقم وحده الفرق. لذلك نضع في المثال علامة مستقلة للغياب الأصلي، ونراجع أي أعمدة تعرضها أداة المؤشر.
إحصاء التعويض من التدريب فقط يمنع بيانات الاختبار من المشاركة في تحديد طريقة إعداد المدخلات. قد يبدو حساب الوسيط خطوة بسيطة قبل النموذج، لكنه يستفيد من القيم التي ندخلها في الحساب. إذا ضممنا الاختبار، لم يعد إعداد النموذج مستقلا عنه. نشرح ذلك بأرقام افتراضية صغيرة، دون تدريب نموذج أو قياس دقته.
نسبة الغياب عبر الزمن قد ترتفع حتى عندما يبقى معدل الغياب داخل كل مجموعة ثابتا. يتغير الإجمالي إذا ازدادت حصة مجموعة ينقص فيها التسجيل أكثر. لذلك لا نقرأ خطا صاعدا في تقرير إعداد بيانات الذكاء الاصطناعي على أنه تشخيص لعطل جهاز أو تراجع نموذج. نراجع من دخل المقارنة وكيف عرّفنا الغياب.
القيمة الشاذة في البيانات ليست وصفا يلازم الرقم في كل جدول. يعرف NIST القيمة الشاذة بأنها ملاحظة تبدو مختلفة بوضوح عن بقية ملاحظات العينة. [1] لذلك نسأل أولا: مختلف عن أي مجموعة؟ يهم هذا السؤال عند تجهيز بيانات تعلم الآلة؛ فقد نخلط مجموعتين ثم نعامل اختلافهما كأنه خطأ في إحداهما.
القيمة المتطرفة وخطأ التسجيل قد يجتمعان، لكنهما ليسا النتيجة نفسها. اختلاف رقم عن بقية العمود ينبهنا إلى المراجعة؛ أما إثبات خطأ نسخ فيحتاج مقارنة مناسبة بسجل المصدر. عند تجهيز بيانات الذكاء الاصطناعي لا نصلح كل رقم كبير لمجرد أنه غير شائع، ولا نعد تطابق النسخ دليلا كافيا على صحة القياس الأصلي.
المدى الربيعي والقيم المتطرفة يرتبطان في فحص يضع حدودا حول الجزء الأوسط من البيانات. نحتاج الربيع الأول والثالث، وطريقة حسابهما، ثم قاعدة واضحة لما يقع خارج الحدود. يبين المثال كيف نحسب التنبيه في بيانات إعداد نموذج، ولا يجعل كل قيمة متنبهة خاطئة أو ملزمة بالحذف.
الدرجة المعيارية وكشف الشذوذ يلتقيان عندما نقارن بعد قيمة عن المتوسط بوحدات الانحراف المعياري. لكن الرقم الناتج يعتمد على البيانات المرجعية وطريقة حساب التشتت. قد لا تتجاوز قيمة تبدو مختلفة عتبة اخترناها، خصوصا إذا شاركت هي نفسها في حساب المتوسط والانحراف. لذلك نشرح الحساب قبل تحويله إلى حكم على سجل.
قص القيم المتطرفة أحد الخيارات عند إعداد مدخلات نموذج، لكنه يغير ما يستطيع المدخل التعبير عنه. إذا استبدلنا كل قيمة تتجاوز حدا بالحد نفسه، تختفي الفروق بين تلك القيم في الحقل الناتج. لذلك نحتاج فهم التحويل وتوثيق اختياره قبل وصفه بتنظيف البيانات.
التحويل اللوغاريتمي للبيانات يبدل مقياس الأرقام التي قد تدخل نموذج تعلم الآلة. لا تبقى القيمة الناتجة قياسا بالوحدة الأصلية، كما لا يصلح كل مدخل للوغاريتم الحقيقي. نشرح الأساس 10 بأرقام مفترضة، ثم نفصل معنى الناتج عن أي ادعاء بتحسن نموذج أو تغير توزيع البيانات إلى شكل معين.
التواء البيانات وصف لعدم التماثل، لكن كلمتي موجب وسالب قد توحيان خطأ بأنهما تصفان إشارات القياسات نفسها. يمكن أن تكون كل الأطوال موجبة، ومع ذلك يمتد الجزء الأقل تكرارا نحو القيم الأدنى. نوضح الفرق بقائمتين صغيرتين، ثم نفصل وصف الشكل عن إثبات سببه أو ملاءمته لنموذج.
اختلاف وحدات البيانات قد يجعل مقارنة صحيحة للأرقام مقارنة خاطئة للقياسات. في جدول أطوال، يبدو الرقم 1 أصغر من 10 و 12 ؛ لكن 1 متر أطول من 10 سم و 12 سم. قبل حساب فحص شذوذ أو إعداد عمود لنموذج، نحتاج معرفة الوحدة التي يحملها كل سجل ومعنى الكمية المقاسة.
تشبع القياس قد يجعل الأرقام المسجلة تبدو ثابتة رغم تغير الكمية التي نحاول وصفها. إذا انتهت قدرة سلسلة القياس عند حد معين، لا يمكن تفسير تكرار ذلك الحد مثل تكرار قراءة داخل المجال دائما. نوضح الالتباس قبل استخدام هذه القراءات في إعداد مدخلات نموذج أو وصف تغير ظاهرة.
