قراءات عربية في العلوم والتقنية والطبيعة والثقافة، تبدأ بسؤال وتترك لك مساحة للاستكشاف.
2297 مقالًا
القيمة الشاذة في البيانات ليست وصفا يلازم الرقم في كل جدول. يعرف NIST القيمة الشاذة بأنها ملاحظة تبدو مختلفة بوضوح عن بقية ملاحظات العينة. [1] لذلك نسأل أولا: مختلف عن أي مجموعة؟ يهم هذا السؤال عند تجهيز بيانات تعلم الآلة؛ فقد نخلط مجموعتين ثم نعامل اختلافهما كأنه خطأ في إحداهما.
القيمة المتطرفة وخطأ التسجيل قد يجتمعان، لكنهما ليسا النتيجة نفسها. اختلاف رقم عن بقية العمود ينبهنا إلى المراجعة؛ أما إثبات خطأ نسخ فيحتاج مقارنة مناسبة بسجل المصدر. عند تجهيز بيانات الذكاء الاصطناعي لا نصلح كل رقم كبير لمجرد أنه غير شائع، ولا نعد تطابق النسخ دليلا كافيا على صحة القياس الأصلي.
المدى الربيعي والقيم المتطرفة يرتبطان في فحص يضع حدودا حول الجزء الأوسط من البيانات. نحتاج الربيع الأول والثالث، وطريقة حسابهما، ثم قاعدة واضحة لما يقع خارج الحدود. يبين المثال كيف نحسب التنبيه في بيانات إعداد نموذج، ولا يجعل كل قيمة متنبهة خاطئة أو ملزمة بالحذف.
الدرجة المعيارية وكشف الشذوذ يلتقيان عندما نقارن بعد قيمة عن المتوسط بوحدات الانحراف المعياري. لكن الرقم الناتج يعتمد على البيانات المرجعية وطريقة حساب التشتت. قد لا تتجاوز قيمة تبدو مختلفة عتبة اخترناها، خصوصا إذا شاركت هي نفسها في حساب المتوسط والانحراف. لذلك نشرح الحساب قبل تحويله إلى حكم على سجل.
قص القيم المتطرفة أحد الخيارات عند إعداد مدخلات نموذج، لكنه يغير ما يستطيع المدخل التعبير عنه. إذا استبدلنا كل قيمة تتجاوز حدا بالحد نفسه، تختفي الفروق بين تلك القيم في الحقل الناتج. لذلك نحتاج فهم التحويل وتوثيق اختياره قبل وصفه بتنظيف البيانات.
التحويل اللوغاريتمي للبيانات يبدل مقياس الأرقام التي قد تدخل نموذج تعلم الآلة. لا تبقى القيمة الناتجة قياسا بالوحدة الأصلية، كما لا يصلح كل مدخل للوغاريتم الحقيقي. نشرح الأساس 10 بأرقام مفترضة، ثم نفصل معنى الناتج عن أي ادعاء بتحسن نموذج أو تغير توزيع البيانات إلى شكل معين.
التواء البيانات وصف لعدم التماثل، لكن كلمتي موجب وسالب قد توحيان خطأ بأنهما تصفان إشارات القياسات نفسها. يمكن أن تكون كل الأطوال موجبة، ومع ذلك يمتد الجزء الأقل تكرارا نحو القيم الأدنى. نوضح الفرق بقائمتين صغيرتين، ثم نفصل وصف الشكل عن إثبات سببه أو ملاءمته لنموذج.
اختلاف وحدات البيانات قد يجعل مقارنة صحيحة للأرقام مقارنة خاطئة للقياسات. في جدول أطوال، يبدو الرقم 1 أصغر من 10 و 12 ؛ لكن 1 متر أطول من 10 سم و 12 سم. قبل حساب فحص شذوذ أو إعداد عمود لنموذج، نحتاج معرفة الوحدة التي يحملها كل سجل ومعنى الكمية المقاسة.
تشبع القياس قد يجعل الأرقام المسجلة تبدو ثابتة رغم تغير الكمية التي نحاول وصفها. إذا انتهت قدرة سلسلة القياس عند حد معين، لا يمكن تفسير تكرار ذلك الحد مثل تكرار قراءة داخل المجال دائما. نوضح الالتباس قبل استخدام هذه القراءات في إعداد مدخلات نموذج أو وصف تغير ظاهرة.
تحليل حساسية قيمة متطرفة يمكن أن يبدأ بسؤال محدد: هل يتغير الوصف الذي كتبناه إذا حسبناه من دون قيمة نراجعها؟ المقارنة تبين اعتماد نتيجة على اختيار عناصرها، لكنها لا تثبت أن القيمة المستبعدة خاطئة. نعرض حسابين مفترضين كي يبقى السؤال الحسابي منفصلا عن قرار الاحتفاظ بالسجل.
وحدة وسم البيانات تحدد الشيء الذي نعطيه التسمية: الصورة كاملة أم كائنا فيها أم منطقة مختارة. قد تحتوي صورة واحدة على سجلين مكانيين، مع بقاء عدد الصور واحدا. يهم هذا الفرق عند إعداد مرجع لتعلم الآلة، لأن عدد الوسوم لا يشرح وحده عدد المدخلات أو ما تمثله كل تسمية.
الوسم الآلي المساعد يبدأ باقتراح تسمية أو موضع، ثم قد يراجعه شخص وفق دليل المهمة. وجود اقتراح في الملف لا يوضح هل فحصه أحد أو كيف اتخذ القرار. نعرض مسارا تعليميا يفصل المصدر الآلي من الوسم النهائي، حتى تبقى مراجعة المرجع المستخدم لتعلم الآلة ممكنة.
دليل وسم البيانات يحتاج أكثر من قائمة أسماء الفئات. فاسم مثل «بطاقة بدائرتين» لا يوضح ما نفعل عند ظهور دائرة ثالثة أو فقدان جزء من الصورة. نكتب قاعدة تعليمية قابلة للفحص، ثم نعرض حالات تبين متى تعطى التسمية ومتى تترك الحالة للمراجعة. بهذا يعرف الموسم ما القرار المطلوب منه وما دليله.
الغموض في وسم البيانات قد يعود إلى معلومة لا تظهر في الصورة، وقد يعود إلى قاعدتين تعطيان قرارين مختلفين للحالة الظاهرة نفسها. تكرار النظر في الصورة ليس دائما وسيلة الحسم. نميز هذين السببين في مثالين، حتى نطلب المعلومة أو توضيح القاعدة المناسب قبل بناء مرجع لتعلم الآلة.
الوسم السلبي والبيانات غير الموسومة لا يدلان على الشيء نفسه. قد يراجع شخص رسالة ويجد أنها لا تحقق الفئة المطلوبة، وقد تبقى رسالة أخرى بلا تسمية لأن أحدا لم يراجعها. وبينهما حالات خارج نطاق المهمة وأخرى ينقصها نص لازم للحكم. نوضح الفرق قبل تحويل هذه السجلات إلى أمثلة يتعلم منها نموذج.
تجربة دليل وسم البيانات على دفعة صغيرة قد تكشف سؤالا لم تجب عنه التعليمات. فائدتها هنا فحص قابلية تطبيق القاعدة قبل توسيع العمل، وليست قياس أداء نموذج. نقترح خطوات على رموز أسهم مرسومة، ثم نبين كيف تصل نسخة الدليل الجديدة إلى الحالات التي قد تتأثر بها.
نسبة اتفاق الموسمين تصف مقدار تطابق أحكامهما على بيانات مشتركة. في مهمة تعطي كل صورة فئة واحدة، يمكن عد الحالات التي اختار فيها الاثنان الفئة نفسها، ثم قسمتها على عدد الحالات المقارنة. [1] نطبق ذلك على ست صور افتراضية، مع توضيح ما نعده وما لا تثبته النسبة.
اتفاق الوسم قبل حسم الخلاف يجيب عن سؤال مختلف عن تطابق الملفات بعد اعتماد جواب مشترك. إذا استبدلنا حكمي الموسمين بالقرار نفسه، فسيتطابقان في النسخة النهائية، لكن ذلك لا يثبت أنهما اختارا الجواب نفسه باستقلال. نستخدم ثلاث حالات افتراضية لنوضح لماذا نحفظ المرحلتين.
