أفكار وأدوات رقمية بلغة مفهومة.
1201 مقال
الجدول العريض والطويل في البيانات قد ينظمان المعلومات نفسها بطريقتين. تصف pandas وظيفة melt بأنها نقل أعمدة القياسات إلى صفوف، مع الاحتفاظ بأعمدة التعريف المختارة. هذا تغيير بنية، ولا يعني بحد ذاته جمع قياسات جديدة. [1]
المفتاح الأساسي في البيانات يحدد صفا بعينه داخل جدول. في PostgreSQL يمكن أن يتكون من عمود أو مجموعة أعمدة، ويشترط أن تكون قيم المفتاح فريدة وغير null. تحديد هوية الصف يختلف عن مجرد عرض وصف مألوف له. [1]
قيد التفرد في البيانات يفرض تميز قيم عمود أو مجموعة أعمدة بين صفوف الجدول. وهو قاعدة قبول لقيم محددة؛ لا يقدم وحده تفسير السبب الذي جعل سجلين يتشابهان، ولا يختار تلقائيا أيهما يمثل المعلومة الصحيحة. [1]
المفتاح الخارجي في البيانات يربط قيما في جدول بقيم مرجعية في جدول آخر. توضح وثائق SQLite أن القيد يفحص وجود صف مرجعي مطابق، مع معاملة خاصة للقيم null. وجود الصف لا يثبت وحده صحة العلاقة في الواقع. [1]
تضاعف الصفوف بعد دمج جدولين قد ينتج من تكرار المفتاح في الجانبين. تشرح pandas أن الربط متعدد إلى متعدد ينتج تركيبات الصفوف المرتبطة بالمفتاح نفسه. لذلك قد يزيد الناتج دون جمع بيانات جديدة. [1]
فحص علاقة واحد إلى متعدد يبدأ بتحديد الجانب الذي يجب أن يظهر فيه كل مفتاح مرة واحدة. في pandas.merge، يتحقق validate="one_to_many" من تفرد مفاتيح الجدول الأيسر؛ لا يثبت هذا الشرط وحده أن كل سجل وجد مقابله المطلوب. [1]
ربط السجلات دون معرف موثوق يحتاج أدلة على أن السجلين يصفان الشيء نفسه. توضح سياسة ONS احتمال ربط سجلين خطأ، أو عدم ربط سجلين للكيان نفسه؛ هما خطآن مختلفان في جودة الربط. [1]
جودة البيانات لمشروع ذكاء اصطناعي تعتمد على الغرض من استخدامها. يصف إطار جودة البيانات الحكومي البريطاني الجودة بملاءمة البيانات للغرض؛ قد تختلف الاحتياجات والمعايير بين استخدام وآخر. [1]
اكتمال البيانات ودقتها يجيبان عن سؤالين مختلفين. يصف الإطار الحكومي البريطاني الاكتمال بوجود السجلات والقيم المهمة المطلوبة، والدقة بمطابقة البيانات للواقع. يمكن أن تكون البيانات مكتملة وتحتوي قيما خاطئة. [1]
اتساق البيانات وصلاحيتها بعدان مختلفان. يربط الإطار الحكومي البريطاني الصلاحية بالنطاق والصيغة المتوقعة، والاتساق بعدم تعارض القيم التي تصف الكيان نفسه. وقد تقبل قاعدة عددية قيمتين، بينما يتعارضان في المعنى. [1]
نسبة القيم المفقودة لكل عمود تحتاج تعريف المفقود ونطاق الصفوف. في pandas، تحدد isna قيما مثل None وNaN، لكنها لا تعد السلسلة الفارغة قيمة NA تلقائيا. لذلك قد يختلف فحص الأداة عن قاعدة الحقل التي تقصدها. [1]
فحص القيم خارج المجال المتوقع يحتاج قاعدة مكتوبة: ما الحد الأدنى، وما الحد الأعلى، وهل نقبل القيم الواقعة على الطرفين؟ اختبر الأرقام الموجودة بهذه القاعدة، وسجل القيم المفقودة في مسار منفصل؛ فغياب الطول لا يعني أننا شاهدنا طولا أكبر من الحد.
تناقض الحقول المرتبطة قد يظهر رغم أن كل رقم يقع داخل مجاله المقبول. إذا وصفنا محتويات علبة بفئات منفصلة وشاملة في الوقت نفسه، فيجب أن يوافق مجموع أعدادها العدد الكلي حسب تعريف السجل. نجاح فحص كل عمود وحده لا يختبر هذه العلاقة.
فحص الصفوف المكررة لا يبدأ بزر الحذف، بل بسؤال عن معنى الصف والأعمدة التي نقارنها. قد تتساوى قيم اللون والعدد في حدثين صحيحين مختلفين؛ وإذا قارننا هذين الحقلين وحدهما، فقد نخفي الفرق الذي سجله معرف الحدث ووقته.
الحدث الجديد وإعادة إرسال الرسالة ليسا الشيء نفسه في إعداد بيانات النموذج. قد تصل الرسالة التي تصف الواقعة نفسها أكثر من مرة. لذلك نحتاج تعريفا لهوية الحدث وسياسة لدى مصدره؛ تساوي عدد الرسائل وعدد الوقائع افتراض يحتاج تحققا.
تقرير فحص البيانات يبين ما راجعناه وكيف حسبنا النتيجة. لا تمنح عبارة «اجتاز الفحص» ملفا شهادة صلاحية لكل مهمة ذكاء اصطناعي؛ فقد نختبر وجود حقل، ونترك دقة قيمته أو طريقة اختيار الصفوف دون تحقق. لذلك نكتب حدود التقرير بجانب نتائجه.
سجل قرارات تنظيف البيانات يشرح سبب كل تغيير، لا قائمة الأوامر وحدها. إذا حولنا رمزا إلى كلمة أو عدلنا قيمة، نحتاج دليلا يبرر المعنى الجديد. قد يحسن التغيير شكل الملف، لكنه يضيف معنى لم يكتبه المصدر إن طبقناه على حالة مجهولة.
مجموع القيم المفقودة والصفر قد يلتبسان عند إعداد بيانات النموذج. تعرض وثائق pandas أن Series.sum يعيد صفرا افتراضيا للسلسلة الفارغة أو التي جميع قيمها مفقودة. [1] لكن ظهور هذا الصفر لا يعني أننا شاهدنا صناديق فارغة أو قسنا كمية تساوي صفرا.
