أفكار وأدوات رقمية بلغة مفهومة.
1201 مقال
كثرة بيانات التدريب وجودة النموذج ليستا الشيء نفسه. تحتاج المهمة إلى بيانات تساعد النموذج على هدفه، لا إلى عدد كبير بأي معنى. توضح Google أن الكمية المطلوبة تختلف بين المهام، وتربط جودة البيانات بفائدتها لتحقيق الهدف. [1]
نجاح النموذج في مهمة أخرى يحتاج فحصا مستقلا؛ لا تكفي نتيجة مهمة سابقة. قد تكون مخرجات النموذج خاصة بفئات تعلمها، حتى إذا أمكن الاستفادة من بعض تمثيلاته في مهمة جديدة. ويوضح دليل TensorFlow هذا الفرق عند تخصيص نموذج صور مدرب مسبقا. [1]
الفرق بين بيانات التدريب والبيانات الوصفية هو الفرق بين الأمثلة المستخدمة في التعلم والمعلومات التي تصف تلك الأمثلة أو مجموعتها. قد يصف ملف البيانات قياسات، بينما يوضح الوصف مصدر المجموعة وتنسيقها ووقت إنشائها. تعرف IBM البيانات الوصفية بأنها معلومات عن البيانات. [1]
المغالطة البيئية ومتوسط المجموعة يرتبطان بخطأ في الاستدلال: ننقل نتيجة عن مجموعة إلى فرد دون دليل يبرر النقل. يوضح تقرير David Freedman أن العلاقات بين مجموعات لا يلزم أن تبقى نفسها بين أفرادها. [1]
تحديد المجتمع المستهدف للبيانات يبدأ بوصف من تريد أن تشملهم النتيجة، وفي أي مكان وفترة. تميز Statistics Canada بين هذا المجتمع وبين المجتمع الذي تستطيع المسح منه عمليا، وتربط الاختيار بإطار مناسب. [1]
الفرق بين البيانات التفصيلية والمجمعة هو مستوى المعلومات التي تحتفظ بها. تصف Eurostat البيانات الدقيقة بأنها معلومات على مستوى وحدات فردية، مثل أشخاص أو أسر أو مؤسسات، وتفرقها عن المعلومات المجمعة المعروضة غالبا في جداول. [1]
الفرق بين مصادر البيانات الداخلية والخارجية يتحدد بالنسبة إلى جهة. ويذكر SAP جمع مصادر المؤسسة ومصادر خارجية. [1]
مصدر البيانات وسلسلة منشئها يجيبان عن سؤالين مترابطين: من أين جاءت، وكيف وصلت إلى شكلها الحالي؟ تصف Microsoft سلسلة النسب بأنها تتبع الأصل والحركة والتحويلات، وقد تعرض مسارا من المصدر إلى الوجهة. [1]
تصميم قاموس بيانات لتعلم الآلة يساعد على فهم معنى كل حقل قبل استعماله. تصف USGS القاموس بأنه وسيلة لشرح بنية البيانات ومحتواها، وقد يتضمن الأسماء والتعريفات والأنواع ورموز القيم الناقصة. [1]
وحدات القياس في بيانات تعلم الآلة جزء من معنى القيمة، وليست زينة بجانب الرقم. توضح NIST أن القيمة تكتب مع رمز الوحدة، وأن بادئة مثل سنتي تحدد جزءا من مئة من الوحدة. لذلك لا تقارن أرقاما مجردة قبل فهم قياسها. [1]
الفرق بين مخطط البيانات ومحتواها هو الفرق بين وصف البنية والقيم التي تشغلها. يوضح AWS أن المخطط يصف تنظيم قاعدة البيانات، بينما تتغير القيم الفعلية مع الإضافة والتعديل والحذف. [1]
فحص تغير مخطط البيانات عند الاستيراد يبدأ بمقارنة الملف الجديد بتوقعات موثقة، لا بقبول كل ما تقرؤه الأداة. يوضح دليل TensorFlow Data Validation فحص البيانات مقابل المخطط، ومراجعة المخطط المستنتج قبل الاعتماد عليه. [1]
عقد البيانات في مشروع تعلم الآلة يوضح ما يتوقعه مستخدم البيانات ممن يقدمها. تصف Bitol العقد بأنه اتفاق بين المنتج والمستهلكين، وتعرض ضمنه أقساما للمخطط والجودة والدعم ومستوى الخدمة. [1]
الفرق بين البيانات المقطعية والطولية يتعلق بالزمن وهوية الوحدات التي نلاحظها. يوضح UK Data Service أن البيانات المقطعية تصف نقطة زمنية، بينما تتابع المسوح الطولية الأفراد أنفسهم عبر أوقات متعددة. [1]
بيانات المعاملات وأحداث التصفح قد تصف أجزاء مختلفة من المسار نفسه. في دليل Google Analytics، عرض تفاصيل منتج وإضافته إلى السلة والشراء أحداث مختلفة. والشراء نفسه يسجل كحدث؛ لذلك ليست المعاملات والأحداث مجموعتين متعارضتين دائما. [1]
سجل الأحداث والحالة الحالية يجيبان عن سؤالين مختلفين: ماذا حدث، وما الوضع الآن؟ يشرح نمط Event Sourcing حفظ تسلسل التغييرات، مقابل تحديث الحالة الأحدث، مع إمكان استخراج الحالة من الأحداث. [1]
الطابع الزمني في البيانات يربط السجل بوقت ذي معنى محدد. يقدم RFC 3339 صيغة نصية تضم التاريخ والوقت والإزاحة، وتسمح بكسور اختيارية للثانية؛ لذلك لا يلزم أن يكون كل طابع زمني رقما منفردا. [1]
توحيد المناطق الزمنية في البيانات يحتاج إلى معرفة مرجع الوقت قبل مقارنته. الإزاحة العددية تصف الفرق عن UTC، بينما تحفظ قاعدة IANA تاريخ قواعد الوقت لمواقع مختلفة وتحدثها عند تغيرها. [1] [2]
