مصدر البيانات وسلسلة منشئها يجيبان عن سؤالين مترابطين: من أين جاءت، وكيف وصلت إلى شكلها الحالي؟ تصف Microsoft سلسلة النسب بأنها تتبع الأصل والحركة والتحويلات، وقد تعرض مسارا من المصدر إلى الوجهة. [1]
الخلاصة السريعة
اربط النسخة الحالية بمدخلاتها وخطوات تحويلها؛ معرفة اسم المصدر وحده لا تشرح ما تغير، وتوثيق المسار لا يثبت صحة كل خطوة.
- تتبع سلسلة المنشأ أصل البيانات وانتقالها وتحويلاتها، لا اسم الملف النهائي فقط. [1]
- فرق بين نسخ السجل وتصفية صفوفه وتجميعه؛ كل عملية تغير السؤال عن الناتج.
- سجل المدخلات والخطوة والمخرجات والنسخة، حتى يستطيع المراجع تتبع حقل محدد.
- استخدم المسار للبحث عن موضع تغير القيمة، ثم افحصه؛ التوثيق وحده ليس إثباتا للصحة.
ما الفرق بين المصدر والمسار؟
توضح وثائق Microsoft أن سلسلة المنشأ تمثل حركة البيانات من مصادر إلى وجهات مع كيفية تحويلها. ويمكن استخدامها في مراجعة الجودة وتحليل أثر التغييرات. [1]
إذا كتبنا «المصدر: سجل زيارات المعرض»، عرفنا نقطة البداية في مثالنا. لكن ذلك لا يشرح لماذا يتضمن ملف التدريب مجموعا يوميا بدلا من كل زيارة. نحتاج إلى وصف العمليات الواقعة بين السجل والملف. وقد يبقى المصدر نفسه بينما يختلف الناتج بسبب تغيير قاعدة التصفية أو التجميع.
كيف نقرأ سلسلة بسيطة؟
لنفترض سجلا تعليميا فيه 12 زيارة، منها زيارتان اختباريتان أُدخلتا للتحقق من النظام. نختار قاعدة تستبعد الزيارات الموسومة بأنها اختبار، فيبقى 10 سجلات. ثم نجمع الزيارات حسب اليوم لإعداد عمود «عدد الزيارات اليومية». هذه أرقام وخطوات افتراضية من إنشائنا.
النسخ وحده ينقل السجلات، والتصفية تختار بعضها، والتجميع ينتج ملخصا. لذلك لا نصف المراحل كلها بعبارة «نقل الملف». اذكر ما إذا بقيت معرفات الزيارات في الناتج أم استبدلت بمفتاح اليوم، وما إذا كانت العلامة التي استعملناها للاستبعاد محفوظة للمراجعة.
ما المعلومات التي تساعد المراجع؟
تصف Microsoft مستوى يربط المصادر والعمليات والوجهات، ومستوى يبين الحقول التي اشتقت منها حقول أخرى. [1]
في بطاقة المثال، اكتب اسم نسخة سجل الزيارات، وشرط استبعاد الاختبارات، وطريقة الجمع حسب اليوم، واسم الملف الناتج. إذا تغير الشرط لاحقا، أعط النسخة وصفا يميزها. ولعمود العدد، بين أنه يحسب السجلات الباقية لا جميع الصفوف الأصلية. هذه بطاقة مقترحة وليست صيغة إلزامية لكل نظام.
هل تتبع المنشأ يضمن صحة البيانات؟
قد نوثق مسارا كاملا، لكن العلامة التي تصف الزيارة بأنها اختبار تكون خاطئة. تتبع المسار يساعدنا على تحديد القاعدة والمدخل الذي يحتاج إلى فحص؛ لا يصحح العلامة تلقائيا. كذلك لا تكفي رسمة الأسهم لإثبات أن الملف الحقيقي نفذ العمليات التي كتبناها.
قارن التوثيق بالملفات الفعلية وسجل ما فُحص. وعند تغير عدد الزيارات، ارجع إلى النسخة وشرط التصفية وطريقة التجميع قبل تفسير الفرق. لا يزعم هذا المقال تشغيل مسار بيانات أو إثبات صلاحية نموذج؛ هدفه جعل التحويلات قابلة للفهم والتتبع.
المصادر ومتابعة القراءة
- Microsoft Learn: Data lineage in classic Data Catalog (يفتح في نافذة جديدة)learn.microsoft.com
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.