أفكار وأدوات رقمية بلغة مفهومة.
1201 مقال
وقت الحدث ووقت المعالجة قد يختلفان، وقد توجد بينهما لحظة رصد السجل أيضا. يفصل نموذج سجلات OpenTelemetry بين وقت وقوع الحدث عند المصدر ووقت ملاحظته بواسطة نظام الجمع؛ وقد يغيب وقت المصدر إذا كان مجهولا. [1]
البيانات المتأخرة قد تصل بعد أن أعددنا نتيجة للفترة التي وقع فيها الحدث. تعرض أمثلة Apache Beam أحداثا تصل خارج ترتيب وقوعها، ونتائج تحدث عند وصول بيانات متأخرة وفق إعدادات المعالجة. [1]
المعالجة الدفعية والدفقية تختلفان في تنظيم العمل على البيانات. يشرح AWS معالجة مجموعات كبيرة دوريا، مقابل معالجة البيانات تدريجيا أثناء تدفقها، ويعرض إمكان جمع النمطين في مسار واحد. [1]
معدل أخذ العينات في القياس يصف تكرار جمع القراءات. في توثيق NI، معدل أخذ العينات هو معدل الحصول على عينة لكل قناة، ووحدته عينات لكل قناة في الثانية. [1] هذا يختلف عن اختيار أشخاص لعينة إحصائية.
نافذة الرصد في بيانات النموذج تحدد الفترة التي ننظر داخلها إلى السجلات. ولا يكفي اسم «آخر عشر دقائق» دون حقل وقت وحدود واضحة. تقدم TimeWindow في Apache Flink مثالا تقنيا لفترة تشمل بدايتها وتستبعد نهايتها. [1]
البيانات العددية المستمرة والمتقطعة تصنف بحسب القيم الممكنة، لا عدد الخانات المعروضة. المستمرة تسمح بقيم على مجال متصل، والمتقطعة بقيم منفصلة قابلة للعد؛ وقد تعرض المتقطعة بكسور عشرية. [1]
المتغير الاسمي والمتغير الرتبي كلاهما فئوي. الاسمي يصف أسماء أو فئات بلا ترتيب طبيعي، والرتبي يصف فئات ذات ترتيب، دون أن يحدد بالضرورة مقدار الفرق بينها. [1]
الرقم التعريفي والمتغير العددي قد يظهران كلاهما بخانات رقمية، لكن المعنى يختلف. يميز Statistics Canada الكميات العددية عن الأرقام التي ترمز إلى فئات، وينبه إلى أهمية وصف الترميز. [1]
حفظ الأصفار الأولى في المعرفات يبدأ عند إدخال البيانات أو استيرادها. يوضح دعم Microsoft أن Excel قد يزيل الأصفار البادئة بتحويل النص الرقمي إلى عدد، ويشرح استعمال النوع النصي للحفاظ على الصيغة الأصلية. [1]
المتوسط الحسابي لأي عمود رقمي يحتاج إلى سؤال عن المعنى، لا الصيغة وحدها. المتوسط هو مجموع القيم مقسوما على عددها. [1] لكن إمكان جمع خانات رقمية لا يحدد ما الذي يقيسه الناتج.
الوحدة النقدية في بيانات الأسعار جزء من معنى المبلغ. يعرف البنك المركزي الأوروبي سعر الصرف بما تتبادل به عملة بأخرى، ويوضح أنه يتغير في الأسواق. [1] لذلك لا نعامل مبالغ بعملتين ككميات متطابقة الوحدات.
العدد التراكمي وعد الفترة يصفان معنيين مختلفين. يعرّف Prometheus العداد Counter بأنه قيمة تراكمية تزيد أو تصفر عند إعادة التشغيل، ويميزه عن Gauge الذي قد يصعد ويهبط. [1]
النسبة المئوية والكسر العشري في البيانات قد يمثلان النسبة نفسها بطريقتين. تعني المئوية «لكل مئة»؛ ولتحويل القيمة المكتوبة بالمئة إلى عشرية نقسمها على 100، وللعكس نضرب في 100. [1]
القيمة المنطقية في البيانات تعبر عن إحدى حالتين محددتين. في JSON Schema، يقبل النوع boolean القيمتين true وfalse؛ ولا يقبل العددين 1 و0 بديلين عنهما. هذا حكم عن النوع في هذا المخطط، وليس قاعدة تحويل عامة لكل لغة برمجة. [1]
الحقل متعدد القيم في البيانات يحتوي أكثر من عنصر داخل السجل نفسه. مصفوفات JSON تحفظ عناصر مرتبة، وقد تختلف أنواع عناصر المصفوفة؛ أما ما تعنيه القائمة في المهمة فيحتاج وصفا خاصا بالمصدر. [1]
قراءة CSV دون فقد المعنى تبدأ بفهم حدود الحقول. يوضح RFC 4180 قواعد صيغة شائعة: الفاصلة تفصل الحقول، والحقل الذي يتضمن فاصلة أو سطرا جديدا أو علامة اقتباس يقتبس بعلامتي اقتباس مزدوجتين. [1]
ترميز CSV وفاصل الأعمدة يجيبان عن سؤالين مختلفين. تعرض وثائق Python تحديد encoding عند فتح الملف، وتحديد delimiter عند تحليل حقوله. الأول يحدد فك البايتات إلى نص، والثاني يحدد علامة الفصل بين الحقول. [1]
تحويل JSON المتداخل إلى جدول يغير طريقة تنظيم الحقول. توفر pandas الدالة json_normalize، مع record_path لاختيار قائمة السجلات وmeta لإضافة حقول من سياقها إلى الصفوف الناتجة. لكن اختيار الوحدة والعلاقة المناسبة يبقى قرارا يخص البيانات والمهمة. [1]
