أفكار وأدوات رقمية بلغة مفهومة.
1201 مقال
موضع وسم النص العربي لا يكتمل بوصف «من 4 إلى 7» وحده؛ يجب أن نحدد ما الذي نعده، وكيف نعالج النص، وأي نسخة نعني. قد تصف الأعداد نفسها مقطعا مختلفا إذا كانت إحدى الأداتين تعد نقاط يونيكود والأخرى تعد بايتات الملف. اتجاه عرض العربية لا يعكس ترتيب تخزين النص المنطقي.
في عينة تدقيق الوسوم الطبقية، قد تختار عددا متساويا من كل فئة كي ترى أخطاء الفئة الصغيرة بوضوح. لكن جمع الأخطاء وقسمتها على كل الحالات المفحوصة يصف تركيب تلك العينة، وقد لا يقدر نسبة الخطأ في مجموعة البيانات الأصلية. تحتاج طريقة الاختيار وحجم كل طبقة قبل تفسير النتيجة العامة.
توزيع أحكام الموسمين يحفظ كيف أجاب الأشخاص عن الحالة نفسها، بينما اختيار رأي الأغلبية يختصر ذلك إلى فئة واحدة. هذا الاختصار قد يناسب هدفا معلنا، لكنه لا يجعل الرأي المختلف خطأ مثبتا ولا يحول حصة الأصوات إلى احتمال أن الفئة صحيحة. يجب أن نعرف ما السؤال وما نوع الاختلاف قبل بناء مرجع التعلم.
العينة العشوائية البسيطة ذات الحجم الثابت تجعل كل مجموعة ممكنة من ذلك الحجم متساوية الفرصة في الاختيار. لا يكفي فحص فرصة كل سجل منفردا ثم افتراض أن كل المجموعات ممكنة بالفرصة نفسها. يمكن لتصميمين أن يعطيا السجلات فرصة الإدراج الفردية نفسها، مع اختلاف الأزواج التي يمكن أن يجمعها السحب.
الفرق بين العينة الميسرة والعشوائية يتعلق بطريقة دخول الحالات إلى الاختيار، وليس بترتيب الصفوف بعد جمعها فقط. إذا جمعت الملفات الأسهل وصولا ثم خلطتها عشوائيا، فقد تغير من يختار داخل هذه المجموعة، لكن الحالات التي لم تدخلها أصلا تبقى خارج السحب. لذلك لا يثبت اسم «خلط عشوائي» أن البيانات تمثل كل النطاق المطلوب.
قد تتطابق أعداد الفئات في المعاينة الطبقية والحصص مع اختلاف طريقة الوصول إلى السجلات. إذا احتوى ملفان على صورتين حمراوين وصورة زرقاء، فلا يكفي هذا الوصف لمعرفة هل اختيرت الصور عشوائيا من كل فئة أم انتقاها شخص بحسب سهولة الوصول. سجل الأعداد وسجل طريقة الاختيار؛ لكل منهما سؤال مختلف.
في العينة العنقودية قد نثبت عدد المجموعات التي سنختارها، بينما يتغير عدد السجلات التي تدخل الفحص. السبب بسيط في تصميم يشمل كل وحدات العنقود المختار: المجموعات لا يلزم أن تتساوى في الحجم. لذلك اكتب هل العدد المقصود عدد عناقيد أم عدد صور أو وثائق داخلها.
يمكن أن يظهر ارتباط بين صفتين في بيانات مختارة رغم غيابه في المجموعة الكاملة. يحدث ذلك في مثالنا لأن شرط الدخول يعتمد على الصفتين معا. إذا جمعنا فقط وثائق تحتوي صورة أو جدولا، تتغير المقارنة بين وجود الصورة ووجود الجدول، مع أن محتوى أي وثيقة لم يتغير.
معدل الإجابة وتحيز عدم الاستجابة يصفان سؤالين مختلفين. المعدل يخبرنا كم حالة أجابت وفق المقام المعلن، لكنه لا يخبرنا وحده كيف تختلف إجابات الغائبين عن إجابات المشاركين. لذلك لا نحول نسبة الردود إلى رقم يصف مقدار الانحياز في بيانات نستعد لتحليلها أو لتدريب نموذج عليها.
سحب حدث عشوائي أم مستخدم عشوائي اختيار يؤثر في من يصل إلى مجموعة البيانات. إذا كان لكل حدث الفرصة نفسها، فقد تزيد فرصة ظهور مستخدم لديه أحداث أكثر. أما اختيار معرف من قائمة مستخدمين فله مقام مختلف. وصف السحب بأنه عشوائي لا يغني عن تحديد الشيء الذي نسحب منه.
لا تشترط المعاينة الاحتمالية وفرص الوحدات أن يحصل كل معرف على العدد نفسه من الاحتمال. المهم في السؤال الذي نشرحه هو وجود آلية عشوائية معلنة يمكن منها حساب فرصة إدراج كل وحدة. قد تكون الفرص موجبة ومعروفة وغير متساوية، ولا تصبح مجهولة لمجرد اختلافها.
في المعاينة على مرحلتين واحتمال الوحدة لا يكفي حساب فرصة اختيار المجموعة. يجب أن تصل المجموعة أولا، ثم تختار الوحدة داخلها وفق القاعدة المعلنة. إذا تغير عدد الوحدات في المجموعات، فقد تختلف الفرصة الكلية لكل وحدة رغم تساوي فرص المجموعات.
تكرار المعرف في إطار المعاينة قد يزيد فرصة الوصول إلى الحالة نفسها إذا كان الاختيار يجري على الصفوف. حين نسحب صفا واحدا بالتساوي، لا تتساوى بالضرورة فرص الحالات التي تمثلها الصفوف. نحتاج معرفة هل الظهور الثاني نسخة زائدة من الحالة أم وحدة صحيحة مختلفة قبل تعديل القائمة.
تغطية تركيبات السمات في البيانات تختلف عن وجود كل قيمة في كل عمود منفرد. قد نجد لونين وشكلين، لكن لا نجد كل الأزواج التي تتكون منهما. لذلك يحتاج وصف بيانات تدريب مصنف صور إلى معرفة الصفات التي ظهرت معا، إذا كانت هذه التركيبات جزءا من نطاق المهمة.
تغطية القيم داخل نطاق بيانات التدريب لا نعرفها من أصغر قيمة وأكبر قيمة فقط. قد يضم الملف مئة سجل، بينما لا تسجل السمة إلا صفرًا وعشرة. زيادة مرات ظهور الطرفين لا تضيف قياسا في المسافة بينهما، حتى لو بقي وصف المدى صحيحا.
احتمال غياب الحالات النادرة من العينة قد يكون كبيرا حتى مع تصميم عشوائي صحيح. إذا اخترنا أربعة سجلات بلا إرجاع من عشرين، وكانت حالتان فقط من النوع الذي نريد فحصه، فإن بعض العينات الممكنة لا تحتوي أيا منهما. لا يكفي اسم «عشوائي» لضمان تغطية هذا النوع في كل سحب.
مسافة التباين الكلي لنسب الفئات تلخص اختلاف توزيعين على الفئات نفسها. في مقارنة بيانات نموذج بمرجع معلوم، يمكن أن تقول إن النسب تختلف بمقدار محدد وفق هذا المقياس. لكن المسافة وحدها لا تفسر سبب الاختلاف ولا تثبت أنه أثر يتجاوز تقلب عينة.
تصحيح المجتمع المحدود وتباين المتوسط يرتبطان بحصة العينة وطريقة سحبها. عندما نسحب دون إرجاع، لا نستطيع اختيار السجل نفسه مرتين، فتختلف متوسطات العينات الممكنة عن السحب مع الإرجاع. سنحسب هذا الاختلاف على مجتمع صغير معلوم، لا على نتائج تدريب نموذج.
