اتفاق الوسم قبل حسم الخلاف يجيب عن سؤال مختلف عن تطابق الملفات بعد اعتماد جواب مشترك. إذا استبدلنا حكمي الموسمين بالقرار نفسه، فسيتطابقان في النسخة النهائية، لكن ذلك لا يثبت أنهما اختارا الجواب نفسه باستقلال. نستخدم ثلاث حالات افتراضية لنوضح لماذا نحفظ المرحلتين.
الخلاصة السريعة
احفظ حكم كل موسم قبل المراجعة المشتركة، وسجل القرار المعتمد في حقل آخر؛ تطابق النسخ بعد الحسم لا يعيد وصف الاتفاق المستقل الأول.
- ابدأ بأحكام مستقلة مؤرخة ومرتبطة بالحالات؛ في مثالنا يتفق الموسمان أوليا في حالة واحدة من ثلاث.
- بعد قرار مشترك مفترض ونسخه في الملفين، تتطابق الحالات الثلاث؛ 100 ٪ هنا تطابق نسخ القرار، وليست النسبة الأولية التي بلغت نحو 33.3 ٪.
- توضح وثائق Potato سير عمل يعرض أحكام الموسمين للمراجع ويسجل جوابا للحسم. [1] في مقترحنا نبقي الأحكام الأصلية وقرار الحسم وسببه منفصلة.
- لا تجعل القرار المشترك إثباتا للصحة أو تحسن مهارة الموسمين؛ اختبار اتفاق مستقل جديد يحتاج حالات وأحكاما مستقلة جديدة.
أي مرحلة نريد قياسها؟
نفترض مهمة على ثلاث صور تعليمية، والسؤال هل تحتوي الصورة خطا تحت العنوان؟ يراجع موسمان الصور نفسها باستقلال ويسجلان «نعم» أو «لا» قبل مناقشة القرارات. هذا سيناريو مكتوب، وليس وصفا لعمل جرى.
إذا أردنا معرفة مقدار تطابق تلك الأحكام المستقلة، نستخدم النسخة التي سبقت المراجعة المشتركة. لا نأخذ ملفات عدلت لاحقا ثم نسمي نتيجتها قياسا للحظة الأولى.
وقد نريد سؤالا آخر: هل نقل كل ملف القرار المعتمد دون اختلاف؟ عندئذ يفيد فحص النسخ النهائية، لكن نسمّي الغرض والمرحلة بوضوح. نجاح نقل القرار لا يجيب عن استقلال الحكم الذي سبقه.
كيف تتحول حالة واحدة متطابقة إلى ثلاث نسخ متطابقة؟
نختار النتائج الأصلية في الجدول: ع 1 متطابقة، وع 2 وع 3 مختلفتان. الاتفاق الأولي حالة واحدة من ثلاث، أي نحو 33.3 ٪.
نفترض لاحقا أن المراجع أعلن القرارات المكتوبة في العمود الأخير، وأن الملفين نقلاها كما هي. تتطابق النسختان عندئذ في ثلاث حالات من ثلاث، أي 100 ٪. لا نفترض صحة قرار المراجع لمجرد أنه أعلن؛ هذه معلومة مشتركة نسخت مرتين.
الفرق بين النسبتين لا يقيس تحسنا في مهارة موسمين. تبدل مصدر القيم: الأولى اختيارات مستقلة، والثانية نسخ من جواب معتمد واحد. لا نعرض الفرق كأنه نتيجة تدريب أو إعادة اختبار.
| الحالة | أ قبل الحسم | ب قبل الحسم | القرار المشترك المفترض |
|---|---|---|---|
| ع 1 | نعم | نعم | نعم |
| ع 2 | لا | نعم | لا |
| ع 3 | نعم | لا | نعم |
كيف نحفظ قرار المراجعة دون محو الخلاف؟
تصف وثائق Potato سير عمل يرى فيه المراجع أحكام جميع الموسمين جنبا إلى جنب ويسجل جوابا للحسم. [1]
نقترح في سجلنا حقولا لحكم أ وحكم ب قبل المناقشة، وقرار الحسم وسببه وتاريخ المراجعة والدليل المستخدم. بذلك نعرف أن ع 2 بدأت بخلاف، وأن الجواب المعتمد فيها جاء بعد المراجعة، بدلا من جعل التاريخ يبدو متطابقا منذ البداية.
وقد يساعد الرجوع إلى الخلافات في اكتشاف قاعدة ناقصة أو التباس في صورة. لا نفترض أن كل اختلاف خطأ بشري؛ نسجل سبب القرار عندما يتوفر، ونبقي أي حالة لم تحسم بهذا الوصف.
ماذا نحتاج إذا أردنا اختبار الاتفاق بعد تحسين التعليمات؟
إذا عدلت التعليمات وتريد فحص تطبيقها باستقلال، فاطلب أحكاما مستقلة جديدة وفق الخطة المناسبة، ووضح إن كانت الصور جديدة أو سبق للموسمين معرفة أجوبتها. لا تسمّ توزيع القرار المشترك عليهم تجربة مستقلة.
نحفظ إصدار الدليل وظروف التقييم الجديد كي لا نقارن مرحلتين مختلفتين دون شرح. كما نميز الاتفاق الجديد عن التحقق من صحة القرار المرجعي؛ قد يرتفع التطابق مع بقاء سؤال الصحة قائما.
لم ننفذ هنا تحكيما أو اختبار تعليمات. عرضنا سببا عمليا للاحتفاظ بالقيم قبل الحسم: تستطيع النسخة النهائية خدمة العمل، بينما تظل الأحكام الأولى لازمة لفهم مواضع الخلاف واستقلال القياس الأول.
المصادر ومتابعة القراءة
- Potato: البت ومعالجة الاختلاف (يفتح في نافذة جديدة)potatoannotator.com
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.