ثبات نسخة اختبار A/B: هل تكفي مساواة أعداد الجلسات؟

اكتب شرط الثبات قبل فتح الأرقام

تربط ورقة ExP اختيار وحدة التوزيع بالحفاظ على تجربة متسقة، وتوضح أن المعرف التقني قد يمثل الزائر بدل شخص فريد. [1]

ننشئ تمرينًا خاصًا بنا: صفحة لها نسختان أ وب، وتجربة واحدة نسميها تاء، وفترة مراجعة واحدة. الشرط المكتوب مسبقًا أن كل معرف مقبول في هذه التجربة يبقى مع النسخة نفسها خلال الفترة. لا نعطي خوارزمية لاختيار نسخته، ولا نجري توزيعًا فعليًا على زوار. نريد فحص اتساق سجل مع شرط معلوم، وهو سؤال أضيق من تقرير أن التجربة صالحة بكل جوانبها.

نسمي المعرفات واحدًا واثنين وثلاثة وأربعة. ولكل جلسة هوية مستقلة من جلسة واحد إلى جلسة ثمانية. نعرف أن جلسات المعرف واحد هي الأولى والثانية والثالثة، وللاثنين الرابعة، وللثلاثة الخامسة والسادسة، وللأربعة السابعة والثامنة. جميع الصفوف في المثال جلسات مختلفة فعلًا، فلا نفترض أن تكرار المعرف يعني نسخ سجل واحد خطأ. الذي يتكرر هو حضور المعرف، لا هوية الجلسة.

تتكون بطاقة الفحص من هوية التجربة والفترة والمعرف والجلسة والنسخة. نثبت هذه الخانات في المقارنة حتى نعرف أي فرق صنعناه بين الملفين. ولم نكتب أي نقرات أو مشتريات أو إيرادات؛ لا يوجد مقياس أداء نخفيه أو إعلان مؤجل عن فائز. هذا التحديد يمنع تحويل نتيجة فحص التعيين إلى تفسير لتغير مبيعات لم نعرضها أصلًا، ويعطي القارئ طريقة واضحة لإعادة مراجعة الأمثلة.

تابع سجلًا يحفظ النسخة لكل معرف

في الملف الأول، تظهر الجلسات الثلاث الأولى للمعرف واحد في النسخة أ، وتظهر جلسة المعرف اثنين الوحيدة في أ كذلك. وتظهر جلستا المعرف ثلاثة في ب، وجلستا المعرف أربعة في ب. إذن أ لديها أربع جلسات، وب لديها أربع. وفي هذا البناء، معرفة نسخة أي جلسة تكفي للتنبؤ بنسخة بقية جلسات المعرف نفسه داخل الملف، لأننا أعطيناها كلها متطابقة.

إذا جمعنا السجل بحسب المعرف، وجدنا لكل من الأربعة اسم نسخة واحدًا فقط. ثم إذا عددنا المعرفات المختلفة داخل أ وجدنا اثنين، وداخل ب اثنين. المجموع هنا أربعة لأن المجموعتين لا تتداخلان في هذا الملف. وتساوي الجلسات جاء رغم اختلاف نشاط المعرفات: الأول له ثلاث جلسات، والثاني واحدة، والثالث والرابع اثنتان لكل منهما. لم نجعل عدد الجلسات تعريفًا لعدد المعرفات.

يمكن للملخص أن يقول إن شرط النسخة الواحدة متحقق في جميع صفوف هذه البطاقة الكاملة المعطاة. لكنه لا يقول إن وجود معرفين في كل طرف يبرهن أن اختيارهما كان عشوائيًا. نستطيع كتابة هذا الجدول يدويًا كما فعلنا، فيبقى اتساقه صحيحًا ولا تنشأ منه معلومة عن آلية الاختيار. التمييز بين وصف النتيجة وطريقة إنشائها مهم حتى لا نطلب من فحص واحد أكثر مما يستطيع إثباته.

ومن المفيد حفظ عرضين للسجل معًا: صفوف الجلسات الأصلية، وملخص يجمع النسخ المختلفة لكل معرف. إذا عاد شخص إلى النتيجة، يستطيع الوصول من العدد واحد في خانة عدد النسخ إلى الجلسات التي أنتجته. لا نكتفي بصورة دائرية مناصفةً بين أ وب؛ هذه الصورة تعرض الإجمالي وتخفي علاقة الصفوف بالمعرف، وهي العلاقة التي نحتاجها لفحص الشرط الذي اخترناه.

غيّر توزيع الجلسات مع بقاء الإجماليين

نبني ملفًا بديلًا بالجلسات الثماني والمعرفات الأربعة نفسها. للمعرف واحد، تكون الجلسة الأولى أ والثانية ب والثالثة أ. وللمعرف اثنين، تكون الرابعة ب. وللمعرف ثلاثة، تكون الخامسة أ والسادسة ب. وللمعرف أربعة، تكون السابعة أ والثامنة ب. لم نضف جلسة تاسعة، ولم نبدل أصحاب الجلسات؛ غيرنا عمود النسخة وحده في مقارنة مقصودة.

تظهر أ في الجلسات الأولى والثالثة والخامسة والسابعة، أي أربع مرات. وتظهر ب في الثانية والرابعة والسادسة والثامنة، أي أربع مرات أيضًا. لو راجعنا إجمالي الجلسات فقط، لوجدنا العرض نفسه الذي أعطاه الملف الأول. لكن جمع النسخ المختلفة لكل معرف يعطي اثنتين للمعرف واحد، وواحدة للاثنين، واثنتين للثلاثة، واثنتين للأربعة. هنا تظهر المعلومة التي ضاعت في الإجماليين.

إذن المعرفات واحد وثلاثة وأربعة لا تحقق شرط النسخة الواحدة في هذا البديل المعطى. أما المعرف اثنان فلا نضعه في قائمة التعارض لمجرد أن نسخته ب تختلف عن أ التي أعطيناه إياها في الملف الأول. كل ملف سيناريو مستقل، وفي البديل له جلسة واحدة فقط. فحص الثبات داخل سيناريو لا يعني فرض تطابق السيناريوهين في تعيين كل معرف.

ولا يحدد هذا الوصف سببًا تقنيًا لموقع فعلي. لم نقدم برنامج توزيع أو سجل تحميل أو وقت وصول أو تغيير إعدادات يفسر الانتقال. الذي أثبتناه أن صفوفًا معينة تخالف الشرط المعلن في بطاقة كاملة مؤلفة. إذا رأيت نمطًا شبيهًا في عملك، ستحفظ أمثلته وتراجع مصدرها؛ لن تعرف السبب من تشابه الأعداد مع مثالنا أو من اعتقاد أن مساواة الجلسات تستبعد كل مشكلة.

احسب التداخل بدل جمع المعرفات مرتين

في البديل، تظهر داخل أ المعرفات واحد وثلاثة وأربعة، فعددها ثلاثة. وداخل ب تظهر المعرفات الأربعة، فعددها أربعة. إذا جمعنا العددين حصلنا على سبعة، لكن لدينا أربعة معرفات مختلفة فقط في الملف. جاء الفرق لأن ثلاثة منها تعد مرة تحت أ ومرة تحت ب. اتحاد المجموعتين يضم أربعة، وتقاطعهما يضم ثلاثة، فيصح الحساب: ثلاثة زائد أربعة ناقص ثلاثة يساوي أربعة.

لا نسمي السبعة سبعة أشخاص ولا سبعة تعيينات مستقلة. يمكن تسميتها مجموع عددي المعرفات داخل النسختين، مع شرح أنها تحتفظ بالعد المزدوج، لكن الاسم الجديد لا يجعلها عددًا فريدًا. وإذا كان سؤال التقرير عن المعرفات المختلفة في التجربة، فلدينا جواب مباشر من اتحاد المعرفات. أما إذا كان السؤال عمن ظهر في أكثر من نسخة، فلدينا قائمة التقاطع نفسها لا حاصل جمع الطرفين.

قد يبدو حذف كل صف يربك الملخص وسيلة سريعة لإظهار مجموعتين منفصلتين. في تمريننا، لو حذفنا صفوف ب للمعرفات المشتركة وأبقينا أ لها، لحذفنا الجلسات الثانية والسادسة والثامنة. يبقى الملف بخمس جلسات، أربع لأ وواحدة لب، بدل ثماني جلسات وأربع لكل طرف. هذا ملف مختلف، لا دليل على أن السجل الأصلي كان ثابتًا. يجب إبقاء الأصل وأي معالجة وسببها منفصلة.

كما لا نجعل قائمة المشتركين أداة لتحديد الفائز بعد استبعادهم. ليست لدينا نتائج أداء أصلًا، ولم نضع قاعدة تحليل تقبل أو تستبعد تعارضات. هدف الحساب معرفة موضع التداخل وحجمه، لا صناعة ملخص مريح على حساب تاريخ الجلسات. حفظ هويات الصفوف يتيح شرح ما حدث لأي رقم بعد تعديل الملف، بدل عرض أعداد لا يستطيع أحد إرجاعها إلى السجل الأول.

اربط النتيجة بحدود السجل والمعرف

توضح ورقة ExP أن استخدام ملف تعريف الارتباط في المتصفح قد يجعل الشخص يظهر بمعرفات مختلفة عند تغيير المتصفح أو الجهاز أو حذف الملف. [1]

في بطاقتنا، المعرفات الأربعة مفاتيح معطاة نحسب بها فقط. لم نعرف هل يمثل كل مفتاح شخصًا مختلفًا في العالم الحقيقي. لذلك نكتب أربعة معرفات مختلفة بدل أربعة أشخاص مؤكدين. وحتى فحص يظهر نسخة واحدة لكل مفتاح لا يثبت أن الشخص نفسه لم يحصل على نسخة أخرى عبر مفتاح مختلف. معالجة الهوية عبر الأنظمة ليست نتيجة استخرجناها من جدول النسخ هذا.

ويحتاج اكتمال الفترة إلى انتباه مماثل. لو اقتصر الملف البديل على الجلسات الأولى والثالثة والرابعة والخامسة والسابعة، لرأينا أ مع واحد وثلاثة وأربعة، وب مع اثنين، دون تعارض داخل الصفوف الخمسة. لكننا نعرف من البطاقة الكاملة أن الصفوف الغائبة الثلاثة كانت تحمل ب للمعرفات المشتركة. عدم ظهور تعارض في لقطة ناقصة لا يثبت عدم وجوده خارجها؛ سمِّ عدد الصفوف والفترة التي راجعتها.

وفي الاتجاه الآخر، لا نتهم تغييرًا بين تجربتين مختلفتين بأنه انتقال داخل تجربة واحدة. لو حمل ملف هوية تجربة تاء وآخر هوية تجربة ثانية، فجمعهما بحسب المعرف وحده يزيل جزءًا من السياق الذي حددناه للشرط. ابدأ بمفتاح المراجعة الذي يشمل التجربة والفترة المناسبة، ثم افحص النسخ. هذا تنظيم لبطاقة المثال، وليس إعلانًا بأن كل أنظمة التجارب تستعمل هوية أو نافذة واحدة بالطريقة نفسها.

احتفظ بدليل يمكن الرجوع إليه

تتضمن نتيجة مراجعتنا اسم السيناريو وعدد صفوفه وعدد المعرفات فيه، ثم قائمة المعرفات التي لها أكثر من نسخة مع هويات جلساتها. يحقق الملف الأول شرطنا داخل الصفوف الثمانية، ويخالفه البديل عند ثلاثة معرفات رغم حفظ عدد الجلسات في كل نسخة. ويمكن إعادة إنتاج النتيجتين بالعد من القوائم المنشورة، دون تخمين نسب توزيع أو تفسير اختلاف زوار لم نوفر بياناتهم.

قبل الانتقال إلى تقييم أداء تجربة حقيقية، تبقى أسئلة أخرى تحتاج أدلتها: طريقة التعيين، واكتمال التسجيل، وتعريف المقياس، وخطة التحليل. لا تجيب قائمتنا عن هذه الأسئلة ولا تحسب دلالة إحصائية. قيمتها المحددة أنها تكشف لماذا لا تكفي عبارة أربع جلسات هنا وأربع هناك لإثبات ثبات النسخة لكل معرف، وتبين أي صفوف يجب أن ترافق هذه العبارة حتى يصبح فحصها ممكنًا.