نسبة عينة A/B لا تكفي دون حجمها وتوزيعها المخطط. ملاحظة 75% في أ و 25% في ب ليست وحدها نتيجة فحص، خصوصًا إذا كانت الخطة 70% و 30% بدل 50% و 50%. سنقارن ملفين مؤلفين لهما النسبة المرصودة نفسها وحجمان مختلفان، باستخدام حساب كاي تربيع تقريبي وشروط معلنة. لم نجمع بيانات تجربة أو نختبر موقعًا، ولا نحكم على فوز نسخة من توزيع المشاركين.
الخلاصة السريعة
راجع أعداد المشاركين مقابل الخطة الأصلية باختبار يناسبها، ثم افصل هذا الفحص عن مقارنة أثر النسختين.
- يصف Microsoft فحص SRM باختلاف ذي دلالة بين أعداد المجموعات والنسبة المخططة، ويبين أن النظر إلى النسبة وحدها لا يكفي دون حجم العينة. الفحص يسبق تفسير أثر التجربة في منهجه. [1]
- نعطي احتمالَي توزيع 70% و 30% معلومين مسبقًا، ومستخدمًا فريدًا واحدًا لكل ملاحظة مستقلة. عينة 100 تعطي متوقعًا 70 و 30 ؛ وعينة 10000 تعطي 7000 و 3000. لا نستبدل الخطة بـ 50/50 أو بنسبة لاحظناها لاحقًا.
- وفق إحصاء Pearson القائم على مجموع مربع فرق المرصود والمتوقع مقسومًا على المتوقع، [2] تعطي 75 و 25 إحصاءً نحو 1.190476 ، وتعطي 7500 و 2500 نحو 119.047619 ، رغم تساوي النسبة المرصودة 75/25.
- بدرجة حرية واحدة وتقريب كاي تربيع، قيمة p في مثالنا الأول نحو 0.2752 ، وفي الثاني نحو 1.02245×10−27. عند قاعدة اختيرت للمثال مسبقًا،p أقل من 0.001 ، يرفع الثاني إشارة مراجعة ولا يرفع الأول. هذه ليست عتبة عامة أو اختبارًا ثنائيًا دقيقًا.
- إذا كان المرصود 7000 و 3000 والخطة 70/30 ، فالإحصاء صفر. اختباره خطأً كأنه 50/50 يعطي 1600. عدم رفع إشارة في اختبار صحيح لا يثبت جودة كل البيانات، و p ليست احتمال عطل أو احتمال نجاح النسخة.
- الإشارة تحتاج بحث سببها، ولا تعين عطل التوزيع أو الفلتر أو السجل من نفسها. لا نحذف مستخدمين أو نغير الخطة بعد رؤية الأعداد كي تختفي الإشارة، ولا نستنتج تحويلًا أو إيرادًا من العد.
- احتفظ بالخطة ونسختها والوحدة والفترة والأعداد والافتراضات وقاعدة القرار. الملفان أمثلة مستقلة، وليسا قراءات متتابعة لاختبار حي أو خطة لإيقافه عند نتيجة تعجبك.
1. فحص التوزيع يجيب عن سؤال قبل سؤال الأداء
يوضح MicrosoftResearch أن SRM يتناول اختلافًا إحصائيًا بين أعداد المستخدمين في نسختي التجربة وبين النسبة المهيأة قبلها، وأن النسبة المرصودة وحدها لا تحمل معلومات حجم العينة. ويفصل اكتشاف الإشارة عن تشخيص سببها، قبل الاعتماد على تفسير أثر التجربة في منهجه. [1]
للقارئ التسويقي، السؤال هو هل الأعداد التي تقارن بها النسختين متوافقة مع خطة توزيع معروفة في النموذج الذي تستعمله؟ هذا يختلف عن سؤال أي نسخة رفعت إكمال الشراء أو التفاعل. يمكن لمذكرة أن تحتوي أعداد المشاركين دون أي نتائج عن مشترياتهم. لذلك سنحافظ على خانة توزيع العينة منفصلة عن خانة أثر النسخة، حتى لا تصبح كثرة من ظهروا في أ دليلًا على أنها أقنعت عددًا أكبر بالشراء.
عدم تطابق عددين تمامًا لا يصبح تلقائيًا خللًا مثبتًا في تجربة عشوائية. يجب قراءة الخطة والحجم والافتراضات وطريقة الفحص، بدل استعمال فرق خام حكمًا نهائيًا. كذلك لا نبدأ من افتراض أن كل تجربة مصممة للتوزيع المتساوي؛ مثالنا سيعطي 70/30 صراحة. الأعداد التي تبدو غير متساوية قد تكون مطابقة للخطة، كما أن نسبة تبدو قريبة قد تحتاج مراجعة إحصائية بحسب حجم البيانات التي تعبر عنها.
أما مقال اختبار A/B للمبتدئينفيشرح المقارنة والفرضية والنتيجة بحذر. سؤالنا هنا أضيق: كيف نقرأ نسبة التوزيع مع حجمها وخطتها، وما الذي تسمح به إشارة هذا الفحص؟ لا نعيد حساب معدل تحويل أو نختار قرار إطلاق. نستعمل بيانات جديدة مؤلفة حتى تبقى المقارنة بين العد المتوقع والمرصود واضحة دون قصة تجربة واقعية لم نجمعها.
ونستخدم كلمة إشارة مراجعة للنتيجة التي تحقق قاعدة المثال، لا اسم عطل اكتشفناه في خدمة. لم نشغّل تجربة أو نطلع على سجلات منصة. هذه الحدود لا تمنع التعلم من الحساب؛ تمنع فقط أن يحمل رقم إحصائي وصفًا تنفيذيًا أو سببيًا أكبر مما عرفناه. الدليل الذي يراجع العد شيء، والدليل على سبب تغيره أو أثر النسخة شيء آخر يحتاج بياناته.
2. المتوقَّع يحسب من الخطة السابقة للبيانات
نعطي في النموذج احتمالًا مخططًا 0.7 للنسخة أ و 0.3 للنسخة ب، مع ملاحظات مستقلة وعدّ مستخدم فريد مرة واحدة. هذه افتراضات محددة للمثال، وليست تقريرًا عن نظام توزيع فعلي. في عينة حجمها 100 ، المتوقع لأ 70 ولب 30. وفي عينة حجمها 10000 ، المتوقع 7000 و 3000. مجموع العددين المتوقعين يساوي حجم كل عينة، ولا نضيف فئة ثالثة مجهولة إلى المقام.
المتوقع هنا مقدار يحدده نموذج الاحتمالات مع حجم العينة، وليس أمرًا بأن الأعداد يجب أن تتساوى معه حرفيًا في كل تنفيذ عشوائي. لهذا توجد خطوة الاختبار بدل استبدالها بمقارنة مساواة بسيطة. كما أن المتوقع لا يصف عددًا نعيد فرضه على السجل بحذف الصفوف حتى نصل إليه. إذا كانت بيانات فعلية مختلفة، فإن الاختلاف موضوع المراجعة، لا ترخيص لتعديلها كي توافق الرسم الذي أحببناه للخطة.
ولم نقدر 0.7 من البيانات المرصودة التي سنختبرها. أعطيناه مسبقًا لأن الاختبار يقارنها بخطة معلومة. إذا غيرنا الخطة بعد الملاحظة إلى 75/25 لمجرد أن هذه هي النسبة التي رأيناها، فسيتغير السؤال. لن نكون عندئذ نراجع التوافق مع 70/30 الأصلية. لذلك تحتفظ بطاقة المراجعة بنسخة الخطة ووقت تعريفها، ولا تستعمل تفسيرًا لاحقًا للأرقام بوصفه ما كان مهيأ قبل التجربة.
وفي عمل فعلي، حدد وحدة العد والفترة التي تخص الخطة. أعداد زيارات لا تصبح مستخدمين فريدين من دون قاعدة واضحة، وقد يزور الشخص الصفحة أكثر من مرة. مثالنا يزيل ذلك التعقيد بإعطاء وحدة مستقلة ومعلومة. لا ننقل افتراض الاستقلال أو التفرد إلى سجلات لم نفحصها؛ إذا كانت وحدتها مختلفة، فإن النموذج وطريقة المراجعة يحتاجان أن يناسباها بدل استخدام القيم التي حسبناها هنا مباشرة.
يمكن للبطاقة أن تسجل الخطة وعدد أ وعدد ب والمجموع قبل أي صيغة إحصائية. هذه خطوة نافعة لأنها تكشف غياب مدخل أساسي، مثل نسبة مهيأة لم توثق. لا تختر 50/50 لتعبئة فراغ الخطة لأن الاسم A/B يتضمن نسختين. عدد النسخ لا يعين احتمالاتهما، كما لا تعين النسبة المرصودة وحدها ما الذي كان مقصودًا عند توزيع المستخدمين.
3. حساب العينة الصغيرة يحفظ مقام كل مساهمة
يعرض NIST إحصاء كاي تربيع بصيغة مجموع مربعات فروق الأعداد المرصودة والمتوقعة مقسومة على المتوقعة. ويبين أن الاستدلال بتوزيع كاي تربيع تقريبي ويحتاج حجمًا مناسبًا وافتراضاته، مع درجات حرية تراعي ما قدر من البيانات. [2] في نموذجنا فئتان واحتمالاهما معلومان قبل الملاحظة، فلا نقدر نسبة جديدة من العد.
نعطي العينة الأولى أ 75 وب 25 ، ومجموعهما 100. نسبة المرصود لأ 75% ولب 25%، بينما المتوقع 70 و 30. فرق أ 5 ، وفرق ب ناقص 5. عند التربيع تكون قيمة كل فرق 25. مساهمة أ 25/70 ، ومساهمة ب 25/30. تجمع المساهمتان إلى 25/21 ، أي نحو 1.190476. لا نقسم الفرقين على المرصود 75 و 25 ؛ تلك عملية أخرى لا تعطي الإحصاء الذي عرفناه.
التربيع لا يجعل نقص ب زيادة في عددها؛ هو جزء من صيغة تقيس ابتعاد العدد عن المتوقع دون أن تلغي اتجاه الفرق في السجل الأصلي. لذلك من المفيد حفظ المرصود والمتوقع والفرق قبل عرض الإحصاء الإجمالي. رقم واحد مثل 1.190476 لا يعيد كل هذه التفاصيل للقارئ، ولا يخبره هل الفئة أ فوق الخطة أو تحتها. نحن نعرف الاتجاه من الأعداد التي أعطيناها، لا من حاصل المساهمتين وحده.
وعندما نقول إن الفارق المرصود خمس نقاط مئوية في حصة أ، فإننا نصف 75% ناقص 70%. لا نقول إن أثر النسخة زاد 5% أو إن عدد المبيعات تغير بمقدار معين. لم نعط نتائج شراء أو إيراد أو أسعارًا. نسبة توزيع المشاركين تتناول من دخل العد في كل فئة، ولا تصبح تلقائيًا مقياسًا لما فعله المشاركون بعد ذلك. هذه نقطة مهمة عندما تنتقل الأعداد من جدول فني إلى ملخص تسويقي.
يمكن مراجعة المجموع المتوقع 70+30=100 والمرصود 75+25=100 قبل الحساب. لا يعني تساوي المجموعين أن التوزيع مطابق، لكنه يؤكد اتساق المقام الذي عرفناه. لو كانت هناك فئات أو سجلات غير محددة في مثال آخر، فلا تختزلها إلى هذين العمودين دون تعريف. المثال الصغير مكتمل المدخلات عمدًا، وأي توسع في البيانات يغير ما يجب أن تعرفه قبل استخدام الصيغة.
4. النسبة نفسها مع حجم أكبر تغير الإحصاء
نعطي عينة مستقلة ثانية أ 7500 وب 2500 ، مجموعها 10000. ما زالت النسبة المرصودة 75% و 25%، والخطة 0.7 و 0.3 نفسها، فالمتوقع 7000 و 3000. فرق أ 500 وفرق ب ناقص 500. مربع كل فرق 250000. مساهمة أ 250000/7000 ومساهمة ب 250000/3000 ، والمجموع 2500/21 ، أي نحو 119.047619. القيم أكبر رغم ثبات حصة أ وب في العينة المرصودة.
العينة الثانية أكبر مئة مرة من الأولى، وكل فرق عددي فيها أكبر مئة مرة أيضًا. لكن تربيع الفرق يزيده عشرة آلاف مرة، ثم القسمة على المتوقع الأكبر مئة مرة تترك الإحصاء أكبر مئة مرة. هذه علاقة مباشرة في البيانات التي اخترناها. النظر إلى 75/25 وحدها يخفي حجم العد الذي صنع الفرق بين 1.190476 و 119.047619 ، ولذلك لا يصلح بديلاً عن الحساب الذي يستخدم المقام والأعداد.
ولا نجمع العينتين لنصنع تجربة ثالثة أو نصفهما بأنهما اليوم الأول واليوم الأخير لتجربة حية. اخترنا ملفين مستقلين محددين سلفًا لشرح أثر الحجم. لم نعط عملية تفقد متكرر أو قاعدة إيقاف أثناء جمع المستخدمين. إذا كان هناك اختبار فعلي تراقبه على مراحل، فإن قواعده وافتراضاته تحتاج قراءة تخصه؛ المثال المقارن لا يمنح ترخيصًا للاستمرار حتى تظهر نتيجة تعجب الفريق ثم اختيار تلك اللحظة عنوانًا للتقرير.
الرسم الأول يظهر العددين في كل عينة مع النسبة المرصودة المشتركة، والثاني يظهر المتوقع والمرصود للعينة الكبيرة. لا يعرض الرسم عدد عملاء اشتروا أو أداء إعلان، ولا يلون نسخة بوصفها الفائزة. القيم مؤلفة والفئات أ وب تشير إلى توزيع المستخدمين في النموذج. عندما يشارك الفريق صورة مبسطة، ينبغي أن يبقى عنوان العد واضحًا حتى لا يقرأ أحد 7500 بوصفها تحويلات أو زيارات ناجحة.
ولا نستنتج أن كل عينة أكبر أفضل للتجربة من هذا الفرق وحده. لم نحسب كلفة جمعها أو قوتها لاختبار أثر معين أو مدى استقلالها أو ملاءمة وحدة العد. أظهرنا أن النسبة تحتاج حجمًا عند فحص التوافق مع الخطة. هذا استنتاج محدد يكفي لتفسير الحساب، ولا يتحول إلى قرار عن المدة المطلوبة لكل نشاط أو عدد المستخدمين الذي ينبغي أن تفرضه منصة على الجميع.
5. قيمة p وقاعدة الإشارة في المثال
نستخدم تقريب توزيع كاي تربيع بدرجة حرية واحدة في نموذج الفئتين ذي الاحتمالين المعطيين. نحسب قيمة p التقريبية من ذيل ذلك التوزيع. للعينة الصغيرة نحصل على نحو 0.2752335 ، وللكبيرة نحو 1.02245×10−27. هذه نتائج حسابية على مدخلات مؤلفة، وليست ناتج اختبار ثنائي دقيق أو فحص أجريناه على سجلات شركة. المتوقع في الفئتين واضح وموجب في المثالين.
نعطي قبل القرار قاعدة للمثال: ترفع إشارة مراجعة إذا كانت p أقل من 0.001. عند هذه القاعدة لا يرفع المثال الصغير إشارة، ويرفع الكبير إشارة. 0.001 اختيار معلن من تأليفنا، وليس عتبة عامة ننسبها إلى كل منصة أو توصية يجب أن يعتمدها فريقك. يمكن لقارئ أن يراجع العلاقة بين الأعداد والقاعدة دون استعمال قرارنا التعليمي سياسة لتجربة واقعية لها تصميم مختلف.
قيمة p تقرأ في ظل فرضية النموذج المعين، ولا نسميها احتمال أن نظام التوزيع معطل أو احتمال أن النسخة ب أفضل. كذلك لا تعني 0.2752 أن البيانات صحيحة بنسبة 72.48%. هذه تحويلات إلى أسئلة لم يعرفها الحساب. والعدد الصغير جدًا في المثال الكبير لا يعين سبب الانحراف؛ يبين أن البيانات لا تتوافق مع الفرضية عند القاعدة والافتراضات التي أعلنّاها. معنى النتيجة يظل مربوطًا بالسؤال الذي اختبرناه.
أما عدم رفع إشارة في المثال الأول فلا يثبت سلامة كل البيانات أو صحة جميع مراحل التنفيذ. قد توجد أسئلة لم يتناولها عد أ وب. لا نمنح التقرير شهادة جودة شاملة لأن قيمة تجاوزت حدًا في مثال. ويمكن أن تحفظ بطاقة المراجعة نتيجة الاختبار مع ما بقي غير مفحوص، مثل وحدة سجل فعلي أو نسخة الخطة أو شروط التصفية. كل نتيجة لها نطاق، ولا ينبغي حذف ذلك النطاق عند تلخيصها.
ونحتفظ بالإحصاء الدقيق على صورة 25/21 أو 2500/21 قبل التقريب للعرض. اختصار الأرقام إلى 1.19 و 119.05 مفيد للقراءة، لكنه ليس مدخلًا جديدًا ينبغي أن يعيد تحديد الحساب من الصفر. المثال لم يعط عدم يقين من قياس أو نتيجة بوصفها صفرًا؛p الكبيرة في شدة الانحراف صغيرة جدًا لكنها موجبة في حسابنا. عرضها بالتدوين العلمي يحفظ هذه المعلومة دون كتابة صف طويل من الأصفار.
6. افتراض 50/50 قد يختبر خطة لم تكن موجودة
ننشئ حالة ثالثة معطاة فيها أ 7000 وب 3000 والخطة 70/30. المتوقع 7000 و 3000 أيضًا، فتكون الفروق صفرًا والإحصاء صفرًا. التوزيع المرصود غير متساوٍ عدديًا، لكنه يطابق الخطة المعطاة تمامًا في هذه الحالة. لذلك لا ينبغي تحويل اسم A/B إلى افتراض مساواة، أو تسمية كل 7000 أمام 3000 اختلالًا قبل معرفة الاحتمالات المقصودة ووحدة العد.
إذا اختبرنا الأعداد نفسها خطأً كأن الخطة 50/50 ، فسنكتب متوقعًا 5000 و 5000. يصبح فرق أ 2000 وفرق ب ناقص 2000 ، وتكون مساهمة كل واحد 4000000/5000=800 ، والمجموع 1600. الحساب على تلك الفرضية صحيح رياضيًا، لكن الفرضية لا تمثل الخطة التي أعطيناها. إحصاء كبير هنا لا يثبت فشل 70/30 ؛ إنه يصف مخالفة تصور آخر أدخلناه دون أن يكون موضوع التجربة.
لا يعني ذلك أن كل اختلاف يختفي بمجرد اختيار خطة تلائم المرصود. يجب حفظ الخطة السابقة للبيانات، لا إعادة تعريفها بعد ظهور الأعداد. لو كان المقصود الأصلي 70/30 والمرصود 75/25 ، فلا نغير المعيار إلى 75/25 كي تصبح الفروق صفرًا. عندئذ نكون قد محونا السؤال بدل الإجابة عنه. البيانات التي رفعت إشارة تحتاج مراجعة في نطاقها، ولا تصبح موثوقة لمجرد أن عنوان الخطة الجديد يشبهها.
كما لا نختزل المشكلة إلى التوزيع الأولي وحده. قد يحتاج فريق تجربة فعلية إلى مراجعة ما يدخل التحليل وما يستبعده، لكن لا نسمي سببًا من مجرد الأعداد. يمكن للبطاقة أن تحفظ نسخة الخطة ونطاق العينة والفترة وطريقة تحديد المستخدم، ثم تميز ما عرف وما يحتاج دليلًا. لا نقدم خطة لإزالة مستخدمين أو تعديل فلاتر حتى يعود العدد إلى نسبة مرغوبة، ولم نغير أي سجل في هذا المقال.
عند إعداد ملخص، اكتب «اختبرنا التوافق مع الخطة المعروفة» بدل «راجعنا التساوي». الكلمتان لا تمثلان السؤال نفسه إلا عندما تكون الخطة متساوية بالفعل. وهذا يساعد المسؤول غير المتخصص على فهم لماذا لم تكن النتيجة في الحالة الثالثة فشلًا، ولماذا تغيرت في المثالين الأولين مع حجم العينة. عنوان الفحص يجب أن يحمل المعيار الذي استخدم، لا معيارًا معتادًا نسيناه وسط الحساب.
7. الإشارة بداية مراجعة وليست سببًا أو فوزًا
في المثال الكبير، الإشارة جاءت من الأعداد والخطة وقاعدة p التي أعطيناها. لم تخبرنا هل هناك مشكلة في توزيع المستخدمين أو في التنفيذ أو في سجل أو في تعريف عينة تحليل فعلي. ليس لدينا تلك البيانات أصلًا. يمكن أن تكون المراجعة التالية عن مصادر العد وما تغير بين مراحلها، لكن صياغة سؤال عن سبب ليست دليلًا عليه. لا نختار تفسيرًا لأنه الأكثر شيوعًا في شرح قرأناه.
ولم نعط في العينة الكبيرة مقياس أثر مثل إكمال الطلب أو قيمة السلة أو إيراد المستخدم. لذلك لا نعدّ أ فائزة لأن عددها 7500 ولا ب لأن بياناتها احتوت نسبة مختلفة. فحص توزيع العينة ومقارنة النتائج مهمتان مختلفتان. إذا كان لديك تقرير حقيقي يضم الاثنين، فاحتفظ بالقرار عن كل سؤال مع أدلته وافتراضاته، ولا تجعل نتيجة عد المشاركين اختبارًا لنجاح التصميم الذي شاهده بعضهم.
يمكن لمذكرة التحقيق المقترحة أن تسجل ما تتوقع رؤيته لو كان سبب محتمل صحيحًا، ثم تبحث عن الدليل في نطاق تجربة مأذون مراجعته. لا ننفذ تلك المذكرة هنا ولا نتصل بخدمة. من المهم أن يبقى الفرق ظاهرًا بين فرضية السبب ونتيجة فحصها. إذا لم يصل دليل، اكتب أن السبب لم يتحدد بدل إسناد المشكلة إلى طباعة رمز أو فقد بيانات أو مستخدمين من جهة معينة.
وعندما يعالج فريق مشكلة فعلية، لا تحوّل تعديلًا على السجل إلى اعتماد تلقائي للمقارنة القديمة. يحتاج التقرير الجديد تعريفًا للبيانات التي اعتمد عليها وما تغير فيها ولماذا. مقالنا لا يضع طريقة إصلاح أو يجيز إعادة وزن أو حذفًا معينًا. فائدته جعل سؤال الاختلال واضحًا، ثم الاحتفاظ بحدود النتيجة حتى لا تبدو إزالة الإشارة من جدول نتيجة إحصائية كافية عن تجربة لم تراجع بقيتها.
ولا نستخدم عدم رفع إشارة في حالة 7000 و 3000 شهادة بأن التدفقات كلها سليمة. تلك الحالة تحقق المقارنة العددية التي اختبرناها فقط. يمكن للنتيجة أن تكون صحيحة في نطاقها بينما توجد أسئلة أخرى عن الاستقلال أو التفرد أو الفترة أو المقياس. الحفاظ على هذه الحدود يمنع الفريق من وضع ختم نجاح شامل فوق رقم واحد، ويسمح للمراجعة التالية أن تعرف أين انتهى الدليل وأين بدأ السؤال غير المحسوم.
8. بطاقة نتيجة تحتفظ بالحجم والخطة والطريقة
بطاقة المثال الأول تقول: «عينة مؤلفة 100 مستخدم مستقل، أ 75 وب 25 ، خطة معلومة 70/30 ، متوقع 70 و 30 ، إحصاء Pearson نحو 1.190476 ، وقيمة p تقريبية نحو 0.2752 بدرجة حرية واحدة». ثم تضيف قاعدة المثال 0.001 ونتيجتها وعدم وجود استنتاج عن أثر النسخة. هذه بطاقة يمكن مراجعة أعدادها، ولا تحتاج ادعاء تجربة على موقع أو اسم منصة أو اعتماد متخصص لم يحدث.
بطاقة المثال الثاني تحفظ حجم 10000 مع 7500 و 2500 ومتوقع 7000 و 3000 ، والإحصاء نحو 119.047619 وقيمة p نحو 1.02245×10−27. وتذكر أنه رفع إشارة عند القاعدة المعطاة، لا أنه كشف سببًا بعينه. لا تختصر البطاقة إلى 75/25 لأن هذا يحذف المعلومة التي صنعت الفرق الرئيسي بينها وبين المثال الأول. ويمكن عرضها في الصورة مع بقاء الأرقام المصدرية في النص لمن يريد إعادة الحساب.
إذا استعملت عناوين البطاقة في تجربة فعلية، أدخل بياناتها ووحدة عدها وفترتها والخطة التي تخصها ومصدرها، واترك ما لم يعرف مجهولًا. لا تستورد قيمة p من أمثلتنا لأن النسبة في تقريرك تشبهها. العدد والافتراضات وطريقة الاختبار جزء من النتيجة، وليست تفاصيل إضافية يمكن إزالتها دون تغيير المعنى. كما أن ملاحظة عينة على مراحل تحتاج طريقة تناسب ذلك التصميم، لا وصف ملفين مستقلين اخترناهما سلفًا.
واحتفظ بالفصل بين الاحتمالات المعلومة وما قدّر من البيانات عند تفسير درجات الحرية أو الطريقة. نموذجنا تعمد خطة معطاة وفئتين ووحدة واحدة لكل مستخدم كي يبقى الحساب محددًا. إذا تغيرت هذه الشروط، فلا تنقل درجة الحرية أو القاعدة كما هي إلى جميع المسائل. المرجع والطريقة والافتراضات ينبغي أن يوافقوا السؤال الفعلي، لا أن يختاروا لمجرد أن الصيغة قادرة على إخراج عدد.
المعنى النهائي أن نسبة المرصود تحتاج حجمها وخطتها قبل الحكم، وأن فحص SRM يتناول التوافق الإحصائي في عد المشاركين لا فوز النسخة. أظهرنا ذلك بملفين لهما 75/25 لكن نتيجتين مختلفتين عند شروط معلنة، وبحالة غير متساوية تطابق 70/30. حين تحفظ هذه التفاصيل في التقرير، تستطيع أن تعرف ما الذي تقول الإشارة وما الذي لا تقوله، وأن تمنع نسبة قصيرة من أن تحل محل مراجعة البيانات أو تفسير أثر تجربة كاملة.
المصادر ومتابعة القراءة
- MicrosoftResearch: تشخيص عدم تطابق نسبة العينة في اختبار A/B، 2020. (يفتح في نافذة جديدة)microsoft.com
- NIST: اختبار كاي تربيع لحسن المطابقة، صيغة الإحصاء وافتراضاته ودرجات الحرية. (يفتح في نافذة جديدة)itl.nist.gov
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.