ترتيب الأمثلة في الأمر يستحق المراجعة عندما يتغير الرد رغم ثبات القاعدة والمدخل. وجدت دراسة منشورة في ACL عام 2022 حساسية لترتيب أمثلة التصنيف في النماذج والمهام التي درستها. [1] لا يعني ذلك أن آخر مثال يتحكم في كل نموذج أو أن هناك ترتيبا واحدا أفضل للجميع.
الخلاصة السريعة
قارن ترتيبين للأمثلة نفسها مع ثبات بقية الطلب، وافحص حالات جديدة؛ فرق الرد قد يرتبط بالترتيب لكنه يحتاج مراجعة ولا يعمم على كل نموذج.
- توجد أدلة بحثية على حساسية الترتيب في مهام محددة؛ الترتيب الجيد لنموذج ليس مضمونا لنموذج آخر. [1]
- غير ترتيب الأمثلة وحده، واحفظ التعليمات والمدخل وخيارات التشغيل التي تستطيع ضبطها.
- قارن التصنيف بقاعدة مكتوبة، وسجل الأخطاء المحددة بدلا من الحكم على الرد الأكثر إعجابا.
- أعد المراجعة عند تغيير النموذج أو الأمثلة، ولا تعمم نتيجة حالات قليلة.
افهم نطاق النتيجة البحثية
توضح الدراسة أن ترتيب أمثلة قليلة أثر في نتائج التصنيف التي اختبرتها، وأن الترتيب الجيد لم ينتقل بالضرورة بين النماذج. [1] هذه نتيجة بحثية في سياقها، لا توصية بأن تضع دائما المثال الأصعب في النهاية.
في مثال مستقل، نصنف عبارات بطاقة معرض إلى «محتوى» عندما تصف الأعمال، و«إجراء» عندما تخبر الزائر بما يفعل. الأمثلة المصطنعة: «يضم المعرض صورا» محتوى، و«احجز قبل الزيارة» إجراء، و«يضم منحوتات» محتوى. نكتب القاعدة بالكلمات أيضا؛ ترتيب العرض لا يغير التسميات التي قصدناها.
اعزل تغيير الترتيب
أنشئ نسخة تعرض الأمثلة بالترتيب السابق، ونسخة أخرى تبدأ بالحجز ثم تعرض المثالين عن المحتوى. اترك السؤال الجديد نفسه: «أرسل طلب الزيارة قبل الحضور». لا تعدل طول الأمثلة أو الأسماء أو تعليمات الجواب أثناء المقارنة، وإلا صار تفسير الفرق أقل وضوحا.
احتفظ بكل نسخة كما أرسلتها وباسم النموذج وإصداره إن كان معلوما. وإذا كانت الواجهة تتيح إعدادات توليد، فسجلها أو اضبطها بالطريقة نفسها. لا تزعم أن الظروف ثابتة بالكامل إذا كانت الخدمة تغير النموذج أو تخفي إعداداته؛ بيان ما لا تستطيع التحكم فيه جزء من سجل المقارنة.
راجع الحكم لا جاذبية الصياغة
الحكم المقصود في السؤال الجديد هو «إجراء» وفق القاعدة الافتراضية. إذا أعطى رد وصفا جميلا للمعرض دون التصنيف، فسجل غياب المطلوب، لا جودة الأسلوب وحدها. وإذا ذكر التصنيف الصحيح مع معلومة إضافية غير مطلوبة، فافصل نجاح الفئة عن الالتزام بالشكل.
جرب أيضا عبارة جديدة عن المحتوى، حتى لا تختار ترتيبا لأنه نجح في سؤال واحد فقط. سجل كل حالة والرد وموضع المخالفة. هذه خطة مراجعة لم ننفذها على نموذج، فلا نستخرج منها نسبة تحسن أو نتيجة فعلية. وقد تختلف الردود بين تشغيلين لأسباب لا تتعلق بالترتيب وحده.
احتفظ بنتيجة محدودة قابلة للإعادة
إذا وجدت فرقا في تجربة تجريها فعلا، فاكتب «في هذه الحالات وهذا النموذج ظهرت هذه الأخطاء»، مع حفظ الطلبات والردود. لا تستبدل العبارة بقاعدة مثل «ضع المثال الصحيح أخيرا»، لأن كل أمثلتنا يفترض أن تكون صحيحة أصلا.
إضافة مثال ناقص أو تغيير النموذج يجعل المراجعة السابقة أقل كفاية. افحص النسخة الجديدة على الحالات نفسها وحالات مناسبة للتغيير. وقد لا تجد فرقا مفيدا بين ترتيبين؛ عندئذ لا تضف تعقيدا شكليا بلا سبب. الغرض معرفة سلوك الطلب الذي تستخدمه، لا البحث عن ترتيب سحري يضمن الإجابة.
المصادر ومتابعة القراءة
- Lu et al.: Fantastically Ordered Prompts and Where to Find Them, ACL2022 (يفتح في نافذة جديدة)arxiv.org
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.