يمكن أن تقرأ جواباً سلساً ثم تجد أن مضمونه غير صحيح. يصف NIST الهلوسة بأنها توليد محتوى خاطئ أو زائف يعرض بثقة. ولهذا نحتاج حكماً مستقلاً على الصياغة وحكماً على ما تثبته العبارة. [1]
الخلاصة السريعة
افحص الوضوح والترابط باعتبارهما صفات لغوية، وافحص الأسماء والأعداد والعلاقات باعتبارها ادعاءات تحتاج دليلاً. تحسين أحد الجانبين لا يكفي للحكم على الجانب الآخر.
- الأسلوب الواثق لا يثبت صحة المحتوى؛ قد يعرض النظام خبراً خاطئاً بثقة. [1]
- في الإعلان المصنوع، راجع أسماء النشاط والموعد والمكان خارج تقييم جمال العبارة.
- قد تقلد النماذج تصورات خاطئة واردة في النصوص؛ دراسة TruthfulQA توثق ذلك في نطاق اختبارها. [2]
- سجل حكمين منفصلين للصياغة والوقائع؛ إذا نقص الدليل، أبق حالة المعلومة غير محسومة.
ماذا نقيس عندما نصف الجواب بالفصاحة؟
في إجراء المراجعة المقترح هنا، الفصاحة تعني أن الجمل واضحة ومترابطة وأن الكلمات تؤدي المعنى دون التباس. هذه أسئلة يستطيع القارئ فحصها في النص نفسه: إلى ماذا يعود الضمير؟ وهل تظهر العلاقة بين السبب والنتيجة؟ وهل يحمل العنوان الفكرة التي يشرحها النص؟
لكن حكماً مثل «الجملة مرتبة» لا يثبت الموعد الذي تذكره. ولا نحتاج إلى نص ركيك حتى نكتشف خبراً خاطئاً. افصل الملاحظة اللغوية عن الواقعة في سجل التحرير، كي لا تخفي إعادة الصياغة مشكلة بقيت في الاسم أو العدد أو العلاقة السببية.
كيف نفحص مثالاً يجمع جودة الأسلوب وخطأ الخبر؟
لنكتب إعلاناً مصطنعاً: «تستقبل ورشة الخط الزوار غداً في قاعة الندى». ولنفترض أن بطاقة التنظيم التي صنعناها للمثال تذكر نشاطاً للرسم في قاعة السهل. العبارة سهلة القراءة، لكنها تخالف البطاقة في النشاط والمكان. لا يصلح تغييرها إلى لغة أفخم لإزالة هذين الخطأين.
ابدأ بتفكيك الجملة إلى حقول: النشاط، واليوم المقصود بكلمة «غداً»، والمكان. ثم ضع أمام كل حقل ما ورد في البطاقة. وإذا عدلت كلمة «غداً» إلى تاريخ صريح، تأكد أن التاريخ نفسه مستمد من معلومة متاحة. هذا تمرين تحرير كتبناه للمقال، وليس ناتج أداة اختبرناها.
لماذا قد يتكرر تصور خاطئ في الجواب؟
صمم باحثو TruthfulQA أسئلة قد يجيب عنها البشر خطأ بسبب تصورات شائعة، ووجدوا أن نماذج مدروسة ولدت أجوبة تقلد تلك التصورات. نتائج الدراسة تتعلق بنماذجها واختبارها، ولا نعطي منها نسبة خطأ عامة لكل الأدوات الحالية. [2]
المغزى للمحرر هو ألا يجعل شيوع العبارة بديلاً عن دليلها. في مثال الإعلان، قد يكرر أفراد الفريق اسم قاعة قديم اعتادوا استعماله. تكراره في نسخ متعددة لا يثبت أن بطاقة النشاط الحالية تستعمله. اسأل عن مادة مستقلة مرتبطة بالحدث، لا عن عدد المرات التي أعيد فيها النص نفسه.
كيف نسجل نتيجة المراجعة؟
استخدم خانتين مستقلتين: «الصياغة» و«الوقائع». ويمكن إضافة ملاحظة عن النقص بدلاً من فرض جواب نعم أو لا عند غياب الدليل. في المثال المصنوع، يمكن اعتماد سهولة القراءة مع طلب تصحيح النشاط والمكان من البطاقة. هذا الحكم أكثر تحديداً من وصف النص كله بأنه ممتاز أو سيئ.
إذا حسنت الأسلوب بعد التصحيح، ارجع إلى الحقول مرة أخرى للتأكد من أن إعادة الكتابة لم تغيرها. وعندما لا توجد بطاقة أو وثيقة تحسم الخبر، قل إن صحة الحقل لم تتحقق بعد. غياب الدليل لا يثبت وحده الخطأ، لكنه يمنع إغلاق المراجعة على أنها تحقق مكتمل.
| الصياغة | الوقائع | التصرف المقترح |
|---|---|---|
| واضحة | مؤيدة بالدليل | راجع الملاءمة للنشر |
| واضحة | تخالف الدليل | صحح الخبر |
| ملتبسة | مؤيدة بالدليل | حسن التعبير مع حفظ الحقول |
| واضحة | الدليل ناقص | ابق الحكم غير محسوم |
المصادر ومتابعة القراءة
- NIST AI 600-1: §2.2 Confabulation (يفتح في نافذة جديدة)nvlpubs.nist.gov
- Lin et al.: TruthfulQA (يفتح في نافذة جديدة)arxiv.org
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.
