قد يكتب النموذج متعدد اللغات فقرة عربية سليمة، ثم يتعثر في سؤال يحتاج إلى تفسير عبارة محلية. لفهم هذا الاختلاف، افصل بين وجود اللغة ضمن اللغات المدعومة وبين جودة العمل الذي تحتاجه بها. السؤال المفيد هو: هل يحافظ النموذج على المعنى والشروط في مهمتي بهذه اللغة؟
الخلاصة السريعة
لا يلزم أن تتساوى قدرات النموذج بين اللغات أو بين المهام داخل اللغة نفسها؛ قارن نواتج متكافئة في المهمة التي تحتاجها.
- وجود اللغة ضمن نطاق النموذج لا يكفي للحكم على جودة كل استخدام؛ تذكر بطاقة BLOOM اللغة والمجال ضمن عوامل اختلاف السلوك. [1]
- قارن المهمة نفسها بصياغتين متكافئتين؛ اختلاف التعليمات قد يفسد المقارنة قبل أن تبدأ.
- افصل جودة التعبير عن تنفيذ الشروط؛ تناولت دراسة عربية اختلاف النتائج بحسب فئة المهمة ضمن اختبار محدد. [2]
- اعتبر الاختبار الصغير فحصا لحاجتك، ولا تحوّله إلى ترتيب عام لكل اللغات والنماذج.
الدعم اللغوي نقطة بداية
تدرج بطاقة نموذج BLOOM اللغة ومجال النص ضمن العوامل التي قد يصاحبها اختلاف كبير في سلوك النموذج. هذا وصف لهذا النموذج، ولا يقدم نسبة موحدة لمستوى كل لغة. [1]
لنفترض أنك تحتاج رسالة تؤكد موعد ورشة. كتابة التحية بالعربية خطوة واحدة. يبقى أن تنقل الرسالة مكان الورشة، وموعدها، وشرط التسجيل. قد ينجح نموذج في هذه الرسالة ويحتاج مراجعة أكثر عند تلخيص نقاش تخصصي. لذلك دوّن استخدامك بدقة قبل البحث عن قائمة لغات طويلة.
وحّد المهمة قبل تغيير اللغة
جهز بطاقة اختبار قصيرة من تأليفك: «الورشة يوم الخميس، تبدأ الساعة العاشرة، والحضور للمسجلين فقط. اكتب رسالة من جملتين تحفظ المعلومات الثلاث». أنشئ نسخة إنجليزية تحمل الشروط نفسها، ثم اجعل شخصا يتقن اللغتين يراجع تكافؤهما إن أمكن.
لا تقارن طلبا عربيا عاما بطلب إنجليزي يحدد المستفيد والطول والمعلومات بالتفصيل. حافظ على الإعدادات المتاحة وسجل اسم النموذج وتاريخ الفحص. إذا اختلفت صياغة الطلب أو نسخه، ضع ذلك في ملاحظاتك. هكذا تستطيع تفسير خطأ محدد، مثل حذف شرط التسجيل، دون نسبة كل فرق إلى اللغة.
افحص المعنى والتنفيذ منفصلين
درست ورقة عن اتباع التعليمات متعددة الأدوار بالعربية مهاما مترجمة من MT-Bench، واستخدمت GPT-4 للتقييم. أشارت نتائجها إلى اختلافات بحسب فئة المهمة. تظل الاستنتاجات مرتبطة بالنماذج والاختبار وطريقة الحكم المستخدمة. [2]
في بطاقة الورشة، ضع خانة لسلامة اللغة، وثلاث خانات للموعد والساعة وشرط التسجيل. إجابة جميلة تحذف القيد تحصل على ملاحظة مختلفة عن إجابة تحفظ القيود وتحتاج تصحيح عبارة. ويمكن إضافة مهمة ثانية، مثل شرح سبب عدم قبول الحضور دون تسجيل، لرؤية الفرق بين نقل معلومة وتفسير علاقة.
اقرأ النتيجة ضمن حدودها
إذا نجحت النسخة الإنجليزية في بطاقتين والعربية في بطاقة واحدة، فهذا وصف لهذه المحاولات فقط. كرر أمثلة متنوعة من عملك، وراجع الأخطاء الفعلية قبل اتخاذ قرار. لا تعتبر محاولة واحدة دليلا على أن النموذج يفهم لغة كاملة أو يعجز عنها.
احفظ الطلبين والإجابتين وقائمة الشروط مع الملاحظات. قد تكون الخطوة العملية تعديل المثال العربي، أو اختيار أداة أخرى لهذه المهمة، أو إبقاء مراجعة بشرية للمعلومات المهمة. ولا يلزم تبديل لغة عملك لمجرد قائمة ترتيب لا تقيس الاستخدام الذي تحتاجه.
المصادر ومتابعة القراءة
- BigScience: BLOOM model card — Factors (يفتح في نافذة جديدة)huggingface.co
- Analyzing Multilingual Competency of LLMs: Arabic case study (يفتح في نافذة جديدة)arxiv.org
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.