توقع الرمز التالي: كيف تتكون جملة مولدة؟

الخلاصة السريعة

تتكون الجملة عبر خطوات متتابعة؛ وفي كل خطوة تؤثر الرموز السابقة وطريقة الاختيار في الرمز الجديد، دون أن تكون احتمالات التوليد دليلاً على صحة الوقائع.

• يبدأ التوليد من النص المتاح ويتابع بما أضيف إليه، حتى شرط التوقف. ^[1]
• مثال «وضعت الدفتر على» يوضح تغير الاستكمال بعد إضافة جزء جديد، ولا يمثل تجربة نموذج.
• قد تختار الآلية الرمز الأعلى احتمالاً أو تأخذ عينة من توزيع الاحتمالات. ^[2]
• نميز في المراجعة بين استمرار الجملة وصحة ما تقوله؛ مثالنا لا يعطي درجات احتمالات حقيقية.

ما الذي يتكرر أثناء التوليد؟

في توليد النص السببي، لا تكون كل الجملة الجديدة موجودة سلفاً كجواب جاهز. تصف وثائق Hugging Face توليد الرمز التالي من الطلب والمخرجات السابقة، ثم متابعة العملية حتى الطول المحدد أو رمز النهاية. ^[1]

لتتبع الفكرة على الورق، اكتب نص البداية في سطر، ثم ضع بجانبه خانة للجزء المضاف. في السطر الثاني انسخ النص مع الإضافة، واترك خانة أخرى. هذا تمرين لرؤية تغير الإدخال بين الخطوات، وليس وصفاً لكل التفاصيل الحسابية داخل النموذج.

كيف يتغير الاستكمال مع السياق؟

لنصنع عبارة «وضعت الدفتر على». يمكن تخيل استمرار يتناول الطاولة أو الرف. إذا أصبحت العبارة «وضعت الدفتر على الطاولة ثم»، تغير النص الذي يبدأ منه الاستكمال التالي. وإذا ذكر النص السابق تنظيف الطاولة، فقد يناسب القصة استمرار مختلف عن قصة ترتيب حقيبة المدرسة.

هذه بدائل كتبناها لتوضيح المعنى. لم نحسب احتمال أي بديل، ولا ندعي أن نموذجاً بعينه سيختار أحدها. كذلك نستعمل كلمات كاملة لتسهيل القراءة، مع أن خطوة التوليد تتعامل مع رموز قد تكون أجزاء من الكلمات. لا تستخرج تقسيم الرموز الحقيقي من الشكل المطبوع للمثال.

هل يختار النموذج الأعلى احتمالاً دائماً؟

توجد استراتيجيات مختلفة لفك التوليد. الاختيار الجشع يأخذ الرمز الأعلى احتمالاً في الخطوة، بينما أخذ العينات يختار وفق توزيع احتمالي. لهذا لا يصح اختزال كل توليد في اختيار البديل الأول دائماً. ^[2]

في تمرين الدفتر، ارسم عدة أسهم للاستكمال الممكن، ثم ضع عنواناً يوضح قاعدة الاختيار. إذا غيرت هذه القاعدة، فلا تتعامل مع الجملة اللاحقة كأنها قياس مستقل لجودة معرفة النموذج. المقارنة هنا بين آليات اختيار النص، لا بين مصادر تثبت مكان الدفتر.

ما الذي نراجعه في الجملة الناتجة؟

اقرأ الاستمرار من زاويتين: هل يحافظ على المعنى المقصود في النص؟ وهل يتضمن خبراً يحتاج دليلاً خارجياً؟ في مثال مصطنع آخر، عبارة «تقع المكتبة في الطابق الرابع» تحتاج سجل المكان إذا أردنا استخدامها كإرشاد فعلي. لا يثبت سلاسة الانتقال من كلمة إلى أخرى موقع المكتبة.

عندما تعرض شرحاً لهذه الآلية، ضع بجانب الأرقام عبارة «قيم تعليمية افتراضية» إن اخترعت توزيعاً للتوضيح. الأفضل في المثال البسيط الاستغناء عن النسب تماماً. بهذا يفهم القارئ دورة التوليد دون الخلط بين رسم احتمالات توضيحي ونتيجة استخرجت من نموذج فعلي.