عندما تقرأ ملفا تقنيا لمحادثة، قد تجد علامات بجانب رسائل المستخدم والمساعد. الرموز الخاصة في المحادثة تؤدي وظائف تتعلق ببنية الإدخال، بينما تعرض الواجهة عادة نصا أسهل للقراءة. معرفة هذا الفرق تساعدك على تفسير ملف المحادثة دون التعامل مع كل علامة كأنها كلمة كتبها شخص.
الخلاصة السريعة
تساعد بعض الرموز الخاصة على بيان حدود الرسائل وأدوار المتحدثين وفق صيغة النموذج؛ طريقة عرضها وإضافتها تعتمد على الأداة والقالب المستخدم.
- علامات الأدوار تختلف باختلاف النموذج. [1]
- الرمز الخاص المسجل يعالج بطريقة محددة لدى محلل الرموز؛ الاسم المكتوب بين أقواس ليس قاعدة موحدة لكل نموذج. [2]
- قد تخفي عملية تحويل الرموز إلى نص علامات مسجلة عند تفعيل خيار skip_special_tokens؛ الاختفاء من العرض لا يشرح وحده ما أرسل للنموذج. [2]
- استخدم طريقة الرسائل الموثقة في أداتك، ولا تفترض أن كتابة علامة داخل مربع السؤال ستمنح النص دورا آخر.
علامة الدور توضح موضع الكلام
تصف الوثائق علامات تحدد بنية الرسائل، بصيغ مختلفة حسب النموذج. [1]
لنقرأ مثالا وصفيا من تأليف المقال: «رسالة مستخدم: اقترح عنوانا» ثم «رسالة مساعد: رحلة إلى الواحة». عبارة «رسالة مستخدم» هنا شرح للقارئ، وليست رمزا تقنيا جاهزا. في ملف فعلي ستحتاج إلى معرفة صيغة النموذج حتى تميز حدود الرسائل عن محتواها؛ شكل الأقواس وحده لا يكفي.
الوظيفة تتصل بإعداد محلل الرموز
تصف وثائق محلل الرموز تسجيل علامات خاصة وربطها بخصائص، مع معالجة تمنع تقسيم العلامة المسجلة في الوضع المعتاد. لا يعني ذلك أن كل نص يشبه علامة مسجل أو صالح لأي نموذج. [2]
تخيل ملفين: أحدهما يضع حدود الرسائل بعلامات ألف، والآخر بعلامات باء. لا تنقل العلامات بينهما لأن معناها يبدو متشابها لك. راجع الملف المرافق للنموذج أو القالب الموثق. وإذا كنت مستخدما لواجهة محادثة جاهزة، فعادة يكفي تقديم السؤال بوضوح؛ تفاصيل إعداد المحلل تخص من يبني التكامل.
ما يظهر في الشاشة ليس الملف كله
يمكن لخيار skip_special_tokens في فك الترميز أن يتجاوز الرموز الخاصة المسجلة عند تحويل الناتج إلى نص. هذا سلوك عرض موثق في المكتبة، ولا يثبت أن كل واجهة تستخدمه بالطريقة نفسها. [2]
قد يعرض سجل تقني علامة نهاية بينما تخفيها نسخة النص المنسوخة للمستخدم. لا تستنتج من هذا الفرق حذف الرسالة أو تغيير معناها تلقائيا. حدد أولا ما تقارنه: معرفات الرموز، أم النص بعد التحويل، أم لقطة واجهة. لكل منها مستوى مختلف من التفاصيل، وقد تكون العلامات جزءا من التنسيق الذي لا يحتاجه القارئ.
قدّم الدور عبر الطريقة الموثقة
إذا كنت تنشئ محادثة ببرنامج، عيّن دور الرسالة باستخدام الحقول التي توثقها الأداة. وفي واجهة جاهزة، اكتب المحتوى المطلوب في الموضع المخصص. لا تعتبر إدخال نص مثل «علامة مساعد» داخل السؤال بديلا موثوقا عن إعداد الرسالة.
لنفترض أنك تريد أن يكمل المساعد عنوانا بدأته. اطلب ذلك باللغة العادية، أو استخدم آلية الإكمال الموثقة إذا كنت مطورا. لا تضف علامات من مثال على الإنترنت إلى الطلب دون معرفة المعالج الذي يقرأها. ولتشخيص مشكلة تنسيق، احتفظ بنوع النموذج وطريقة تجهيز الإدخال؛ تحسين صياغة السؤال وحده قد لا يعالج قالبا غير مناسب.
المصادر ومتابعة القراءة
- Hugging Face: Chat templates — control tokens (يفتح في نافذة جديدة)huggingface.co
- Hugging Face: Tokenizer — special tokens (يفتح في نافذة جديدة)huggingface.co
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.
