اقتطاع مدخل إعادة الترتيب قد يترك جزءا من الفقرة خارج التقييم، إذا كان مسار الأداة معدا للاقتطاع. يصف Cross-Encoder تقييم أزواج نصوص مثل السؤال والمرشح. [2] وتشرح وثيقة Hugging Face خيارات تقصير زوج المدخلات؛ وجود مستند محفوظ كاملا لا يثبت دخوله كاملا إلى هذه المرحلة. [1]
الخلاصة السريعة
تحقق من سياسة تجهيز زوج السؤال والفقرة وما وصل فعلا إلى المقيم؛ لا تنسب إليه قراءة شرط حذفه التجهيز.
- حدد هل يطبق المسار اقتطاعا فعلا؛ واجهة Hugging Face المذكورة لا تقتطع افتراضيا عند False، وهذا لا يثبت إعداد أي خدمة إعادة ترتيب. [1]
- إذا اقتطع نص الفقرة الثاني، فقد يغيب استثناء آخرها في المثال؛ العدد يحسب بوحدات التقسيم لا بكلمات نفترضها.
- only_second يقصر النص الثاني، بينما longest_first يحذف من الأطول في الزوج؛ قد يتأثر السؤال أيضا بحسب طوله. [1]
- افحص الحد والنص الواصل؛ الحشو لا يعيد مادة حذفت، وإذا لم يحدد النموذج حدا أقصى فلا نفترض اقتطاعا آليا. [1]
أين يبدأ الفرق بين الملف والمدخل؟
نفترض أننا نستخدم زوجا من سؤال ومرشح لتقييم الصلة. تسأل المعلمة «هل يحتاج نشاط تركيب الحامل إلى أدوات إضافية؟»، وتحتفظ بطاقة المصدر بوصف طويل، ثم استثناء في آخرها يخص نسخة الحامل المصغرة. نحتاج معرفة ما تلقاه المقيم، لا الاكتفاء برؤية النص كله في الملف الأصلي.
المسار المفترض هنا يستعمل السؤال أولا والفقرة ثانيا، مع سياسة اقتطاع مفعلة على النص الثاني. هذا اختيار أعلنّاه للمثال؛ لم نستدع نموذجا ولم نفحص إعداد منصة تجارية. قد تستخدم أداة أخرى تقسيما أو سياسة مختلفة، فلا نحكم عليها من اسم «إعادة ترتيب» وحده.
ماذا يفقد الاقتطاع في مثالنا؟
نعرض على الورق بداية البطاقة: «النسخة المعتادة تتطلب أداة تثبيت إضافية»، ونضع في آخرها «النسخة المصغرة تتضمن قطعة التثبيت ولا تحتاج تلك الأداة». نفترض أن إعداد التجهيز أبقى البداية وأسقط النهاية، فيصبح الاستثناء غائبا عن الزوج المقيم.
لم نحسب عدد كلمات يمثل حدا حقيقيا، ولم نعلن درجة أو ترتيب مرشح. نرسم فقط الفرق بين النص الأصلي والنص المفترض الواصل. نتيجة تقييم الجزء الباقي لا تثبت أن المقيم فحص كل النسخ أو قرأ الاستثناء، حتى إذا ظلت البطاقة كاملة متاحة للقراءة لاحقا.
أي نص من الزوج يقصر؟
توضح وثيقة فرع main أن only_second يقصر الثاني في زوج مدخلات، وlongest_first يحذف وحدة تلو الأخرى من الأطول حتى الحد المحدد. [1] الوصف يخص واجهة التقسيم هذه؛ لا يحدد عدد الكلمات العربية التي يقرأها منتج بعينه.
إذا طال سؤالنا نفسه، فلا نكتفي بقول «الفقرة هي التي تقصر دائما» عند استعمال سياسة الأطول. نقترح فحص السؤال والفقرة بعد التجهيز، والاحتفاظ بطلب المستخدم كاملا عند مراجعة المعنى. ثم نراجع هل المقطع الذي نعرضه في الجواب يخص نسخة الحامل المطلوبة.
ما الذي تفحصه قبل الاعتماد على الترتيب؟
يفصل المصدر بين الاقتطاع الذي يحذف وحدات والحشو الذي يضيف وحدات خاصة لتوحيد الطول؛ وقد يتعطل الاقتطاع إلى أقصى طول إذا لم يكن للنموذج حد محدد. [1] لا نحل فقد الاستثناء بتشغيل الحشو ولا نفترض قصا في كل مسار.
نقترح توثيق سياسة التجهيز والحد وما بقي من كل نص، ثم إعادة النظر في تقسيم المرشح إذا فصل شرطا لازما. لا تمنح رتبة عالية جواب «لا أدوات إضافية» أو عكسه دون قراءة النسخة وشروطها. المثال يبين احتمال نقص مدخل معلن، ولا يثبت أن نموذجا أخطأ أو أن طريقة واحدة تصلح لكل مستند.
المصادر ومتابعة القراءة
- Hugging Face Transformers: Padding and truncation (يفتح في نافذة جديدة)huggingface.co
- Sentence Transformers: Cross-Encoder Usage (يفتح في نافذة جديدة)sbert.net
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.
