نوافذ مرمز النص: لأي مدخل تعود كل نافذة؟

الخلاصة السريعة

اربط كل نافذة بمدخلها الأصلي من خريطة الترميز، وافصل عدد النوافذ عن عدد النصوص. التداخل قد يكرر رموزًا من النص نفسه، وعدد النوافذ لا يحدد وحده عدد الإجابات أو طريقة جمعها.

• يعرض درس Hugging Face خريطة overflow_to_sample_mapping التي تربط كل نافذة بالمثال الأصلي الذي جاءت منه. ^[1]
• في خريطتنا المعلنة 0،0،0،1 توجد أربع نوافذ من نصين ممثلين؛ الأولى والثانية والثالثة تعود إلى المدخل نفسه.
• التداخل المعلن يعيد بعض وحدات النص بين النوافذ؛ لا تحسبها محتوى أصليًا جديدًا أو شواهد مستقلة.
• احتفظ بهوية المدخل وحدود النافذة، وراجع طريقة تجميع النتائج؛ عدد النوافذ لا يضمن تغطية طلب القارئ أو جوابًا صحيحًا.

اقرأ حقل المصدر

يبين درس إعداد الأسئلة أن المثال الواحد قد ينتج عدة نوافذ، وأن overflow_to_sample_mapping يربط كل واحدة بمثالها الأصلي. ^[1]

لنفرض أن إعدادنا استقبل بطاقتين معرفتين محليًا: المدخل 0 يشرح تجهيز صندوق، والمدخل 1 يشرح وضع ملصق عليه. الخريطة ليست أسماء ملفات جديدة. إنها إحالة إلى ترتيب المدخلات في الدفعة المعنية، ولذلك نحتفظ أيضًا بسجل يربط الرقم بهوية البطاقة.

أربع نوافذ من مدخلين

نفترض لأغراض القراءة فقط أن خريطة الناتج هي 0،0،0،1. معناها أن ثلاث نوافذ تنتمي إلى بطاقة التجهيز، ونافذة واحدة إلى بطاقة الملصق. عدد الصفوف أربعة، وعدد معرفات المدخلات الممثلة اثنان. هذا وصف لخريطة افترضناها، لا قياس نفذناه على مرمز.

لنجعل حدود بطاقة التجهيز أوضح: وحداتها الأصلية المعلنة من 1 إلى 8. نوافذها هي 1–4، ثم 3–6، ثم 5–8. الوحدة 3 تظهر في نافذتين، وكذلك الوحدة 5. لا نعيد تسميتهما وحدتين جديدتين لمجرد ظهور نسختين منهما. أرقام المثال محلية ولا تزعم عدد الرموز الفعلي لأي نص عربي.

ما أثر التداخل؟

تعرّف وثائق المرمز stride، مع إعدادات الطول وإرجاع التجاوز، بأنه عدد وحدات التداخل بين التسلسل المقتطع وتسلسلات التجاوز. ^[2]

في النوافذ التي افترضناها، تتداخل كل نافذتين متتاليتين بوحدتين. مجموع أطوال النوافذ الثلاث 12 موضعًا معروضًا، لكن بطاقة التجهيز تحوي 8 وحدات أصلية في المثال. لا يصلح جمع المواضع لإثبات أن البطاقة أصبحت أطول.

ولو احتوت المنطقة المشتركة عبارة عن أداة مطلوبة، فظهورها مرتين ليس تأكيدين مستقلين من وثيقتين. نراجع العبارة في موضعها من البطاقة الواحدة، مع أي شرط سبقها أو تلاها خارج حدود العرض الحالي.

كيف تستخدم النتائج؟

نقترح صفًا لكل نافذة يضم هوية البطاقة الأصلية وحدود نافذتها وما استخرج منها. إذا عرض مساعد جوابًا لكل نافذة، نضع قاعدة منفصلة لتجميع الأجوبة وإزالة تكرار المعنى، مع حفظ اختلاف الشروط؛ لا تستنتج هذه القاعدة من الخريطة وحدها.

وفي هذا المثال يمكن أن يقع شرط تجهيز الصندوق في النافذة الأولى، وأن تكمله خطوة في الثالثة. لا نعد نتيجة نافذة واحدة جوابًا عن البطاقة كاملة قبل المقارنة بالطلب. كما لا نفترض أن طولًا رقميًا يترك دائمًا المساحة نفسها للمحتوى مع رموز خاصة أو مدخل مزدوج؛ المثال شرح للربط لا وصف إعداد ترميز نفذناه.