النصوص المتشابهة دلاليا قد تظهر في قائمة أزواج تحتاج إلى قراءة. تشرح وثائق Sentence Transformers أن paraphrase_mining يعيد أزواج نصوص عالية التشابه، مع درجة ومعرفي النصين. [1] لا تثبت هذه القائمة وحدها أن إعلانين نسخة واحدة أو أن حذف أحدهما يحفظ كل معلومات الدليل.
الخلاصة السريعة
افتح نصي كل زوج وافحص هويتهما وشروطهما قبل قرار التكرار؛ درجة التشابه ترشح للمراجعة ولا تتخذ القرار نيابة عنك.
- تعيد الطريقة الموصوفة أزواجا ذات درجات ومعرفين؛ لا نحول زوجا متشابها إلى وثيقة واحدة مؤكدة بمجرد الدرجة. [1]
- في مثالنا تختلف عبارتان عن نشاط واحد في الصياغة، بينما عبارة ثالثة شبيهة تخص لقاء يوم آخر؛ نفحص التاريخ والهوية لا الألفاظ فقط.
- قرر ما يعد تكرارا في الدليل، واحفظ الفروق اللازمة؛ حتى زوجان أ وب ثم ب وج لا يثبتان أن الثلاث نسخة واحدة.
- راجع نطاق المرشحين؛ حدود top_k وmax_pairs في الطريقة المذكورة تقيد ما يعاد، فغياب زوج لا يثبت اختلاف النصين. [1]
ماذا خرج من المقارنة فعلا؟
تصف الوثيقة إرجاع ثلاثيات تحتوي درجة ومعرفي النصين، مع اختيار أزواج عالية التشابه وفق النموذج والمقياس المستعمل. [1] نستخدم هذا ليحدد المراجع النصين اللذين عليه قراءتهما، ولا نعرض الدرجة بوصفها قرار حذف جاهزا.
نفترض دليلا يضم إعلانات قصيرة لنشاط قراءة. قبل فحص أي مرشحين، نحتفظ بالنصوص ومعرفاتها ولا نبدلها كلها بملخص. المثال التالي مكتوب يدويا؛ لم نحسب تمثيلات أو نحدد عتبة تشابه أو نزعم أن أداة أخرجت الأزواج التي سنناقشها.
أي فرق صغير يغير معنى الإعلان؟
نكتب الإعلان أ: «لقاء تبادل القصص مساء الثلاثاء 8». ونكتب ب: «مساء الثلاثاء 8 نتبادل القصص في اللقاء». بحسب سجل المثال، هما صياغتان للقاء نفسه. أما ج فيقول «لقاء تبادل القصص مساء الأربعاء 9»، وسجله يخص لقاء آخر.
قد تجعل الصياغة المشتركة المراجع راغبا في فحص أ مع ج أيضا، لكن اليوم والتاريخ والهوية يمنعانه من اعتبارهما الإعلان نفسه. نعلن رابط أ وب في سجلنا ولا نستنتجه من الدرجة وحدها. وإذا كان التاريخ مختلفا لأن أحدهما تعديل للقاء ذاته، نحتاج دليل التعديل قبل تفسير الفرق كحدثين.
هل زوجان يصنعان مجموعة مكررة؟
لو احتوت قائمة مفترضة على أ مع ب، وب مع ج، فلا نجمع الثلاث تلقائيا تحت إعلان واحد. نراجع كل علاقة وشروطها وفق تعريف التكرار الذي اخترناه. تشابه أجزاء كثيرة لا يلغي اختلافا مهما، وعلاقة المرشح بالمراجعة لا تتحول إلى سلسلة قرارات حذف.
نقترح في الدليل الفصل بين إعادة صياغة الإعلان نفسه، ونسخة معدلة منه، وإعلان لنشاط آخر. يقرر المسؤول ما يحتفظ به للعرض مع حفظ سجل الفروق. هذه قواعد تحريرية لمثالنا، وليست معاني تستخرجها الدالة تلقائيا من حقل درجة التشابه.
ماذا يعني أن زوجا لم يظهر؟
تقيد الطريقة عدد المرشحين لكل نص وحد عدد الأزواج المعادة؛ لذلك لا تمثل القائمة بالضرورة جميع العلاقات الممكنة. [1] غياب أ مع ج لا يثبت بعد معناهما، مثلما لا يثبت ظهورهما تطابق هوية الإعلان.
نقترح تسجيل النموذج والإعداد ونطاق النصوص عندما تجري مراجعة فعلية، ثم الاحتفاظ بقرار المراجع وسببه. إذا اكتشف تاريخا ناقصا يبقي الحالة معلقة حتى يتضح. لا نجعل قلة المرشحين شهادة أن الدليل خال من إعادة الصياغة، ولا نجعل كثرتهم مبررا لإزالة معلومات يحتاجها القارئ.
المصادر ومتابعة القراءة
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.