تقسيم النص إلى جمل: هل كل سطر جملة مستقلة؟

الخلاصة السريعة

راجع الجمل في النص وقاعدة المكون المستخدم؛ فاصل السطر وحده لا يحدد جملة، وعد العناصر الناتجة لا يثبت أن حدودها توافق المهمة.

• يعرض spaCy مكون Sentencizer لقواعد حدود الجملة وقائمة علامات نهاية قابلة للتخصيص؛ يختلف عن افتراض أن كل سطر حد تلقائي. ^[1]
• في نصنا الأول تمتد الجملة الأولى إلى السطر التالي، الذي يضم أيضا جملة ثانية؛ السطر الأول وحده يترك الفعل دون تتمته المقصودة.
• سطرنا الثاني المستقل يحتوي جملتين كاملتين؛ تغيير عرض الشاشة لا يحولهما إلى جملة واحدة، ولا يجعل كل التفاف سطر فاصلا مخزنا.
• افحص إعداد العلامات والحدود المحسوبة والنص المرسل؛ المكون المذكور لا يحتاج نموذجا إحصائيا، ولا نفترض دقة عربية أو نتيجة تشغيل من المثال. ^[1]

أين يحفظ المكون الحدود؟

تصف وثائق spaCy مكون Sentencizer كاستراتيجية قواعد لا تتطلب تحميل نموذج إحصائي، مع punct_chars قابل للتخصيص. تحفظ بداية الجملة في Token.is_sent_start وتتاح الجمل عبر Doc.sents. ^[1]

هذا وصف مكون معين، وليس حكما بأن كل مساعد يستعمله أو أن قاعدة واحدة تفهم كل نص. قد تكون مهمة التطبيق معالجة أسطر قائمة، وهذه وحدة مشروعة إذا سميت كذلك؛ المشكلة أن نبدل اسم الوحدة إلى جملة دون مراجعة ما فصلناه فعلا.

متى تتجاوز الجملة فاصل السطر؟

نضع نصا خياليا في سطرين مخزنين: الأول «أعدت سلمى الورقة»، والثاني «ثم ثبتتها. انتهى العمل». في قراءة تمريننا تتصل «ثم ثبتتها» بالفعل السابق، فتكون الجملة الأولى «أعدت سلمى الورقة ثم ثبتتها»، وتبدأ جملة أخرى «انتهى العمل».

إذا مررنا السطر الأول وحده في طلب يشرح العمل كاملا، فلن يحتوي فعل التثبيت. وإذا مررنا السطر الثاني بوصفه جملة واحدة، جمعنا التتمة والخبر التالي. لم نختبر المكون على هذا النص؛ نعلن وحداته المقصودة يدويا حتى نقارنها بأي ناتج فعلي عند توفره.

ومتى يجمع السطر أكثر من جملة؟

نص مستقل في سطر واحد: «فتحت هدى الدفتر. كتبت العنوان». نريد في التمرين وحدتين، لا عنصرا واحدا لأن السطر واحد. وإذا ضاقت نافذة العرض والتف السطر بين الدفتر وكتبت، فقد تغير موضع العرض دون إضافة فاصل مخزن إلى المادة.

لا نستنتج عدد الجمل من عدد الأسطر الظاهرة في لقطة شاشة. نحتاج النص الذي يعالجه المسار، مع معرفة هل الحديث عن فواصل محفوظة أم التفاف عرض. وكذلك لا نقرر أن كل نقطة نهاية جملة في كل سياق؛ قد تستعمل العلامة ضمن اختصار أو قيمة بحسب النص وقواعد المهمة.

كيف نراجع التقسيم قبل متابعة العمل؟

حدد الحدود المتوقعة في عينة مسموحة، ثم افحص الحدود التي حسبها المكون فعلا إن شغلته. احتفظ بقائمة العلامات والإعداد المطبق؛ مجرد ذكر اسم المكون لا يثبت أن التطبيق أضافه أو استعمل القائمة التي قصدتها.

إذا كان المطلوب تلخيص جملة مستقلة، تأكد أن العنصر الذي أرسلته يتضمن كامل الوحدة المقصودة. نجاح عد عنصرين لا يكفي: قد يكون الأول نصف جملة والثاني جملتين. الأمثلة هنا قراءة يدوية، ولا تتضمن تحميل نموذج أو قياس دقة عربية أو وعدا بأن تغيير إعداد العلامات يصلح كل حدود النص.