ثقافة ولغة

نسبة تنوع الكلمات: كيف تحسبها دون الخلط بين الظهور والصيغة؟

كلمات نص أ في24 خانة مرقمة؛ ليلى في أربع خانات والدفتر في ثلاث، والقاعة والدرس في خانتين لكل منهما.
نص أ بعد تطبيق اتفاقنا؛ تظل مواضع الكلمات المتكررة ظاهرة.

نعد مرات الظهور، ثم الصيغ المختلفة؛ النسبة هنا عدد الصيغ مقسوما على مرات الظهور. [1]

الخلاصة السريعة

  • في نصنا أ24 ظهورا و17 صيغة مختلفة؛ حسبنا النسبة17/24، أي نحو70.83%.
  • في نصنا ب24 ظهورا و21 صيغة؛ جاءت النسبة87.5%.
  • تكرار أ كاملا أعطانا48 ظهورا و17 صيغة؛ انخفض الناتج إلى نحو35.42%.
  • إبقاء فاصلة القاعة، في العد البديل رفع عدد صيغ أ إلى18؛ لم نخلط هذا البديل بالجدول الأول.

اتفاق العد قبل الأرقام

نفصل بالمسافات، ونحذف من طرفي كل قطعة العلامات ،.؛:!?؟ فقط؛ لا نوحد الإملاء ولا نفصل اللواصق ولا نحذف كلمات وظيفية. [1]

لا نطبق تجذيعا أو تحليلا صرفيا؛ نبقي الصيغ المكتوبة كما اتفقنا. [1]

كتبنا نصين قصيرين خصيصا لهذا التمرين. في أ تتحرك ليلى بين القاعة والحديقة، وفي ب تزور مريم المكتبة. الأسماء والمواقف من تأليفنا؛ لا نستخدم مقتطفا من كتاب ولا عينة من كتابة شخص نريد تقييمه. أعطينا النصين الحرفين أ وب لتسهيل الإشارة إلى الجداول.

مثال الاتفاق واضح في أ: صارت «القاعة،» عند الموضع3 «القاعة»، فطابقت الكلمة عند الموضع21. بقيت «وفتحت» قطعة واحدة في الموضع4؛ لم نصنع منها خانتين. وفي ب أبقينا «قصة» و«القصة» صيغتين، كما ستجد في سطرين منفصلين من جدولنا.

النصان كاملان وجدول الصيغ

النص أ كاملا:

دخلت ليلى القاعة، وفتحت ليلى الدفتر ثم كتبت ليلى عنوان الدرس على الدفتر وبعد الدرس أغلقت ليلى الدفتر وخرجت من القاعة بهدوء إلى الحديقة.

النص ب كاملا:

وصلت مريم المكتبة واختارت قصة ثم قرأت قصة أمام النافذة وسجلت سؤالا في ورقة وبعد القراءة أعادت مريم القصة إلى الرف وغادرت المكتبة بهدوء.

يمكنك تتبع أ في الصورة الأولى من اليمين إلى اليسار داخل كل صف، ثم الانتقال إلى الصف التالي. الأرقام من1 إلى24 تمنع اختفاء التكرار عند النظر إلى قائمة الصيغ وحدها. أعطينا الخانات التي تحمل الكلمة نفسها اللون نفسه، وأبقينا الكلمة مكتوبة حتى لا تحتاج إلى تمييز اللون.

في أ نجد ليلى أربع مرات، والدفتر ثلاثا، والقاعة والدرس مرتين لكل منهما. مجموع هذه الظهورات11. بقيت13 صيغة ظهرت مرة واحدة، فصار المجموع24 ظهورا؛ وعدد الصيغ4 متكررة و13 منفردة، أي17. تظهر القائمة كاملة في الجدول التالي.

جدول النص أ

الصيغةمرات الظهور
دخلت1
ليلى4
القاعة2
وفتحت1
الدفتر3
ثم1
كتبت1
عنوان1
الدرس2
على1
وبعد1
أغلقت1
وخرجت1
من1
بهدوء1
إلى1
الحديقة1

جدول النص ب

الصيغةمرات الظهور
وصلت1
مريم2
المكتبة2
واختارت1
قصة2
ثم1
قرأت1
أمام1
النافذة1
وسجلت1
سؤالا1
في1
ورقة1
وبعد1
القراءة1
أعادت1
القصة1
إلى1
الرف1
وغادرت1
بهدوء1

في ب تكررت مريم والمكتبة وقصة مرتين لكل منها؛ مجموعها6 ظهورات. ظهرت18 صيغة أخرى مرة واحدة، فصار لدينا24 ظهورا و21 صيغة. لاحظ أن سطر القصة ذو التعريف يحوي1 فقط، ولا يضاف إلى سطر قصة ذي العدد2.

نقسم17 على24 في أ فنحصل على0.708333 تقريبا، ونضربه في100 لعرض نحو70.83%. وفي ب نقسم21 على24 فنحصل على0.875، أي87.5%. فرق النتيجتين نحو16.67 نقطة مئوية في نصينا، مع تساوي عدد الظهورات الذي وضعناه في المقام.

تكرار أ ثم إعادة الحساب

نسخنا نص أ مرة ثانية مباشرة بعد النسخة الأولى، بفاصل مسافة واحدة. هذا هو المدخل الكامل للحساب الثالث:

دخلت ليلى القاعة، وفتحت ليلى الدفتر ثم كتبت ليلى عنوان الدرس على الدفتر وبعد الدرس أغلقت ليلى الدفتر وخرجت من القاعة بهدوء إلى الحديقة. دخلت ليلى القاعة، وفتحت ليلى الدفتر ثم كتبت ليلى عنوان الدرس على الدفتر وبعد الدرس أغلقت ليلى الدفتر وخرجت من القاعة بهدوء إلى الحديقة.

صار لدينا48 ظهورا. ظهرت ليلى8 مرات والدفتر6 والقاعة والدرس4 لكل منهما، وصارت كل واحدة من الصيغ الثلاث عشرة الباقية تظهر مرتين. مجموع8+6+4+4+26 يساوي48، بينما قائمة الأسماء السبعة عشر لم تكتسب اسما جديدا.

حسبنا17/48 فكان الناتج نحو35.42%. هو نصف نتيجة أ الأولى، رغم أن النسخة المضافة لا تحمل كلمة لم تكن موجودة. يضع الرسم الحالات الثلاث معا؛ مقام الحساب الثالث48، وليس24 كما في الحالتين الأوليين.

ثلاثة حسابات من نصوصنا: أ17/24، وب21/24، وأ المكرر17/48؛ أطوال الأشرطة تمثل النسب المحسوبة.
الحسابات الثلاثة من النصوص المعروضة؛ الأرقام فوق الأشرطة تتيح مراجعتها.

نتيجة محدودة بهذا التمرين

أجرينا مقارنة أخيرة على أ وحده: أبقينا الفاصلة في أول القاعة، وأزلنا نقطة الحديقة كما فعلنا أولا. صار للقاعتين سطران مختلفان في قائمة هذا البديل، وزاد العدد من17 إلى18. أعطى18/24 نسبة75%، بدلا من70.83% تقريبا. بقية النص لم تتغير؛ التغيير الوحيد في المقارنة هو قرار إبقاء تلك الفاصلة.

هذه النسبة لا تمنح حكما على جودة نصنا؛ تكرار أ يبين حد تفسيرها في المثال. [1]

احتفظ بالنصين والجدولين إلى جانب الأرقام الثلاثة عند مراجعة تمريننا. تستطيع إعادة جمع كل عمود، والعثور على كل كلمة في نصها، ثم تحديد الموضع الذي فصلناه في فحص الفاصلة. هذه هي حدود النتائج المعروضة؛ لم نجمع كتابات أخرى لليلى أو مريم، فهما شخصيتان في المثال الذي كتبناه.

المراجع

  1. NLTK book — Counting Vocabulary
    https://www.nltk.org/book/ch01.html
أُعد بمساعدة الذكاء الاصطناعي؛ مراجعة آلية دون اعتماد بشري أو مهني. تاريخ الإعداد13 أكتوبر2026.

أُعدّ هذا المقال بمساعدة الذكاء الاصطناعي وراجعته أدوات ذكاء اصطناعي. لا يُنسب إلى مراجع بشري أو خبير مستقل. منهجية المحتوى.