ثقافة ولغة

تلازم الكلمات وPMI: لماذا قد يتقدم زوج نادر في الترتيب؟

شبكة R01 إلى R20 تعرض الأزواج العشرين كاملة؛ ست بطاقات باب مفتوح وبطاقة ضوء خافت موصولة بأعداد هامشيهما.
كل بطاقة مشاهدة مستقلة، حتى عندما يتكرر نصها. اللون الأزرق يحدد البطاقات الست الأولى، والأخضر يحدد R18 وحدها.
بحر العلوم · اللغة والقراءة

تقارن PMI اجتماع الكلمتين بهامشيهما، لا بعدد ظهورهما وحده؛ لذلك قد يتقدم زوج نادر في الدرجة. [2]

في ورقتنا يحصل «ضوء خافت» على نحو 4.322 مع ظهوره مرة واحدة، بينما يحصل «باب مفتوح» على صفر بعد ست مرات. سنحسب النتيجتين من جميع السجلات، ثم نطبق شرطًا معلنًا على المرشحين.

الخلاصة السريعة

  • لدينا 20 مشاهدة زوجية، وإن كانت تحتوي 40 كلمة؛ نستخدم N=20.
  • باب مفتوح: التكرار 6 ، والهامشان 10 و 12 ، والنسبة داخل اللوغاريتم 1.
  • ضوء خافت: التكرار 1 والهامشان 1 و 1 ؛ النسبة 20 والدرجة نحو 4.322.
  • شرط التكرار 2 يبقي ثلاثة أزواج، مع بقاء مجموعنا وهوامشنا الأصلية.

السجلات العشرون كاملة

كل سجل زوج مستقل؛ لا نصنع زوجا يعبر حد سجلين. [2]

  1. R01 · باب مفتوح
  2. R02 · باب مفتوح
  3. R03 · باب مفتوح
  4. R04 · باب مفتوح
  5. R05 · باب مفتوح
  6. R06 · باب مفتوح
  7. R07 · باب مغلق
  8. R08 · باب مغلق
  9. R09 · باب مغلق
  10. R10 · باب مغلق
  11. R11 · شباك مفتوح
  12. R12 · شباك مفتوح
  13. R13 · شباك مفتوح
  14. R14 · شباك مفتوح
  15. R15 · شباك مفتوح
  16. R16 · شباك مفتوح
  17. R17 · شباك مغلق
  18. R18 · ضوء خافت
  19. R19 · مقعد خشبي
  20. R20 · مطر هادئ

لا نصل «مفتوح» في نهاية البطاقة الأولى بـ«باب» في التالية. ولا نختزل البطاقات الست المتشابهة إلى مشاهدة واحدة: لدينا عشرون سجلًا فعلًا، وسبعة نصوص مختلفة للأزواج. لا توجد كلمات مخفية قبل السجلات أو بعدها في حسابنا.

احسب الهامشين

في بطاقاتنا، ظهر «باب» أولًا عشر مرات، لكن «مفتوح» ثانيًا اثنتي عشرة مرة. الرقم الثاني يشمل ما يأتي بعد «شباك» أيضًا. هذه القائمتان كاملتان:

الكلمة الأولىعددهاالكلمة الثانيةعددها
باب10مفتوح12
شباك7مغلق5
ضوء1خافت1
مقعد1خشبي1
مطر1هادئ1

كل عمود عد يجمع إلى 20. ولتدقيق الزوجين المختارين، نصنف السجلات إلى أربع خانات. كلمة «لا» تعني أن الكلمة الأولى مختلفة، لا أن السجل منفي لغويًا.

باب في الأولمفتوح في الثانيغير مفتوحالمجموع
نعم6410
لا6410
المجموع12820
ضوء في الأولخافت في الثانيغير خافتالمجموع
نعم101
لا01919
المجموع11920

خانة 6 في أعلى الجدول الأول تجمع البطاقات من R01 إلى R06. وخانة 19 في أسفل الثاني تجمع كل البطاقات عدا R18. مجموع كل جدول 20 ؛ الصفران فيه لا يمحوان تلك السجلات.

قارن الدرجتين

في الصيغة، n عدد الزوج، وN مجموع الأزواج، وL عدد الكلمة في الموضع الأول، وR عددها في الثاني. [2]

PMI = log2(n × N / (L × R)) [2]

باب مفتوح: 6 × 20 / (10 × 12) = 1، ثم log2(1) = 0. ضوء خافت: 1 × 20 / (1 × 1) = 20، ثم log2(20) ≈ 4.322. الأعداد محسوبة من الهامشين السابقين، وليست ترتيبًا مبنيًا على التخمين.

الزوجتكرارهPMI تقريبًا
باب مفتوح60.000
باب مغلق40.678
شباك مفتوح60.515
شباك مغلق1-0.807
ضوء خافت14.322
مقعد خشبي14.322
مطر هادئ14.322
باب مفتوح يتقدم بالتكرار النسبي 0.30 مقابل 0.05 ، لكن ضوء خافت يتقدم بدرجة 4.322 مقابل 0 ؛ ويستبعده شرط تكرار 2.
اللوحة العليا للتكرار النسبي، والسفلى لدرجة PMI. أطوال الأعمدة لا تقارن بين اللوحتين؛ لكل منهما تدريج مختلف.

الصفر هنا يخص النسبة 1 ؛ لا يعني أن «باب مفتوح» لم يظهر. إنه حاضر في ست بطاقات، أي 30% من مشاهداتنا، مقابل 5% للزوج الآخر. وتتساوى الأزواج الثلاثة ذات الظهور الواحد في الدرجة هنا لأن هامشي كل منها يساويان 1 ، لا لمجرد أننا وصفناها بالنادرة.

طبق شرط التكرار

تلفت الوثيقة إلى ندرة بعض الأزواج عالية الدرجة وإمكان ترشيح التكرارات القليلة. [1]

اخترنا لهذه الورقة إبقاء ما تكرر مرتين على الأقل. الناتج كاملًا، مرتبًا بحسب الدرجة: «باب مغلق»0.678 ، ثم «شباك مفتوح»0.515 ، ثم «باب مفتوح»0.000. استبعدنا شباك مغلق وضوء خافت ومقعد خشبي ومطر هادئ لأن كلًا منها ظهر مرة واحدة.

هذا ترشيح لقائمة المرشحين؛ لم نحذف السجلات من أساس حسابنا. ما زال N يساوي 20 ، وهامشا باب ومفتوح 10 و 12 ، فتظل درجتهما صفرًا. إعادة بناء الهوامش من المرشحين الثلاثة وحدهم ستجيب عن حساب آخر، لذلك لا نجريها بصمت. [2]

الأعداد مصطنعة ولا تقيس شيوع العبارة أو جودتها في العربية. [1]

تقريرنا النهائي يجمع العد والدرجة والشرط: الزوج الأكثر تكرارًا ليس بالضرورة الأعلى درجة في هذه الورقة، والمرشح المرتفع قد يخرج بقاعدة التكرار. احتفظ بالسجلات والهامشين مع النتيجة كي يستطيع قارئ آخر إعادة حسابها.

المراجع

  1. NLTK — Collocations
  2. NLTK — Association source

أُعدّ هذا المقال بمساعدة الذكاء الاصطناعي وراجعته أدوات ذكاء اصطناعي. لا يُنسب إلى مراجع بشري أو خبير مستقل. منهجية المحتوى.