تطبيع العربية للبحث: احفظ النص الأصلي إلى جانب مفاتيح المطابقة

الخلاصة السريعة

افصل نسخة البحث المعالجة عن النص الأصلي الذي تعرضه وتستشهد به؛ افحص قواعد المحلل، ولا تحول التشابه بعد التطبيع إلى حكم على المعنى أو الهوية.

• قواعد Lucene المذكورة تشمل همزة الألف والتاء المربوطة والحركات والتطويل؛ لا تفترض أن كل محلل عربي يطبقها نفسها. ^[1]
• في مثالنا، تقريب أبيض وابيض في نسخة البحث لا يبرر تغيير عنوان البطاقة الأصلي أو وصف التحويل بأنه تصحيح مثبت.
• التطبيع مرحلة تختلف عن التجذير؛ تعرض وثائق Elasticsearch المرحلتين في سلسلة محللها العربي، فلا تخلط دورهما. ^[2]
• راجع النتائج ومعرفات السجلات؛ تقارب أسماء بعد المعالجة لا يثبت أنها جهة واحدة أو يحول كلمتين مختلفتي المعنى إلى مترادفين.

ما الذي تفعله القواعد بالحروف؟

المكون المذكور يحول أيضا الألف المقصورة إلى ياء، إلى جانب همزة الألف والتاء المربوطة وإزالة الحركات والتطويل. ^[1] نحتاج معرفة قائمة التحويلات الفعلية قبل تفسير مطابقة. لا نسمي معالجة الهمزة قاعدة تجمع كل أشكالها على كل الحروف، لأن الوصف الذي قرأناه يحدد الألف.

نصنع بطاقة عنوانها «ورق أبيض»، ونفترض نسخة بحث تطبق تحويل همزة الألف في القاعدة المذكورة. قد تساعد هذه النسخة في مقارنة أبيض مع كتابة ابيض. المثال يشرح أثر تحويل محدد، ولا يتضمن اختبار فهرس أو ضمان إرجاع البطاقة في أي خدمة عربية.

هل تعرض شكل البحث باعتباره الأصل؟

في ترتيب مقترح، نحفظ العنوان الأصلي في موضع العرض، ونعرف أن صورة المقارنة نتجت من معالجة معلنة. إذا اقتبس المساعد البطاقة، يكتب «ورق أبيض» من الأصل، ولا يقول إن صاحبها كتب ابيض لمجرد أنه وجد تلك الصورة في مسار البحث.

وينطبق الفرق على بطاقة خيالية باسم «ماسة». تحويل التاء المربوطة إلى هاء قد ينتج ماسه وفق القاعدة المحددة، لكنه لا يقرر كيف ينبغي كتابة اسم الجهة في رسالة. لا نستخدم نتيجة التحويل لتصحيح الاسم التجاري أو تغيير سجل المصدر دون معرفة الإملاء الذي اعتمده صاحبه.

هل التطبيع هو التجذير؟

تعرض وثائق Elasticsearch في مثال محلل arabic مرشح arabic_normalization ثم مرحلة arabic_stemmer، مع مراحل أخرى. ^[2] وجودهما منفصلين يساعد على فهم أن تبديل صور حروف لا يساوي كل ما يفعله المحلل أو اختزال الصيغ في مرحلة التجذير.

عند دراسة إعداد فعلي، نسجل المرحلة التي سببت الفرق ونفحص ناتج السلسلة، لا نرد كل تغيير إلى التطبيع. قد يتغير مصطلح لأسباب أخرى أو تحذف كلمة في مرحلة مختلفة. لم نجرب هذه السلسلة هنا، ولا نقترح أن تعطيل مرحلة واحدة يحفظ جميع حروف النص دون فحص بقية الإعداد.

هل اسم متقارب يعني السجل نفسه؟

نضع سجلين خياليين مكتوبين «هدى» و«هدي» ولهما معرفان مختلفان. إذا قربت قاعدة الألف المقصورة صورتي البحث، لا نجمع السجلين تلقائيا؛ ربما يشيران إلى جهتين مختلفتين، وربما توجد سياسة أخرى تحتاج إلى دليل. يحافظ المعرف والوصف الأصلي على ما نحتاجه للمراجعة.

وبالمثل، لا يحول تطبيع حروف الورق إلى بحث عن مرادف له؛ هذا سؤال معنى مختلف. نقترح مراجعة حالات يوسع فيها التحويل المطابقة وحالات يسبب فيها التباسا على البيانات المسموحة. سجل ما ظهر فعلا عند الاختبار، وأبق الأصل مرجعا للاقتباس والهوية، بدلا من تحويل مفتاح بحث مساعد إلى مصدر جديد.