أفكار وأدوات رقمية بلغة مفهومة.
1201 مقال
التضمين النصي يحول النص إلى قائمة أرقام تستخدم في البحث والمقارنة. في تكامل Azure AI Search، ينص التوثيق على استعمال نموذج التضمين نفسه للمحتوى عند الفهرسة وللسؤال عند البحث. [1] نركز هنا على توافق الطرفين؛ تطابق عدد الأرقام وحده لا يبين أنها تحمل المعنى نفسه.
تشابه المتجهات والنفي يطرحان سؤالين مختلفين: هل النصان قريبان، وهل يتفقان في الادعاء؟ يناقش ملخص بحث SNCSE مبالغة نماذج من الفئة التي يدرسها في تشابه نصوص متقاربة لفظيا، ويستعمل نفي الجملة في منهجه. [1] لا نستنتج من ذلك أن كل نموذج يهمل النفي، لكننا نراجعه عندما يغير المطلوب.
بحث سؤال مشابه أم فقرة تجيبه؟ يميز توثيق Sentence Transformers بين بحث متماثل عن نصوص متقاربة الدور والمحتوى، وبحث غير متماثل عن فقرة تجيب عن سؤال قصير. [1] اختيار المادة المناسبة يبدأ بتحديد ما تريد أن تعيده النتائج، لا بطول كلمات السؤال وحده.
البحث الهجين يدمج نتائج البحث النصي والمتجهي في قائمة واحدة في Azure AI Search. [1] لكن ترتيب النتائج لا يعادل في مثالنا إثبات تحقق شروط اختيار العنصر.
دمج قوائم البحث باستخدام RRF يعتمد على موضع الوثيقة في كل قائمة، ثم يجمع مساهماتها ليصنع ترتيبا جديدا. يوضح توثيق Microsoft اختلاف نطاقات الدرجات الأصلية بين طرق البحث. [1] لهذا لا نجمع أرقاما خاما من مسارين على أنها مقياس واحد لمجرد أنها أرقام.
تصفية نتائج الاسترجاع تحتاج إلى تحديد وقت تطبيق الشرط، إضافة إلى صياغته. يوضح Azure AI Search أن preFilter يختار النتائج من المرشحين المطابقين، بينما postFilter يرشح أقرب النتائج داخل كل جزء من الفهرس ثم يجمعها؛ وقد تفوته مطابقات. [1] نفهم أثر الترتيب بمثال مكتوب، دون تشغيل خدمة بحث أو افتراض أن كل نظام ينفذ التصفية بالطريقة نفسها.
أعلى نتائج الاسترجاع تحدد حجم قائمة يقرأها المساعد، لكن امتلاءها لا يثبت أنها تكفي للإجابة. في الحالة المتجهية الأساسية التي يصفها Azure AI Search، يحدد k عدد النتائج، ويحد حجم الفهرس العدد الممكن؛ وقد تعود نتائج ضعيفة الصلة رغم اكتمال العدد. [1] نستخدم ثلاث بطاقات خيالية لنفصل سؤال «كم نتيجة؟» عن سؤال «ما الدليل الذي وصل؟».
البحث عن رمز منتج يحتاج إلى معرفة كيف يعالج الفهرس حروف الرمز وعلاماته. تعرض وثائق Azure AI Search محلل keyword الذي يحفظ الحقل في رمز واحد، ومحللا مخصصا يمكنه إضافة تحويل الأحرف إلى الصغيرة؛ بينما توضح أمثلة التحليل العادي تقسيم رموز تتضمن شرطات. [1] نراجع بطاقة خيالية دون وصف بحث فعلي أو اعتماد إعداد موحد لكل كتالوج.
ربط الأسماء المشتركة يختار السجل الذي يشير إليه الاسم داخل سياق محدد. توضح وثائق spaCy أن EntityLinker يربط الأسماء الموسومة بمعرفات فريدة من قاعدة معرفة، اعتمادا على مرشحين وسياق محلي ونموذج للاختيار. [1] نستخدم ورشتين خياليتين تحملان الاسم نفسه لنوضح المعلومات التي ينبغي حفظها، دون الادعاء باختبار مكون عربي جاهز.
البحث بعبارة مقتبسة يضيف شرط تجاور الكلمات وترتيبها في الصيغة التي يدعمها محرك البحث. في محلل Azure AI Search البسيط، تحصر علامتا الاقتباس العبارة، لكن التحليل اللغوي يبقى مطبقا؛ ووجود جميع الكلمات وحده لا يفرض ترتيب العبارة. [1] نوضح الفرق ببطاقات أصيلة، مع بقاء طريقة كتابة الاستعلام مرتبطة بالخدمة وإعدادها.
تنوع المقاطع المسترجعة يهدف إلى تقليل تكرار المحتوى المختار مع مراعاة صلته بالسؤال. تصف وثائق LangChain اختيار MMR بأنه يوازن تشابه المقاطع مع الاستعلام والتنوع بينها، وتفصل عدد المرشحين fetch_k عن عدد النتائج k. [1] نشرح غرض الاختيار بمثال من إعدادنا، دون حساب درجات أو الادعاء بتنفيذ الخوارزمية.
الأرقام والتواريخ في الاسترجاع تحتاج إلى فحص شروطها، إضافة إلى البحث عن نص قريب من السؤال. يدعم Azure AI Search مقارنات نطاق على حقول ذات أنواع متوافقة؛ ويختلف «أقل من» عن «أقل من أو يساوي». [1] نراجع حدود مدة وتاريخ في بطاقات خيالية، دون الادعاء أن ترتيب التشابه وحده نفذ المقارنة أو أنشأنا استعلاما فعليا.
تطبيع العربية للبحث يغير بعض صور الحروف لتقريب المطابقة وفقا لقواعد معلنة. يبين كود ArabicNormalizer في Apache Lucene تحويل همزة الألف إلى ألف مجردة، والتاء المربوطة إلى هاء، وإزالة الحركات والتطويل ضمن قواعده. [1] هذه معالجة لمصطلح البحث في مكون محدد؛ لا تجعل الشكل الناتج الكتابة الصحيحة الوحيدة، ولا تثبت تطابق هوية الأسماء.
البحث التقريبي في الكلمات يساعد على البحث رغم بعض الأخطاء الكتابية، لكنه يقارن تركيب المصطلحات ولا يثبت أنها تعني الشيء نفسه. تصف وثائق Azure AI Search توسعا يعتمد على مسافة التحرير، وقد يشمل كلمات مختلفة المعنى. [1] سنفحص حروفا عربية يدويا لفهم حدود الفكرة، دون تشغيل محرك أو إعلان نتيجة بحث فعلية.
الأسماء البديلة بين العربية والإنجليزية قد تساعد المساعد في الوصول إلى السجل المقصود دون إنشاء سجل لكل كتابة. توضح صفحة مساعدة Wikidata أن البدائل أسماء يمكن البحث بها، وترتبط بلغات محددة، وقد تشترك سجلات في اسم بديل. الصفحة تعرض نفسها كإرشاد مقترح. [1] نطبق الفكرة في دليل تخيلي بأسماء أكدها صاحبه، دون تعديل Wikidata.
أعداد فئات البحث تصف توزيع مجموعة النتائج، لكنها لا تجمع دائما إلى عدد الوثائق. يوضح Azure AI Search أن الفئات تتبع الاستعلام الحالي، وأن الوثيقة نفسها قد تظهر في أكثر من فئة. [1] نعد أربع بطاقات يدويا لنفهم ذلك قبل أن يحول المساعد الأرقام إلى وصف للمجموعة.
اقتطاع مدخل إعادة الترتيب قد يترك جزءا من الفقرة خارج التقييم، إذا كان مسار الأداة معدا للاقتطاع. يصف Cross-Encoder تقييم أزواج نصوص مثل السؤال والمرشح. [2] وتشرح وثيقة Hugging Face خيارات تقصير زوج المدخلات؛ وجود مستند محفوظ كاملا لا يثبت دخوله كاملا إلى هذه المرحلة. [1]
ترميز نصوص البحث مسبقا ممكن في المسار الذي ينتج تمثيلا مستقلا لكل نص. تشرح ورقة Sentence-BERT تمثيلات يمكن مقارنتها لاحقا، مقابل تمرير النصين معا في تقييم الزوج. [1] لذلك نميز بين تجهيز الفقرات وبين مقارنتها بسؤال جديد، دون تعميم نتائج زمن الورقة على كل خدمة.
