أفكار وأدوات رقمية بلغة مفهومة.
1201 مقال
تقطيع الجداول يحتاج إلى حفظ معنى الخلية، لا رقمها فقط. في مثالنا، الرقم 10 قد يعني أوراقا في الرزمة، بينما الرقم 2 يعني عدد الرزم. إذا انفصلت القيم عن عنوان الصف والعمود، يصعب تفسيرها بأمان. نقترح حفظ العلاقات اللازمة للسؤال ومراجعتها في المادة التي وصلت إلى النموذج.
المقاطع الصغيرة للبحث والكبيرة للإجابة تصف تصميما يفصل بين المادة التي نبحث فيها والمادة التي نعيدها بعد العثور عليها. في مثالنا، جملة قصيرة تسمي حركة في لعبة، بينما يوضح القسم المحيط متى تطبق. نريد إبقاء العلاقة بين الجملة والقسم، دون افتراض أن كل توسيع يحسن الرد أو أن القسم كله يصل تلقائيا.
الاسترجاع متعدد المستندات قد يحتاج إلى جمع علاقة لا تظهر كاملة في وثيقة واحدة. في مثالنا، يسمي فهرس عملا معروضا، ويحدد سجل آخر قاعته، وتبين خريطة ثالثة طابق القاعة. نحتاج أن تنتمي الروابط إلى العمل والمكان نفسيهما، لا أن نجد ثلاث صفحات تذكر كلمات متشابهة.
المصادر المتعارضة في RAG تحتاج إلى وصف ما يختلف قبل صياغة جواب واحد. في مثالنا، يحدد دليل مسابقة ست كلمات لعنوان اللوحة، بينما تذكر صفحة أخرى ثماني كلمات. لا نصنع حدا من سبع كلمات بتوسيط الرقمين؛ نراجع هل يتحدث المصدران عن الشرط نفسه وما الذي يحسم النسخة المعتمدة.
السؤال خارج مجموعة الوثائق لا يحسم بمجرد أن يعيد البحث مقطعا قريبا من كلماته. في مثالنا، مجموعة تعليمات تصف صنع مجسم ورقي، ولا نملك معها إعلان موعد مسابقته. نريد معرفة ما تسمح به المواد المتاحة، مع التمييز بين دليل لم يصل ودليل لا يوجد في المجموعة التي راجعناها.
اكتمال الإحالات يعني مراجعة ما تسنده المراجع في أجزاء الجواب، لا عد الروابط بجواره. في مثالنا، جملة عن أرشيف افتراضي تجمع يوم الفتح ورسوم الدخول وتكرار جلسة تعريف. قد يدعم مصدران اليوم والدخول، ويبقى الجزء الأخير بلا سند. لا تجعل الإحالتين غطاء للجملة كلها.
الإجابة الاستخراجية والتوليدية تختلفان في شكل المهمة. قد نطلب اسما موجودا في النص، أو مجموعا يحتاج جمع عددين. في مثالنا، نص يصف صندوق بطاقات يتيح استخراج اسم صاحبته، لكنه لا يكتب المجموع المطلوب. نحدد نوع الناتج الذي نحتاجه قبل أن نعد أي نص منسوخ جوابا مناسبا.
تحديث الوثائق في RAG يحتاج إلى فحص المادة التي وصلت إلى الجواب، لا الاكتفاء بأن الملف الأصلي تغير. في مثالنا، دليل لعبة جديد يغير عدد الجولات المطلوبة للفوز. قد يعرض المساعد شرط الإصدار السابق إذا كان هذا هو النص المسترجع؛ ونريد أن نعرف أي نسخة تجيب السؤال المقصود. [1]
الاسترجاع متعدد اللغات قد يربط سؤالا عربيا بمادة مكتوبة بلغة أخرى. لكن العثور على نص قريب لا يثبت أن المساعد فهمه أو حافظ على شروطه في الجواب العربي. في مثالنا، نسأل عن فتح صندوق لعبة، وتصف تعليماته الإنجليزية ضغط لسان القفل مع الاستمرار في الضغط. [1]
إعادة كتابة سؤال البحث تساعد على تسمية ما يقصده سؤال متابعة مثل «وما مقاسها؟». لكن تحويله إلى عبارة أطول لا يبيح اختيار مرجع ملتبس أو إضافة معلومة لم يقلها المستخدم. في مثالنا، نراجع حوارا عن نموذج ورقي، ثم نكتب سؤالا مستقلا يصلح للبحث عن تعليماته. [1]
تفكيك السؤال المركب للاسترجاع يفصل المعلومات التي نحتاجها، مع حفظ العلاقة بينها. سؤال مثالنا يطلب اختيار نموذج ورقي يمكن صنعه من ورقة واحدة بلا قص، ثم شرح خطوات النموذج المناسب. إذا بحثنا عن خطوات أي نموذج قبل فحص الشرطين، فقد نجمع جوابا كاملا لسؤال مختلف. [1]
توسيع سؤال البحث بمترادفات يغير المصطلحات التي يمكن مطابقتها، لكنه لا يثبت أن كل بديل يشير إلى الشيء نفسه. في مثالنا، مجموعة مواد تستعمل «دفتر رسم»، ويسأل القارئ عن «كراسة رسم». نراجع اتفاق المعنى داخل المجموعة قبل ربطهما، ونحفظ أي شرط آخر في السؤال. [1]
استخدام ملخص المستند في الاسترجاع يجعل النص المختصر وسيلة للعثور على أصله، إذا صمم المسار بهذه العلاقة. لكن الملخص لا يغطي بالضرورة سؤالا عن تفصيل لم يحتفظ به. في مثالنا، نبحث في دليل ترتيب مسرح دمى عن حالة فيها حاجزان، بينما يذكر ملخصه الستارة والإضاءة فقط. [1]
الاسترجاع الهرمي قد ينتقل من نطاق واسع إلى فرع ثم إلى مقطع أدق. لذلك تؤثر صلة الفرع بالسؤال في المادة التي نصل إليها. في مثالنا، دليل معرض مصغرات يضم وسائل العرض والتغليف للنقل؛ والبحث عن حامل داخل صندوق يحتاج الفرع الثاني لا مجرد أول موضع للكلمة. [1]
HyDE يستخدم مستندا افتراضيا وسيطا في البحث، ولا يعامل هذا النص كأنه وثيقة حقيقية. الفكرة أن ينشأ نص قريب من شكل المادة المطلوبة، ثم يستعمل تمثيله للعثور على مواد فعلية. يحتاج القارئ إلى معرفة الفرق بين الوسيط المولد والمصدر الذي قرئ قبل الإجابة. [1]
ضغط النص المسترجع هو تنقيح المادة بعد جلبها بحسب سؤال المستخدم. يصف LangChain ذلك باستخراج المعلومات ذات الصلة، أو استبعاد وثائق كاملة. [1] لكن قصر النص وحده لا يثبت أن الدليل المطلوب بقي فيه. نقترح فحص ما يحتاجه الجواب قبل اعتماد النسخة المختصرة.
استرجاع المعرفة المنظمة قد يمر بصفوف جدول بدلا من فقرات سردية. يعرض دليل LlamaIndex استرجاع صفوف مشابهة للسؤال للاستفادة منها في سياق تحويل السؤال إلى استعلام. [1] هذه الصفوف المساعدة لا تصبح بمجرد قربها الدلالي جوابا شاملا عن عدد السجلات أو حالتها.
استرجاع الرسوم البيانية يبحث في كيانات وعلاقات بينها ليجلب سياقا للجواب. يصف Neo4j الوصول إلى نقاط بداية ثم تتبع علاقات مناسبة وجمع معلومات مرتبطة بها. [1] لفهم النتيجة نراجع نوع العلاقة وطرفيها؛ مجرد اتصال اسم بالقصة لا يخبرنا هل ألفها أم راجعها.
