تقطيع المستندات للاسترجاع هو تقسيم المادة إلى مقاطع يمكن البحث فيها وتمريرها إلى نموذج اللغة. قد يلزم بسبب حدود حجم الإدخال، وقد يفيد أيضاً عندما تجمع الوثيقة موضوعات يصعب تمثيلها كوحدة واحدة. الأهم هو حدود مفيدة للمعنى، وليس طولاً ثابتاً يصلح لكل وثيقة. [1]
الخلاصة السريعة
اجعل المقطع يحمل فكرة مفهومة مع شروطها، واحتفظ بهوية المصدر؛ ثم اختبر إن كان استرجاعه يجيب عن السؤال المقصود.
- نقسم الوثيقة عندما يحد حجمها إدخال النموذج، أو عندما يساعد التقسيم على تمثيل موضوعاتها. [1]
- في مثال القاعة، أبق قاعدة الحجز والشرط والاستثناء المرتبطين بها في المقطع نفسه.
- يمكن استعمال العناوين وحدود الجمل أو تداخل محدود؛ والنافذة المحفوظة في البيانات الإضافية تحتاج استحضاراً وتمريراً للنموذج. [1][2]
- راجع المقاطع على أسئلة محددة، واحفظ عنوان المصدر ومعرّفه للعودة إلى الأصل.
لماذا لا نبحث في الوثيقة كوحدة واحدة؟
قد تكفي الوثيقة الصغيرة لإدخال النموذج، ومع ذلك تضم موضوعات مختلفة. توضح Microsoft أن التقطيع قد يحسن تمثيل صفحات تجمع موضوعات فرعية عديدة، إضافة إلى التعامل مع حدود الإدخال. [1]
تخيل دليلاً لقاعة أنشطة، يتناول الحجز ومواقف السيارات والأجهزة وقائمة جهات الاتصال. سؤال «ما المطلوب لحجز القاعة مساءً؟» يحتاج جزء الحجز. اختيار كل الدليل يضيف مواد لا تجيب عن السؤال، بينما فصل الجملة عن شرطها قد ينقص الدليل. ابدأ بتحديد نوع الأسئلة قبل رسم حدود المقاطع.
كيف نفحص حدود المقطع؟
لنكتب فقرة مصنوعة للمثال: «يمكن حجز القاعة في المساء. ويشترط تأكيد الحجز قبل الظهر، باستثناء الفعاليات التي يحدد لها المنظم موعداً مختلفاً». إذا انتهى المقطع بعد الجملة الأولى، فلن يحمل القيد الذي يحدد استعمالها.
اقتراحنا في هذا المثال إبقاء الجملتين مع عنوان «الحجز المسائي»، أو إدراج السياق المجاور عند تقديم الجملة الأولى. ولنفترض أن فقرة أخرى تصف المواقف؛ لا نضمها إلى المقطع لمجرد أنها تليه في الصفحة. راجع كل حد بالسؤال: هل يعرف القارئ ما الذي تعود إليه الضمائر والقيود؟
ما الخيارات المتاحة للتقسيم؟
من الخيارات التقطيع بطول محدد، والتقطيع وفق بنية النص أو معناه، والجمع بين طرق متعددة. قد يساعد تكرار جزء محدود بين مقطعين على حفظ السياق. وتوثق LlamaIndex أداة تحاول احترام حدود الجمل وأداة تحفظ نافذة جمل مجاورة في بيانات إضافية. [1][2] حفظ النافذة في البيانات الإضافية لا يدخلها تلقائياً في سياق النموذج؛ يجب استحضارها وتمريرها عند بناء الإدخال. [2]
لا تجعل التداخل نسخة ثانية من كل شيء. في مثال القاعة، قد تحتاج إعادة جملة التعريف القصيرة في بداية مقطع الشروط، لكن إعادة صفحات الأجهزة كلها لا تساعد. وإذا كان المصدر جدولاً، فافحص أن المقطع يحتفظ بعنوان العمود الذي يبين معنى القيمة. الرقم «20» وحده لا يخبرك هل هو عدد المقاعد أم رمز القاعة.
كيف نعرف أن التقطيع مناسب؟
اصنع أسئلة مراجعة من الوثيقة: «متى يؤكد الحجز؟» و«هل توجد حالة بموعد مختلف؟». افتح المقاطع التي يعيدها البحث، ثم تحقق من احتوائها على القاعدة والاستثناء. إذا كان أحدهما مفقوداً، عدل الحدود أو طريقة استحضار الجمل المجاورة. هذا إجراء مقترح للمراجعة، لا نتيجة اختبار نفذناه.
احفظ مع المقطع عنوان الوثيقة وموضعه ومعرّفاً مستقراً. وعند تحديث الدليل، راجع أن المقاطع الجديدة تعود إلى النسخة المقصودة. لا تقرر حجم المقطع من رقم شائع في شرح آخر؛ السؤال ونوع النص وطريقة الاسترجاع تحدد ما يستحق التجربة في مجموعتك.
المصادر ومتابعة القراءة
- Microsoft Learn: Chunk documents for vector search (يفتح في نافذة جديدة)learn.microsoft.com
- LlamaIndex: Node Parser Modules — SentenceSplitter and SentenceWindowNodeParser (يفتح في نافذة جديدة)developers.llamaindex.ai
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.