تداخل المقاطع يعني، في المثال التعليمي هنا، أن جزءا من النص يظهر في أكثر من مقطع عند التقسيم. يمكن أن تصل جملة واحدة مرتين إلى الطلب مع أن أصلها موضع واحد. نفحص سبب التكرار وطريقة التعامل معه؛ عدد مرات ظهوره لا يثبت وجود أدلة مستقلة أو أنه أهم من بقية النص.
الخلاصة السريعة
راجع مواضع المقاطع في الأصل قبل عد التكرار دليلا أو حذفه. قد يحفظ التداخل علاقة عند الحدود، لكن لا يضمن اكتمال السياق أو جودة الإجابة.
- تصف وثائق LangChain التداخل المستهدف للمقاطع وقياس طولها بدالة محددة؛ مقدار التداخل ووحدته يعتمدان على طريقة التقسيم. [1]
- قد تمثل عدة ظهورات الجملة نفسها في الأصل؛ عدد المقاطع لا يساوي عدد المصادر المستقلة.
- عند تقليل التكرار، احفظ الموضع والعلاقة والشرط اللازم؛ حذف نص متشابه لا يثبت أن السياق بقي كاملا.
- راجع المادة والجواب في تجربة فعلية قبل تقرير أثر الإعداد؛ المثال العددي لا يقيس جودة الاسترجاع أو يحدد أفضل نسبة تداخل.
ما المقصود بتداخل مستهدف؟
توثق LangChain حدا لحجم المقطع وفق دالة طول، وتداخلا مستهدفا يساعد على تقليل فقد السياق عند الحدود. مثالها الافتراضي يقيس بالأحرف؛ لا يعني ذلك أن كل تقسيم يقاس بالوحدة نفسها أو يحقق تداخلا مطابقا دائما. [1]
نضع تقسيما يدويا مختلفا لشرح الفكرة: تسع جمل في دليل افتراضي لترتيب بطاقات عرض. المقطع الأول يضم الجمل من الأولى إلى السادسة، والثاني من الرابعة إلى التاسعة. وحدة مثالنا الجملة، ولا ندعي أن مكتبة LangChain أخرجت هذين المقطعين أو أن الجمل متساوية الطول.
لماذا يظهر النص مرتين؟
الجمل الرابعة والخامسة والسادسة موجودة في المقطعين. نعد ست مرات ظهور في الأول وستا في الثاني، أي اثني عشر ظهورا. إذا طرحنا مرات الظهور الثلاث المكررة، بقيت تسع جمل أصلية. إذا وصلت القطعتان إلى الطلب، فقد يرى النموذج الجمل الثلاث نفسها مرتين.
افترض أن الجملة الخامسة في دليلنا تقول «ضع بطاقة اللون بجوار اسم العمل». ظهورها مرتين لا يعني أن كاتبين مستقلين أكدا القاعدة؛ كلا الظهورين يعود إلى الموضع نفسه. احتفظ بعلاقة المقاطع بالأصل عند مراجعة الأدلة، ولا تمنح العبارة وزنا لمجرد عدد تكرارها داخل المادة المختارة.
متى نحذف وماذا نحفظ؟
في الدليل الافتراضي، تبدأ الجملة السادسة بعبارة «إذا تعددت الأعمال للعارض نفسه»، وتكمل السابعة طريقة وضع أسمائها. قد يترك حذف نهاية المقطع الأول بلا مراجعة بداية شرط منفصلة عن تكملته في الثاني. افحص ما بقي، لا عدد الكلمات المحذوفة فقط.
اقترح جمع النص حسب مواضعه المعروفة عند الحاجة، مع حفظ معرفات المقاطع التي جاء منها. وإذا كان التشابه مجرد تكرار اسم في فقرات مختلفة، فلا تعده تلقائيا نسخة من الجملة نفسها. تغيير الصياغة أو النفي أو الشرط قد يغير المعنى. هذه مراجعة مقترحة، وليست خوارزمية جاهزة لإزالة التكرار في كل مستند.
كيف نراجع أثر الإعداد دون نتيجة مفترضة؟
عند تطبيق تقسيم فعلي، سجل حجمه ووحدة القياس والتداخل المستهدف وما تحقق منه، والمقاطع المختارة للطلب. افحص سؤالا يحتاج الشرط وتكملته، ثم راجع أن النص والجواب احتفظا بالعلاقة. زيادة التداخل لا تعني تلقائيا الوصول إلى كل دليل لازم.
قد تحتاج مقارنة إعدادين على أسئلة محددة في موادك، مع تسجيل جودة الجواب وحجم المدخل المرصود. لا نستنتج من جمع ست وست أن نموذجا تحسن أو ساء، ولا نختار نسبة واحدة لكل الوثائق. المثال يفسر تكرار الجمل والتمييز بين ظهور النص ومصدره؛ لم نجر فهرسة أو اختبار استرجاع هنا.
المصادر ومتابعة القراءة
- LangChain: Recursive text splitter — chunk_size and chunk_overlap (يفتح في نافذة جديدة)docs.langchain.com
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.