تقنية

توليد الصورة من النص: هل حفظت العناصر وعلاقاتها؟

عدد وألوان أشكال وعلاقة يسار محددة من جهة المشاهد تجمع في فحص الصورة
مخطط وصف من إعداد بحر العلوم؛ لا يعرض صورة ولدناها أو مطابقة قسناها.

توليد الصورة من النص ينشئ صورة انطلاقا من وصف، كما يبين توثيق Diffusers. [1] يحتاج الوصف إلى تحديد العناصر والعلاقات التي تهم المهمة، ثم مراجعة الناتج. نعد هنا طلبا ومخرجا افتراضيا مخالفا لبعض شروطه؛ لا نزعم أننا ولدنا صورة أو قسنا أداء خدمة.

الخلاصة السريعة

حول المشهد المطلوب إلى عناصر وخصائص وعلاقات يمكن فحصها، ثم طابقها مع الناتج المرئي؛ جمال الصورة أو ظهور كل الأسماء لا يثبتان مطابقة المشهد.

  • التوليد من وصف نصي هو المسار الموثق هنا؛ نحدد المشهد المطلوب دون عرضه بوصفه صورة حدث حقيقي أو نتيجة مضمونة. [1]
  • في طلبنا أسطوانة حمراء واحدة يسار كرتين زرقاوين بحسب جهة المشاهد؛ ظهور ثلاثة أجسام لا يكفي إن تبدلت الأشكال أو الألوان.
  • يركز GenEval على خصائص مثل العدد والموضع واللون؛ نحافظ على هذه الأسئلة منفصلة عند مراجعة المثال، دون نقل مقاييس الدراسة إلى خدمتنا. [2]
  • افحص علاقة اليسار ولون كل عنصر والمشهد كله بعد أي تعديل؛ وصف النتيجة بلسان المساعد لا يغني عن مشاهدتها، ولا اختبار فعلي في هذا المقال.

ما الذي تريد أن يظهر في المشهد؟

يعرف التوثيق التوليد من النص بإنشاء صورة من وصف يسمى أمرا. [1] نستخدم هذا المدخل لتصميم تمرين بصري، ولا نقدم طريقة واحدة تضمن تنفيذ كل تفاصيله في كل نموذج.

نكتب «أسطوانة حمراء واحدة إلى يسار كرتين زرقاوين، على صينية رمادية، بحسب جهة المشاهد، دون كتابة». تحدد الجملة العدد والشكل واللون والموقع النسبي والقاعدة التي تحمل الأجسام. يمكن حذف شرط لا تحتاجه المهمة، لكن لا نترك شرطا أساسيا غامضا ثم نلوم الناتج لأنه اختار معنى آخر.

هل وجود ثلاثة أجسام يكفي؟

نفترض ناتجا وصفه المراجع بأنه يحتوي كرة حمراء وأسطوانتين زرقاوين. العدد الكلي ثلاثة، لكنه لا يطابق توزيع الأشكال الذي طلبناه: أسطوانة واحدة وكرتان. لا تلغي خلفية جميلة هذا الاختلاف، ولا يحفظ جمع الألوان والأشكال كل علاقة بين صفة وصاحبها.

نقترح قائمة قصيرة: أسطوانة واحدة، لونها أحمر، كرتان، لونهما أزرق، والصينية رمادية. هذه قائمة مراجعة لمثالنا، وليست نتيجة كاشف أجسام أو معيارا صالحا لكل استخدام. قد تكون بعض التفاصيل غير ظاهرة، فنذكر عدم تحققها بدلا من نسبها إلى الجزء المحجوب.

أي علاقة تحتاج إلى فحص مستقل؟

يقدم GenEval، بحسب ملخص مؤلفيه، إطارا يفحص خصائص تركيبية تشمل تواجد الأجسام والموضع والعدد واللون. [2] لا ننقل توافقه مع أحكام بشرية إلى مراجعة لم ننفذها أو إلى جميع أدوات التوليد الحديثة.

لو ظهرت الأسطوانة الحمراء إلى يمين الكرتين، تظل قائمة العناصر صحيحة من حيث العدد واللون لكنها تفشل علاقة اليسار التي عرفناها من جهة المشاهد. لا نعد عبارة «الصورة تتضمن المطلوب» جوابا كافيا قبل فحص هذه العلاقة. وقد يضيق طلبنا معنى اليسار لكنه لا يثبت أن النموذج التزم به.

ماذا تراجع بعد تعديل الطلب؟

إذا غيرنا الأمر لتوضيح جهة اليسار أو عدد الكرات، نقترح مراجعة الصورة الجديدة كلها. قد يصح الموضع في الفرض التالي وتبقى صفة أخرى مختلفة؛ نجاح شرط واحد لا يحفظ الشروط الباقية تلقائيا. نحفظ وصف الطلب والنسخة التي راجعناها حتى لا ننسب فحصا قديمًا إلى ناتج جديد.

لم نستعمل خدمة توليد أو كاشفا أو نجمع أحكام مستخدمين. ولا نعرض وصف المساعد لصورة لم نشاهدها بوصفه مطابقة مؤكدة. التمرين يبين كيف تتحول حاجة المشهد إلى أسئلة محددة، وكيف يظل الناتج رسما مولدا يحتاج إلى مراجعة، لا توثيقا لوجود أجسام أو حدث في الواقع.

المصادر ومتابعة القراءة

  1. Hugging Face Diffusers: Text-to-image (يفتح في نافذة جديدة)huggingface.co
  2. GenEval: An Object-Focused Framework for Evaluating Text-to-Image Alignment (يفتح في نافذة جديدة)arxiv.org

أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.