الفضاء الكامن في الصور قد يحتفظ بتمثيل متعلم بدلا من قيم الصورة RGB نفسها. تصف ورقة Latent Diffusion مرمزا يحول الصورة إلى تمثيل، ومفككا يعيد منه صورة إلى فضاء البكسلات. [1] نستخدم مثال أبعاد افتراضي لتوضيح الفرق، دون ترميز صورة أو قياس حجم ملف أو أداء نموذج.
الخلاصة السريعة
اقرأ التمثيل وفق تعريفه ومرمزه ومفككه؛ شبكة كامنة أصغر ليست تلقائيا صورة مصغرة بألوان قابلة للعرض مباشرة، ولا ضمانا لاستعادة كل بكسل من الأصل.
- في المسار الموصوف يحول المرمز الصورة إلى تمثيل متعلم ويعيد المفكك صورة منه؛ استعمال القيم يحتاج إلى معرفة هذا المسار. [1]
- مثالنا 512×512×3 يحوي 786432 قيمة، وتمثيل افتراضي 64×64×4 يحوي 16384؛ العدد أقل 48 مرة، لكنه لا يحدد حجم الملف أو السرعة.
- القنوات الأربع المفترضة ليست تلقائيا أحمر وأخضر وأزرق وشفافية؛ لا ننسب معنى لون لقيمة كامنة دون تعريف مناسب.
- راجع الصورة المفكوكة والتفاصيل التي تهم المهمة؛ إعادة بناء مقنعة لا تثبت تطابق كل بكسل، ومقارنة أعداد القيم ليست تجربة ترميز نفذناها.
ما الذي يقع بين الصورة ومفككها؟
تصف الورقة الصورة في فضاء RGB وتمثيلها عبر المرمز E، ثم إعادة البناء بالمفكك D، مع أبعاد كامنة أصغر في المسار المدروس. [1] لا نعمم اختيارا واحدا للقنوات أو الضغط على كل نموذج.
يمكن أن نرى مصفوفة قيم منظمة في صفوف وأعمدة، فنظنها مجرد نسخة مصغرة من المشهد. لكن اسم الصف والعمود لا يكفي لنعرف أن القيمة لون نقطة في الصورة الأصلية. نحتاج إلى تعريف التمثيل والمفكك الذي يحوله إلى مخرج بصري، لا إلى إطلاق برنامج عرض على أرقام مجهولة المعنى.
ماذا تخبرك به مقارنة الأعداد؟
نفترض صورة 512 في 512 وثلاث قنوات، فيكون عدد قيمها 786432. ونفترض تمثيلا تعليميا 64 في 64 وأربع قنوات، فيكون عدد قيمه 16384. بقسمة العددين نحصل على 48. هذه مقارنة لعدد مقادير في تصميم افتراضي، وليست أبعاد نموذج اختبرناه.
لا نستنتج أن الملف المخزن أصغر 48 مرة؛ لم نحدد نوع القيمة أو طريقة التخزين أو الضغط. ولا نعلن أن التوليد أسرع بهذه النسبة، لأننا لم نحسب عمليات النظام أو نقس الزمن. يحفظ الحساب معنى واضحا واحدا قبل أن نضيف إليه مقارنات تحتاج إلى بيانات أخرى.
هل القناة الرابعة شفافية؟
في مثالنا لا نعرف أن الأربع قنوات تحمل ألوان RGB وشفافية. نسميها قنوات تمثيل كامن متعلم وفق فرضنا، فلا نقرأ قيمة منها بوصفها درجة زرقة جسم أو شفافية خلفية. تشابه عدد القنوات مع تنسيق ملف معروف لا يثبت تطابق المعنى.
إذا حصل الفريق على تمثيل من نظام، نقترح حفظ تعريفه وما يلزم لفكه بصورة مناسبة. لا نبدل المفكك بآخر ثم نعامل مخرجه تلقائيا الصورة المقصودة. كما لا نعدل قيمة واحدة ونسميها لون نافذة محددة قبل معرفة أثرها؛ المصفوفة ليست جدولا أعلنّا فيه أن كل عمود اسم عنصر في المشهد.
كيف تحكم على إعادة البناء؟
يصف المسار المدروس ضغطا إدراكيا وتمثيلا تجرد فيه تفاصيل عالية التردد غير ملحوظة. [1] لا نأخذ ذلك ضمانا لتطابق كل صورة مفكوكة مع الأصل حرفيا، ولا حكما بأن كل اختلاف غير مهم لأي مهمة.
قد تحتاج مهمة إلى شكل المشهد العام، وأخرى إلى رقم صغير على ملصق. نقترح مراجعة الصورة المعاد بناؤها وما يهم المهمة على الأصل المناسب، بدلا من الحكم من عدد القيم وحده. لم ننفذ ترميزا أو توليدا أو اختبار دقة حروف. يفصل المثال بنية التمثيل من صورة العرض، ويجعل تعريف المقارنة وحدودها جزءا من أي نتيجة يكتبها الفريق.
المصادر ومتابعة القراءة
أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.