مسافة فاسرشتاين: المتوسط نفسه لا يعني توزيعًا واحدًا

افصل الموضع عن الكتلة

يوثق wasserstein_distance مقارنة توزيعين منفصلين على مستقيم؛ التكلفة كتلة منقولة مضروبة في المسافة. [1]

نختار مواضع عددية بلا وحدة في البداية. توزيع U يضع نصف كتلته الاحتمالية عند 0 ونصفها عند 4. توزيع V يضع نصفًا عند 1 ونصفًا عند 3. عبارة «الكتلة» هنا تعني حصة احتمال، وليست كتلة جسم مقاسة بالكيلوغرام.

القائمة [0,4] تخبرنا بالمواضع، والقائمة [1/2,1/2] تخبرنا بما نخصصه لكل موضع. نجمع الحصتين فنحصل على 1. لا نعامل الموضع 4 بأنه يحمل أربعة أمثال احتمال الموضع 0؛ مقدار القيمة وحصتها معلومتان مستقلتان.

لحساب المتوسط المرجح نضرب كل قيمة في وزنها، ونجمع ثم نقسم على مجموع الأوزان. [2]

متوسط U هو (1/2)×0+(1/2)×4=2؛ ومتوسط V هو (1/2)×1+(1/2)×3=2. ومع ذلك لا يضع أي من الموضعين في U كتلته عند موضع من مواضع V. نقل نصف من 0 إلى 1 ونصف من 4 إلى 3 يكلف (1/2)×1+(1/2)×1=1.

كل وحدة كتلة تبدأ عند 0 أو 4 لا بد أن تصل إلى 1 أو 3، والمسافة لا تقل عن 1 في كل اختيار. ومجموع الكتلة المنقولة 1، فتكون تكلفة أي خطة على الأقل 1. الخطة السابقة تحقق هذا الحد، ولذلك هي دنيا في المثال، رغم تساوي المتوسطين.

احسب المساحة بين التراكمين

على مستقيم، تساوي المسافة تكامل القيمة المطلقة لفرق دالتي التوزيع التراكمي. [1]

نسمي التراكم عند t مجموع الكتلة في المواضع التي لا تتجاوز t. خارج مدى مواضع المثال، يبدأ التراكمان بصفر وينتهيان بواحد، فيكون الفرق صفرًا هناك. بين المواضع، كل تراكم ثابت، ولذلك يمكن حساب المساحة بجمع مستطيلات.

في المثال المتساوي، من 0 إلى 1 يكون تراكم U مساويًا 1/2 وتراكم V صفرًا؛ المساحة (1−0)×1/2=1/2. من 1 إلى 3 يتساويان عند 1/2، فلا مساحة. ومن 3 إلى 4 يصبح تراكم V واحدًا بينما U يظل 1/2؛ المساحة (4−3)×1/2=1/2. المجموع 1، كما في خطة النقل.

نعلن الآن مثالًا مرجحًا بالمواضع نفسها. أوزان U هي [3,1] وأوزان V هي [1,3]. نقسم كل قائمة على مجموعها 4، فتكون كتل U هي [3/4,1/4] وكتل V هي [1/4,3/4]. نحن نغير الاحتمالات، ولا نحرك المواضع.

على الفترة [0,1)، التراكمان 3/4 وصفر، وطولها 1؛ المساحة 3/4. على [1,3)، التراكمان 3/4 و 1/4، وطولها 2؛ المساحة 2×1/2=1. على [3,4)، التراكمان 3/4 و 1، وطولها 1؛ المساحة 1/4. المجموع 3/4+1+1/4=2.

اختيار تضمين أحد طرفي الفترة لا يغير مساحة المستطيل؛ نقطة منفردة طولها صفر. لكننا نحافظ على تعريف التراكم نفسه لتجنب الخلط في الجدول. والفرق المطلق ضروري: على الفترة الأخيرة يتقدم V على U، ولا نسمح للإشارة السالبة بأن تلغي مساحة موجبة في فترة أخرى.

تحقق بخطة نقل معلنة

نبدأ بتوزيع U المرجح: كتلة 3/4 عند 0 و 1/4 عند 4. الهدف V يحتاج 1/4 عند 1 و 3/4 عند 3. ننقل 1/4 من 0 إلى 1، ثم 1/2 من 0 إلى 3، ثم 1/4 من 4 إلى 3. خرج من 0 مجموع 3/4، وخرج من 4 مجموع 1/4؛ فلا كتلة مفقودة أو مضافة.

وصل إلى 1 مقدار 1/4، ووصل إلى 3 مقدار 1/2+1/4=3/4. نراجع إذن المجاميع عند المصادر والوجهات قبل حساب التكلفة. وجود أسهم بين مواضع لا يجعل الرسم خطة مقبولة ما لم تحقق هذه المجاميع.

تكاليف النقل الثلاث هي (1/4)×|0−1|=1/4، و(1/2)×|0−3|=3/2، و(1/4)×|4−3|=1/4. التكلفة الكلية 2. يمكن تقسيم كتلة موضع واحد على وجهتين؛ لا يلزم إقران كل قيمة بقيمة واحدة كاملة.

نثبت أدنى تكلفة هنا دون تجربة خطط عشوائية. لنعرف a بأنه الكتلة المنقولة من 0 إلى 1. بقية الخطة تفرضها المجاميع: من 0 إلى 3 مقدار 3/4−a، ومن 4 إلى 1 مقدار 1/4−a، ومن 4 إلى 3 مقدار a. عدم سلبية هذه الكتل يفرض 0≤a≤1/4.

المسافات من 0 إلى 1 ومن 4 إلى 3 تساوي 1، والمسافتان الأخريان تساويان 3. لذلك التكلفة a+3(3/4−a)+3(1/4−a)+a=3−4a. هذه قيمة تتناقص مع a، فتكون الدنيا عند a=1/4 وتساوي 2. عند a=0 تكون 3، أي خطة مقبولة لكنها أغلى.

متوسط U المرجح يساوي (3/4)×0+(1/4)×4=1، ومتوسط V يساوي (1/4)×1+(3/4)×3=5/2. الفرق المطلق 3/2، أقل من تكلفة 2. لا نجمع انتقالات الكتل بإشاراتها بدل مسافاتها؛ الإلغاء الجزئي في المتوسط لا يصف تكلفة التحريك.

راجع الأوزان والوحدة وحدود التفسير

عند حذف الأوزان يعطي الإجراء وزنًا متساويًا لكل قيمة؛ مجموع الأوزان المدخلة يجب أن يكون موجبًا ومحدودًا. [1]

نضيف إلى ذلك في نموذج الاحتمالات شرط عدم سلبية كل وزن، ونستخدم قوائم غير فارغة ومواضع محدودة. وجود مجموع موجب وحده لا يجعل وزنًا سالبًا كتلة احتمالية صالحة. لا ننسب إلى المكتبة معالجة حالات غير صالحة أو رسالة خطأ لم نختبرها.

الأوزان [30,10] عند U تعطي النسب [3/4,1/4] نفسها؛ والأوزان [2,6] عند V تعطي [1/4,3/4] نفسها. فيبقى حساب المستطيلات والتكلفة 2. يجوز هنا تغيير مقياس أوزان كل توزيع مستقلًا؛ المهم حصصه بعد القسمة على مجموعها، لا تساوي عدد السجلات بين التوزيعين.

يمكن أيضًا تمثيل كتلة 3/4 عند 0 بصفين في الموضع نفسه، وزناهما 1 و 2 مع وزن 1 عند 4. تجميع الصفين يعيد وزن 3 عند 0، فيبقى التوزيع نفسه. هذا يفسر لماذا نراجع الكتلة الإجمالية عند كل موضع، ولا نحكم من عدد الصفوف وحده.

إذا سمينا وحدة المواضع سنتيمترًا، فالتكلفة في أمثلتنا بالسنتيمتر لأن الاحتمالات بلا وحدة والمسافات خطية. ضرب جميع المواضع في 10 يضرب كل مسافة في 10؛ فتتحول نتيجة المثال المرجح من 2 إلى 20. إضافة 7 إلى كل موضع في التوزيعين تحفظ الفروق وتبقي المسافة 2.

هذا حساب لتوزيعين افتراضيين معلنين. لا يبين وحده احتمال أن مجتمعين حقيقيين متساويان، ولا يقدم اختبار دلالة أو مستوى ثقة أو تفسيرًا لسبب اختلاف البيانات. نحتاج سؤالًا وتصميمًا وبيانات أخرى لتلك الأحكام؛ لا نستنتجها من رقم المسافة.

تحققنا بكسور دقيقة من المثالين، ومن اتفاق حساب التراكم مع أقل تكلفة على مجال خطط ثنائية المواضع في حالات محددة. لم نشغل SciPy أو NumPy. البرهان التفصيلي للمثال المرجح يوضح لماذا 2 هي الدنيا فيه، ولا نزعم أن الاختبارات المحدودة تبرهن كل مسألة نقل ممكنة.