تقنية

إنتاجية خدمة النموذج: هل عدد الأجوبة يحدد زمن كل طلب؟

فرع يحسب معدل أربعة طلبات منتهية في ثانيتين، وفرع يحسب عشر ثوان لطلب بدأ عند صفر وانتهى عند 10
رسم حسابي من إعداد بحر العلوم؛ لا تقرير أداء قسناه.

إنتاجية خدمة النموذج وزمن الطلب يجيبان عن سؤالين مختلفين. يعرض تقرير Perf Analyzer معدل استدلالات في الثانية مع أزمنة العميل في حقول منفصلة. [1] نؤلف سجلًا صغيرًا لقراءة الفرق دون اختبار خادم.

الخلاصة السريعة

عد ما انتهى في نافذتك واحسب مدتها، ثم راجع زمن كل طلب بحديه؛ معدل انتهاء طلبين في الثانية لا يعني أن كل طلب استغرق نصف ثانية.

  • يعرض التوثيق معدل الاستدلال وأزمنة العميل منفصلة؛ في مثالنا كل طلب حالة استدلال واحدة، ولا نساوي هاتين الوحدتين في كل نظام. [1]
  • في النافذة من 10 شاملة إلى 12 مستبعدة تنتهي أربعة طلبات؛ مدتها ثانيتان، فيكون المعدل طلبين منتهيين في الثانية.
  • بدأ أحد الأربعة عند صفر وانتهى عند 10، فاستغرق عشر ثوان؛ لا يحوله معدل النافذة إلى طلب مدته نصف ثانية.
  • احفظ حدث البداية والنهاية وحدود النافذة وعد الحالات لكل طلب؛ انتهاء طلب عند 12 خارج نافذتنا، والمعدل وحده لا يثبت سرعة أو دقة نموذج.

سم وحدة العد قبل قسمة العدد

تظهر أمثلة Perf Analyzer معدل infer/sec وأزمنة العميل منفصلة، وتعرض عدد الطلبات وحجم الدفعة ضمن تقاريرها. [1]

نختار في تمريننا أن كل طلب يحمل حالة واحدة ويعطي جوابًا واحدًا، فنعد الطلبات المنتهية دون تحويل دفعة من أمثلة متعددة إلى طلبات إضافية. هذا شرط للعد الذي سنحسبه، وليس تعريفًا عامًا يجعل كل استدلال طلب مستخدم مستقلًا.

ونختار حدث النهاية ظهور الجواب في سجل العميل المؤلف، وحدث البداية قبول الطلب فيه. لا نخلط عدد المقبول مع عدد المنتهي. فقد يكون طلب وصل في نافذة لكنه لم ينته فيها، بينما ينتهي آخر بدأ قبلها.

احسب نافذة لها حدان واضحان

نؤلف أربع بطاقات: أ يبدأ عند صفر وينتهي عند 10؛ ب يبدأ عند 2 وينتهي عند 10.5؛ ج يبدأ عند 3 وينتهي عند 11؛ د يبدأ عند 9 وينتهي عند 11.5. جميعها أوقات على مرجع واحد، بوحدة الثانية في تمرين مكتوب.

نعد النهايات في الفترة من 10 شاملة إلى 12 مستبعدة. تدخل الأربع، ومدة الفترة 12 − 10 = 2. المعدل 4 ÷ 2 = 2؛ أي طلبان منتهيان في الثانية. لا نقسم على آخر وقت في القائمة؛ 11.5 موضع نهاية وليس مدة النافذة.

هذه إنتاجية القائمة في الفترة التي اخترناها. لم نقدم نافذة سابقة أو لاحقة، فلا نقول إن المعدل بقي ثابتًا طوال التشغيل أو أن قدرة جهاز حقيقي تساوي الرقم نفسه.

هل المعكوس زمن كل طلب؟

المعكوس العددي للمعدل هو نصف ثانية لكل انتهاء في حساب النافذة، لكنه لا يصف مدة طلب أ. لهذا الطلب زمن من القبول إلى الجواب يساوي 10 − 0 = 10 ثوان. الطلب د يستغرق 11.5 − 9 = 2.5 ثانية تحت الحدين نفسيهما.

يمكن أن تنتهي أعمال بدأت في أوقات مختلفة خلال فترة قصيرة، لذلك لا نقرأ تقارب النهايات كما لو أنها بدأت بالتتابع واستغرقت مدة واحدة. لا نفرض عدد موارد أو آلية توازي داخلية من البطاقات؛ ما نعلمه هو حدود الطلبات التي أعلنّاها.

حتى لو تساوت مدة طلبين، لا يعني ذلك أن جميع الطلبات مماثلة في المدخل أو الكلفة. المثال حساب للتوقيت، لا تقييم لمعنى الجواب أو مقارنة بنى نماذج.

ما الذي يحدث عند حد النافذة؟

نضيف بطاقة هـ تنتهي عند 12. لا تدخل نافذتنا لأنها تستبعد حد النهاية صراحة. نقلها إلى نافذة أخرى لا يغير زمنها الفعلي، لكنه يغير العدد الذي ينسب إلى كل فترة.

في بطاقة التقرير المقترحة نكتب وحدة العد وحدي النافذة وعد الطلبات المنتهية وحدي زمن الطلب، ونذكر ما إذا كان الطلب يحوي أكثر من حالة. ولا نملأ زمن طلب لم يقدم بدايته أو نهايته بمجرد معرفة المعدل العام.

لم نشغل Perf Analyzer أو نقس خدمة. الرسم يفصل عد أربعة انتهاءات خلال ثانيتين عن زمن الطلب أ البالغ عشر ثوان. قراءة الحقول بهذه الحدود تجعل الحديث عن الإنتاجية قابلًا للمراجعة، دون وعد أن زيادة العدد تحسن تجربة كل طلب.

المصادر ومتابعة القراءة

  1. NVIDIA Perf Analyzer: Benchmarking Triton (يفتح في نافذة جديدة)docs.nvidia.com

أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.