تقنية

بدء خدمة النموذج: متى تصبح مستعدة للتنبؤ؟

خمسة أحداث افتراضية من بدء عملية عند صفر إلى جواب عند 7، وبينها تحميل من 1 إلى 4 وفحص جاهزية وإرسال طلب عند 5
مخطط من إعداد بحر العلوم؛ زمن الطلب وحدتان، وزمن الوصول إلى فحص الجاهزية خمس وحدات.

جاهزية خدمة النموذج عند البدء تحتاج إلى معيار معلوم؛ ظهور العملية لا يصف وحده اكتمال تحميل النموذج. في Triton، يربط strict-readiness المفعّل إشارة الجاهزية بتحميل جميع النماذج المختارة. [1]

الخلاصة السريعة

سم الحدث الذي تسميه جاهزية، وافصل زمن الوصول إليه عن زمن طلب التنبؤ بعده؛ الجاهزية للتقديم لا تثبت جودة الأجوبة.

  • عند strict-readiness=true، وهو الافتراضي الموثق، لا يبلغ /v2/health/ready عن جاهزية Triton إلا بعد تحميل جميع النماذج المختارة. [1]
  • في تمريننا تبدأ العملية عند صفر، يكتمل التحميل عند 4، وتراجع الجاهزية عند 5؛ ظهور العملية ليس نهاية هذه الخطوات. وقت الفحص لا يثبت أول ظهور للجاهزية.
  • طلب يبدأ عند 5 ويصل جوابه عند 7 يستغرق وحدتين؛ طريق البدء إلى فحص الجاهزية خمس وحدات من الساعة نفسها، ولا نخلط القياسين.
  • راجع النماذج المختارة وشرط الإشارة قبل تفسيرها؛ جاهزية التحميل ليست اختبار دقة أو ضمانًا لكل طلب، ولم نشغل خدمة أو فحص صحة.

ما الذي تعنيه إشارة جاهز؟

تصف وثائق Triton الخيار strict-readiness=true افتراضيًا: لا يبلغ المسار /v2/health/ready عن الجاهزية إلا عند تحميل جميع النماذج المختارة. [1]

كلمة «المختارة» تحدد النطاق. لا تحول الإشارة إلى تصريح عن كل نموذج يمكن حفظه في كل مجلد، أو عن نموذج لم يدخل الاختيار. لا نعّم هذا العقد على كل خادم يستخدم كلمة جاهز؛ قد تسمي أداة أخرى حالة مختلفة بالاسم نفسه.

نبدأ بسؤال القراءة: جاهز لأي شيء، وبأي شرط؟ ظهور رقم عملية أو نافذة سجل قد يثبت أن بداية ما حدثت، لكنه لا يقدم بذاته جوابًا عن النموذج المحمل. نحتاج إلى الدليل الذي يطابق الحدث الذي نقصده.

ضع أحداث البداية في ترتيب واضح

نؤلف خطًا زمنيًا بوحدات مجردة، كلها من الساعة نفسها. عند صفر تبدأ عملية الخدمة، وعند 1 يبدأ تحميل النموذج المختار، وعند 4 ينتهي التحميل. نختار مراجعة إشارة الجاهزية عند 5، ونفترض أنها حينئذ تستوفي شرطنا المعلن.

هذه أوقات مفترضة، وليست سجل بدء فعليًا. كما أن مراجعة الإشارة عند 5 لا تثبت أنها ظهرت لأول مرة عند 5؛ لم نفحص كل اللحظات السابقة. نميز وقت الدليل الذي رأيناه عن وقت قد يكون حدث فيه التحول.

لا نتوقف في الحساب عند صفر ونقول إن الاستعداد استغرق صفرًا لأن العملية موجودة. ولا نسمي نهاية تحميل ملف واحد جاهزية كل النماذج المختارة إذا كانت قائمة الاختيار تحتوي غيره. في هذا التمرين اخترنا نموذجًا واحدًا فقط.

أي ساعة تقيس طلب التنبؤ؟

نقدم طلبًا افتراضيًا بعد مراجعة الجاهزية، عند 5، ويصبح جوابه متاحًا عند 7. زمن هذا الطلب، وفق نقطتي القياس، يساوي 7 ناقص 5: وحدتين. أما من بدء العملية عند صفر إلى مراجعة الجاهزية عند 5 فخمس وحدات.

إذا قال تقرير إن الخدمة استغرقت وحدتين، نطلب تسمية بداية القياس ونهايته. الرقم مناسب للطلب الذي وصفناه، لكنه لا يشمل ما سبق إرساله من طريق البداية. وإذا قال إن أول جواب جاء عند 7، فهذا موضع على الساعة، لا مدة طلب بدأت بالضرورة عند صفر.

لم نفترض طلبًا مبكرًا يدخل طابورًا قبل التحميل، ولا سياسة انتظار أو رفض له. يحتاج ذلك إلى عقد إضافي. كذلك لا نستنتج زمن الطلب الثاني أو سبب اختلافه؛ لم نكتب له أحداثًا في هذا المثال.

ما الذي يبقى بعد إثبات الجاهزية؟

إشارة التحميل تجيب عن شرط تقديم محدد، ولا تجيب عن صحة تنبؤ معين. يمكن أن نكون قادرين على تقديم جواب، ثم نحتاج إلى تقييمه مقابل مرجع المهمة. لا يقوم فحص حالة الخدمة مقام ذلك المرجع.

في بطاقة المراجعة، احفظ النماذج المختارة والشرط الذي قرأته والأحداث التي رصدتها فعلًا، أو علم بأنها افتراضية كما هنا. إذا لم تعرف لحظة ظهور الإشارة الأولى، لا تملأها بوقت فحص لاحق. ذلك يمنع خلط زمن المشاهدة بزمن الانتقال.

الرسم يربط بداية العملية والتحميل ومراجعة الجاهزية بطلب لاحق. لم نشغل Triton أو نحمّل نموذجًا أو نستدع فحص صحة. الأرقام تشرح حدود القياس، وتبقى أي نتيجة أداء أو دقة بحاجة إلى أدلة مستقلة.

المصادر ومتابعة القراءة

  1. NVIDIA Triton: Secure Deployment Considerations — strict-readiness (يفتح في نافذة جديدة)docs.nvidia.com

أُعدّ هذا المقال بصياغة عربية أصلية بالاستناد إلى المصادر أعلاه، وهو مدخل تمهيدي إلى الموضوع. اقرأ منهجية المحتوى وحدوده.