#

النقاط الرئيسية

• أعلنت AWS عن تقسيم NVIDIA Multi-Instance GPU لنقاط نهاية الاستدلال في Amazon SageMaker AI.

• يمكن تقسيم وحدات GPU المؤهلة إلى شرائح معزولة عتاديًا مع موارد حوسبة وذاكرة محددة.

• صُممت الميزة لمكونات الاستدلال في SageMaker وتستخدم استدعاءات API الحالية.

• لا يمكن لنقاط النهاية ذات النموذج الواحد أو serverless أو تجمعات المثيلات غير المتجانسة استخدامها.

• يتم تحديد تخطيط التقسيم وقت الإعداد، وتتطلب التغييرات وجود أقسام غير نشطة.

ما الذي أعلنته AWS

في 6 نوفمبر، أعلنت AWS دعم تقسيم NVIDIA Multi-Instance GPU على نقاط نهاية الاستدلال في Amazon SageMaker AI. تتيح هذه الميزة تقسيم وحدات GPU المؤهلة إلى شرائح معزولة عتاديًا. تحتوي كل شريحة على موارد حوسبة وذاكرة محددة. وهذا يمنح المشغلين طريقة لاستخدام جزء من وحدة GPU بدلًا من تخصيص المسرّع بالكامل لنموذج واحد.

تقول AWS إن هذه الميزة مفيدة عندما لا يحتاج النموذج إلى وحدة GPU كاملة. كما أنها تناسب أعباء العمل ذات الحركة المتغيرة. في هذه الحالات، قد يؤدي تخصيص وحدة GPU كاملة لكل عملية نشر إلى ترك سعة غير مستغلة. وتعرض AWS هذه الميزة كطريقة لنشر عدة نماذج على أقسام منفصلة من جهاز مدعوم.

كيف تعمل الميزة

تعمل الميزة على نقاط النهاية التي تستخدم مكونات الاستدلال في SageMaker. يحدد المشغل ملفات تعريف التقسيم المدعومة في إعدادات نقطة النهاية. ثم يطلب كل مكوّن أحد هذه الملفات. تتولى SageMaker إدارة إعدادات GPU والتموضع والتوسّع.

تقول AWS إن الإعلان يضيف حقلين اختياريين إلى استدعاءات API الحالية. ولا يضيف عمليات API جديدة أو أنواع موارد جديدة أو إجراءات IAM جديدة. وهذا يبقي التغيير مركزًا على الإعدادات بدلًا من إضافة سطح تحكم جديد. ويحدد المسرّع نفسه ملفات التعريف والتركيبات الصالحة.

وتشير AWS أيضًا إلى أن عدد الأقسام لا يتجاوز سبعة أبدًا. هذا الحد جزء من قواعد التخطيط المدعومة للجهاز. ولا يصف الإعلان كل تركيبة ممكنة من ملفات التعريف، لذا لا يزال على المشغلين مطابقة النموذج مع إعداد تقسيم صالح.

حدود نقاط النهاية والنشر

الميزة غير متاحة لنقاط النهاية ذات النموذج الواحد أو نقاط النهاية serverless أو تجمعات المثيلات غير المتجانسة. هذه الأنواع من نقاط النهاية تقع خارج النطاق المدعوم الموصوف في الإعلان. يتم اختيار تخطيط التقسيم عند إعداد نقطة النهاية. وإذا احتاج التخطيط إلى التغيير، فيجب أن تكون الأقسام غير نشطة أولًا.

تنصح AWS بالتحقق من أن نوع المثيل المختار متاح في منطقة النشر. كما تنصح بالتحقق من توفر حصة نقاط النهاية هناك. هذه فحوصات نشر عملية مرتبطة بالبنية التحتية المدعومة وظروف الحصة. ولا يضيف الإعلان نموذج حصة جديدًا. بل يوجّه المشغلين إلى قيود التوفر والحصة الحالية.

اعتبارات تشغيلية

تعتمد الفائدة التشغيلية الرئيسية على مدى الملاءمة. تقول AWS إن أي فائدة في الاستخدام أو التكلفة تعتمد على مطابقة النماذج المنشورة مع ملفات تعريف صالحة. وهذا يعني أن الميزة ليست تحسينًا شاملًا. فهي تعمل بشكل أفضل عندما يتوافق حجم النموذج ونمط الحركة مع تخطيط تقسيم مدعوم.

كما أن نموذج الإعداد مهم. وبما أن التخطيط ثابت عند إعداد نقطة النهاية، يحتاج المشغلون إلى التخطيط قبل النشر. وأي تغيير لاحق يتطلب أقسامًا غير نشطة، لذا لا يُفترض وجود إعادة تهيئة مباشرة. وهذا يجعل الميزة أكثر ملاءمة للنشر المخطط له من التغييرات العفوية.

كما يحافظ الإعلان على واجهة تكامل محدودة. تحصل استدعاءات API الحالية على حقول اختيارية، وتتولى SageMaker إدارة سلوك GPU في الخلفية. وقد يسهل ذلك التبني للفرق التي تستخدم بالفعل مكونات الاستدلال في SageMaker. كما يعني أن الميزة تعتمد على المسرّع المدعوم، ونوع المثيل المختار، ومجموعة ملفات التعريف الصالحة لذلك الجهاز.

الخلاصة

تضيف AWS طريقة أكثر دقة لاستخدام وحدات GPU المؤهلة على نقاط نهاية الاستدلال في Amazon SageMaker AI. تستهدف الميزة أعباء العمل التي لا تحتاج إلى مسرّع كامل، والنشر الذي تمثل فيه السعة غير المستغلة مصدر قلق. وتعتمد قيمتها على نوع نقطة النهاية، ونوع المثيل، وما إذا كان النموذج يناسب ملف تعريف تقسيم صالحًا.