#

النقاط الرئيسية

• قدّمت NVIDIA تقنية Reshard لنقل أوزان النموذج بين التخطيطات الموزعة.

• تستهدف الطريقة مرحلة مزامنة الأوزان في التعلم المعزز.

• NCCL M2N Reshard هو التنفيذ المرجعي مفتوح المصدر من NVIDIA.

• تشير NVIDIA إلى تسريعات تتراوح بين 2.7 و5.7 مرات في إعدادات اختبار محددة.

• تنطبق المكاسب المعلنة على مزامنة الأوزان، وليس على تشغيل كامل للتعلم المعزز.

ما الذي قدمته NVIDIA

في 6 نوفمبر، وصفت NVIDIA طريقة جديدة لنقل أوزان النموذج بين عمال التدريب والاستدلال أثناء التعلم المعزز. وتقول الشركة إن العملية الجماعية الجديدة تُسمى Reshard. وهي تنقل tensor مباشرة من تخطيط موزع إلى آخر.

تكتسب هذه البنية أهمية لأن عمال التدريب يحدّثون الأوزان، بينما يحتاج عمال الاستدلال إلى الأوزان المحدّثة لتوليد المزيد من rollouts. عندما يقوم الجانبان بتقسيم tensors نفسها بشكل مختلف، فإن عملية gather-and-broadcast التقليدية تعيد أولاً بناء المعلمات الكاملة ثم توزعها مرة أخرى. صُمم نهج NVIDIA لتجنب هذه الخطوة الإضافية عندما يحتاج العمال فقط إلى أجزاء من البيانات.

كيف تعمل Reshard

تقول NVIDIA إن NCCL M2N Reshard هو تنفيذها المرجعي مفتوح المصدر. وهو يحسب التقاطعات بين الأجزاء المصدر والوجهة. ثم يربط عمليات النقل المطلوبة بهندسة GPU.

تجمع الطريقة أيضًا النسخ المتماثلة حسب نطاق NVLink. وتقول NVIDIA إن هذا يتجنب إرسال البيانات نفسها مرارًا عبر روابط الشبكة. ويُعد هذا الاختيار التصميمي جزءًا من نموذج الاتصال الذي توفره الشركة للقراء الذين يرغبون في تقييم التخطيطات الموزعة الخاصة بهم.

يقدّم المقال هذا على أنه حل لمزامنة الأوزان. وهي المرحلة التي تزامن عمال الاستدلال مع أوزان التدريب. ويركز الوصف على نمط النقل، وليس على تغيير أوسع في التعلم المعزز نفسه.

نتائج القياس المعياري

تذكر NVIDIA تسريعات في مزامنة الأوزان تتراوح بين 2.7 و5.7 مرات مقارنةً بـ gather-and-broadcast التقليدي. وتقول الشركة إن هذه النتائج جاءت من معايير NeMo RL على أنظمة DGX H100 وDGX GB200. وتشمل النماذج المختبرة Qwen 3 235B وDeepSeek v3 671B.

تصف هذه الأرقام مرحلة مزامنة الأوزان ضمن إعدادات القياس المعياري الخاصة بـ NVIDIA. وهي لا تقيس تسريع تشغيل كامل للتعلم المعزز. كما أنها لا تضمن التحسن نفسه على عتاد مختلف. وهذا التمييز مهم عند مقارنة النتيجة بأنظمة أخرى أو بخيارات نشر أخرى.

ما الذي يقدمه المقال

تقول المادة المصدرية إن المقال يتضمن نموذج الاتصال وتفاصيل التنفيذ والمعايير. وهذا يجعله مفيدًا للقراء الذين يقيّمون التخطيطات الموزعة وسلوك نقل الأوزان. كما يقدم مثالًا ملموسًا على كيفية انتقال tensor مباشرة بين مخططات sharding مختلفة.

النقطة التشغيلية الأساسية ضيقة لكنها عملية. فإذا كان عمال التدريب والاستدلال يقسمون tensors بشكل مختلف، فقد يصبح مسار النقل عنق زجاجة. وتعد Reshard إجابة NVIDIA عن هذه المشكلة المحددة. ويعرض المقال العملية الجماعية والتنفيذ المرجعي وسياق القياس المعياري معًا حتى يتمكن القراء من تقييم الطريقة في بيئاتهم الخاصة.

ملاحظة تحريرية

تقتصر التسريعات المعلنة على مرحلة مزامنة الأوزان التي تم اختبارها. ولا ينبغي فهمها على أنها وعد لكل عبء عمل في التعلم المعزز. تدعم المادة المصدرية ادعاءات القياس المعياري، ووصف التنفيذ، ونطاق المقارنة. لكنها لا تدعم ادعاءات أداء أوسع خارج تلك التكوينات.