#

النقاط الرئيسية

• أطلقت بايدو ERNIE-5.5-Flash-Base في 5 نوفمبر.

• النموذج نقطة تحقق مُدرَّبة مسبقًا من نوع mixture-of-experts للتدريب اللاحق.

• توفر بايدو أوزان safetensors بصيغتي FP8 وBF16 عبر Hugging Face.

• يتضمن الإصدار إرشادات إعداد ونتائج تقييم معلنة.

• تضع بايدو نقطة التحقق هذه للاستخدام في التكيّف والاستدلال.

ما الذي أطلقته بايدو

أطلقت بايدو ERNIE-5.5-Flash-Base كنقطة تحقق مُدرَّبة مسبقًا من نوع mixture-of-experts. وتعرضها الشركة كنقطة انطلاق للتدريب اللاحق. كما تصف الإصدار بأنه نقطة تحقق أساسية لأعمال المراحل اللاحقة.

يتضمن الإصدار أوزان safetensors بصيغتي FP8 وBF16. وتوفرها بايدو عبر Hugging Face بموجب ERNIE 5.5 Flash Base Model License Agreement v1.0. ويُظهر دليل الإعداد كيفية تحميل نسخة BF16 باستخدام Transformers. كما يذكر أن كل إدخال يجب أن يبدأ برمز بداية التسلسل.

حجم النموذج وبنيته

تقول بايدو إن نقطة التحقق تحتوي على 280 مليار معلمة إجمالًا. كما تقول إن لدى النموذج 14 مليار معلمة نشطة لكل رمز. ويشير عدد المعلمات النشطة الأصغر إلى العمل الذي يُوجَّه إلى الخبراء لكل رمز. ومع ذلك، تظل نقطة التحقق الكاملة تحتوي على 280 مليار معلمة كاملة.

يصف التقرير التقني محولًا من 43 طبقة. وتقول بايدو إن معظم الطبقات تجري الانتباه على تسلسل مضغوط. كما تقول إن ست طبقات تستخدم MLA-DSA. ويهدف التصميم إلى إدارة تكاليف الانتباه وذاكرة التخزين المؤقت للمفاتيح والقيم مع دعم العمل طويل السياق.

طول السياق وتصميم التدريب

تقول بايدو إن سياق ما قبل التدريب جرى تمديده تدريجيًا إلى 128,000 رمز. وتُعد هذه المعلومة جزءًا من الوصف التقني للنموذج. وهي تُظهر أن الإصدار مبني للعمل طويل السياق ضمن الإعداد الذي تصفه بايدو.

كما تعرض المصدر نقطة التحقق على أنها مفيدة للتكيّف والاستدلال. وهذا يجعل الإصدار ذا صلة بالمطورين الذين يريدون نموذجًا أساسيًا بدلًا من تطبيق مكتمل. وتُعد الأوزان والتفاصيل التقنية الأصول الرئيسية التي توفرها بايدو في هذا الإصدار.

نتائج التقييم المعلنة

تتضمن بايدو جداول تقييم للنماذج الأساسية ضمن إعداد التقييم نفسه. وتغطي الجداول اختبارات المعرفة والاستدلال والبرمجة واللغات المتعددة والسياق الطويل. وهذه هي النتائج التي أعلنتها بايدو للإعدادات المحددة.

وبالنسبة إلى نقطة التحقق الأساسية هذه، تعلن بايدو 93.3 في MMLU باستخدام خمسة أمثلة. كما تعلن 82.3 في HumanEval

• باستخدام مثال واحد. ويعرض المصدر هذه الأرقام ضمن جداول المقارنة الخاصة به. وينبغي قراءتها على أنها النتائج المعلنة من الناشر لتلك الإعدادات الدقيقة.

ما الذي يحصل عليه المطورون من الإصدار

يوفر الإصدار لمطوري النماذج الأوزان والتفاصيل التقنية اللازمة للتكيّف والاستدلال. وتكتسب هذه المجموعة أهمية لأنها تدعم التدريب اللاحق بدلًا من الاستخدام المباشر فقط. كما تقدم وثائق بايدو مثالًا عمليًا لتحميل نسخة BF16.

تم تنظيم الإصدار حول إعادة الاستخدام. فهو يوفر نقطة تحقق ورخصة وإرشادات إعداد. كما يشرح بنية النموذج ونتائج التقييم المعلنة. وتساعد هذه التفاصيل مجتمعة المطورين على فهم كيفية استخدام نقطة التحقق المقصودة.

قراءة عملية للإعلان

من الأفضل فهم هذا الإصدار على أنه تسليم تقني للنموذج. فبايدو لا تقدم منتجًا نهائيًا في المادة المصدر. وبدلًا من ذلك، تعرض نقطة تحقق أساسية مُدرَّبة مسبقًا مع الأوزان والوثائق.

ويؤكد المصدر على حجم النموذج، وتوجيه المعلمات النشطة، وتصميمه طويل السياق. كما يقدم أرقامًا معلنة للمعايير ضمن إطار تقييم محدد. وتجعل هذه التفاصيل من السهل تقييم الإصدار لأعمال التدريب اللاحق والتكيّف.

الخلاصة

ERNIE-5.5-Flash-Base هو نقطة تحقق أساسية كبيرة مع أوزان منشورة وإرشادات تقنية. وتقول بايدو إنه مخصص للتدريب اللاحق والتكيّف والاستدلال. ويجمع الإصدار بين تفاصيل بنية النموذج وتعليمات التحميل ونتائج المعايير المعلنة في حزمة واحدة.