
#
نشرت SemiAnalysis معيار GDPx لقياس قدرات النماذج الرائدة عبر أحد عشر مجالًا. والمؤلفون هم Max Kan وAndrew Megalaa وDylan Patel. يركز المعيار على العمل الوكالي الصعب بدلًا من إعداد ضيق قائم على السؤال والجواب.
المجالات الأحد عشر هي تصميم الشرائح، والأمن السيبراني، وعلم الأحياء، والتمويل، والعمل القانوني، والتداول الكمي، والتحسين الذاتي التكراري، وتصميم العتاد، وعلوم المواد، والمواءمة، وهندسة البرمجيات. وتعرض SemiAnalysis ذلك بوصفه خيارًا في تصميم المعيار. ولا يُوصف على أنه توقع للاقتصاد.
تقول SemiAnalysis إنها تعاونت مع أربعة عشر شريك بيانات متخصصًا لإنشاء المهام. وتتطلب المهام خبرة في المجال. كما أنها تستخدم بيئات عمل تفاعلية، وليس فقط مطالبة مستقلة مع مستند مرجعي مرفق.
تشمل المنهجية حدًا افتراضيًا مدته ثماني ساعات لكل مهمة. وتستخدم بعض المهام حدودًا أقصر. تعمل النماذج في بيئتها الأصلية عندما يكون ذلك متاحًا. وإلا، تستخدم SemiAnalysis OpenCode.
النتيجة الرئيسية هي pass-at-one عبر ثلاث محاولات. وتحصل المجالات على وزن متساوٍ. كما يحصل الشركاء داخل كل مجال على وزن متساوٍ أيضًا. ويعني هذا التصميم أن المعيار لا يزن المهام بحسب حصة كل مهنة في الاقتصاد.
يذكر المؤلفون أن أفضل نموذج إجمالي يحقق نحو اثني عشر في المئة على GDPx. كما يناقشون الفروق بين المجالات. وإضافة إلى ذلك، يلاحظون تأثير مصنفات السلامة على النتائج المقاسة.
ينبغي نسب هذه الملاحظات إلى SemiAnalysis. فهي نتائج معيارية وتفسير لها، وليست ادعاءات عامة عن جودة النماذج. ولا يقيس المعيار نمو الناتج المحلي الإجمالي لدولة، أو العوائد الاستثمارية الفعلية، أو جميع المهن.
يُبنى GDPx حول عمل تعتقد SemiAnalysis أنه قد يحقق قيمة اقتصادية مبكرة من الذكاء الاصطناعي المتقدم. وهذا حكم المؤلفين على تصميم المعيار. ولا يُعرض على أنه توقع مثبت.
تكتسب بنية المعيار أهميتها لأنه يختبر النماذج في إعدادات أقرب إلى العمل المستمر. ويشير استخدام البيئات التفاعلية إلى تركيز على المهام الأطول وسير العمل الأكثر تعقيدًا. كما أن نهج الوزن المتساوي يبقي المعيار متمحورًا حول المجالات المختارة بدلًا من حصص سوق العمل الواسعة.
تسلط المادة المصدرية الضوء على بعض قضايا القياس. أولًا، يستخدم المعيار طريقة تسجيل محددة، وهي pass-at-one عبر ثلاث محاولات. ثانيًا، يمكن أن تتأثر النتائج بمصنفات السلامة. ثالثًا، تعكس اختيارات المجالات في المعيار حكمًا تحريريًا وتقنيًا من المؤلفين.
تلك النقاط مهمة عند قراءة النتائج. يمكن أن يكون المعيار مفيدًا من دون أن يكون قياسًا كاملًا لقدرة النموذج. GDPx هو تقييم موجه لأداء النماذج الرائدة في مجالات مختارة. وليس درجة شاملة لكل أنواع أعمال الذكاء الاصطناعي.
GDPx هو معيار جديد من SemiAnalysis للنماذج الحدودية في أحد عشر مجالًا صعبًا. يستخدم مهامًا تفاعلية، ووزنًا متساويًا، وطريقة تسجيل pass-at-one. وتذكر SemiAnalysis أن أفضل نموذج إجمالي يصل إلى نحو اثني عشر في المئة، مع التحذير أيضًا من أن مصنفات السلامة قد تؤثر في النتيجة المقاسة.
أضفوا Intelligence Artificielle Maroc إلى مصادركم المفضلة لرؤية المزيد من أخبارنا ذات الصلة في بحث Google.
نحن نبني منصات ذكاء اصطناعي مخصصة ومنتجات SaaS وتطبيقات أعمال ذكية وأنظمة أتمتة.
هذا النموذج مخصص لطلبات المشاريع وليس للأسئلة العامة حول الذكاء الاصطناعي.