
#
SemiAnalysis a publié GDPx comme benchmark des capacités des modèles de pointe dans onze domaines. Les auteurs sont Max Kan, Andrew Megalaa et Dylan Patel. Le benchmark se concentre sur un travail agentique exigeant plutôt que sur un cadre étroit de requête-réponse.
Les onze domaines sont la conception de puces, la cybersécurité, la biologie, la finance, le travail juridique, le trading quantitatif, l'auto-amélioration récursive, la conception matérielle, la science des matériaux, l'alignement et l'ingénierie logicielle. SemiAnalysis présente cela comme un choix de conception du benchmark. Ce n'est pas décrit comme une prévision de l'économie.
SemiAnalysis indique avoir collaboré avec quatorze partenaires de données spécialisés pour créer les tâches. Les tâches exigent une expertise de domaine. Elles utilisent aussi des environnements de travail interactifs, et pas seulement une requête autonome accompagnée d'un document de référence.
La méthodologie comprend une limite par défaut de huit heures par tâche. Certaines tâches utilisent des limites plus courtes. Les modèles s'exécutent dans leur environnement natif lorsqu'il est disponible. Sinon, SemiAnalysis utilise OpenCode.
Le résultat principal est le pass-at-one sur trois tentatives. Les domaines reçoivent une pondération égale. Les partenaires au sein de chaque domaine sont également pondérés de manière égale. Cette conception signifie que le benchmark ne pondère pas les tâches selon la part de chaque profession dans l'économie.
Les auteurs indiquent que le meilleur modèle global obtient environ douze pour cent sur GDPx. Ils évoquent aussi des différences entre les domaines. En outre, ils notent l'influence des classificateurs de sécurité sur les résultats mesurés.
Ces observations doivent être attribuées à SemiAnalysis. Il s'agit de résultats de benchmark et d'une interprétation, et non d'affirmations universelles sur la qualité des modèles. Le benchmark ne mesure pas la croissance du PIB d'un pays, les rendements réels des investissements ni l'ensemble des professions.
GDPx est construit autour d'un travail que SemiAnalysis estime susceptible de produire une valeur économique précoce grâce à l'IA avancée. Il s'agit du jugement des auteurs sur la conception du benchmark. Ce n'est pas présenté comme une prévision établie.
La structure du benchmark compte parce qu'elle teste les modèles dans des contextes plus proches d'un travail soutenu. L'utilisation d'environnements interactifs suggère un accent mis sur des tâches plus longues et des flux de travail plus complexes. L'approche à pondération égale maintient également le benchmark centré sur les domaines sélectionnés plutôt que sur les parts larges du marché du travail.
Le matériel source met en avant quelques enjeux de mesure. Premièrement, le benchmark utilise une méthode de score spécifique, pass-at-one sur trois tentatives. Deuxièmement, les résultats peuvent être influencés par des classificateurs de sécurité. Troisièmement, les choix de domaines du benchmark reflètent un jugement éditorial et technique des auteurs.
Ces points sont importants pour interpréter les résultats. Un benchmark peut être utile sans constituer une mesure complète des capacités d'un modèle. GDPx est une évaluation ciblée des performances des modèles de pointe dans des domaines sélectionnés. Ce n'est pas un score universel pour tous les types de travail en IA.
GDPx est un nouveau benchmark de SemiAnalysis pour les modèles de pointe dans onze domaines exigeants. Il utilise des tâches interactives, une pondération égale et une méthode de score pass-at-one. SemiAnalysis indique que le meilleur modèle global atteint environ douze pour cent, tout en avertissant que les classificateurs de sécurité peuvent affecter le résultat mesuré.
Ajoutez Intelligence Artificielle Maroc à vos sources préférées pour retrouver davantage de nos actualités pertinentes dans la recherche Google.
Nous construisons des plateformes IA sur mesure, des produits SaaS, des applications métier intelligentes et des systèmes d’automatisation.
Ce formulaire est réservé aux demandes de projets, et non aux questions générales sur l’intelligence artificielle.