#

Points clés

• Microsoft a développé SDBench pour évaluer le diagnostic médical séquentiel.

• Le benchmark utilise deux ensembles de cas : les comptes rendus de cas du NEJM et les présentations de MIMIC-IV-ED.

• MAI-DxO fonctionne comme un panel de médecins virtuels sur plusieurs tours.

• Le système est évalué selon la précision, les preuves demandées et les coûts estimés des tests.

• Microsoft rapporte de solides performances en précision et en maîtrise des coûts dans les deux ensembles de cas.

Ce que Microsoft dit que SDBench mesure

Microsoft indique avoir développé SDBench pour évaluer les performances sur deux ensembles de cas complémentaires. L'un comprend 304 cas complexes tirés des comptes rendus de cas du New England Journal of Medicine. L'autre regroupe des présentations plus typiques des services d'urgence issues de MIMIC-IV-ED. Chaque cas devient interactif, de sorte que les modèles d'IA et les médecins commencent avec des informations limitées et choisissent ce qu'il faut demander ensuite.

Le benchmark ne mesure pas seulement la réponse finale. Il mesure aussi les preuves demandées et les coûts estimés des tests. Cela signifie qu'il évalue à la fois le diagnostic et le chemin emprunté pour y parvenir. C'est important, car le système doit décider quelles informations valent la peine d'être recueillies avant de s'engager dans une conclusion.

Comment MAI-DxO fonctionne dans le benchmark

Microsoft indique avoir conçu MAI-DxO et l'avoir testé dans SDBench. Le système ne s'appuie pas sur un seul modèle pour fournir une réponse immédiate. Il fonctionne plutôt comme un panel de médecins virtuels. Chaque participant propose des diagnostics, sélectionne des questions ou des tests utiles et remet en question la vue émergente.

MAI-DxO coordonne cet échange sur plusieurs tours de débat. Il met à jour son évaluation au fur et à mesure que les preuves arrivent. Il pèse aussi la valeur probable de chaque test par rapport à son coût. Cette conception rend le processus séquentiel plutôt qu'en une seule étape. Elle rend aussi le raisonnement du système plus visible à travers les preuves qu'il demande.

Résultats rapportés sur les cas complexes

Microsoft rapporte que, sur les cas complexes du NEJM, MAI-DxO a atteint une précision diagnostique de 83 %. Les médecins ont obtenu 22 % sans ressources de référence externes et 36 % avec celles-ci. Microsoft indique que cela rend MAI-DxO environ 3,7 fois plus précis que les médecins sans ressources externes, et environ 2,3 fois plus précis avec elles.

L'entreprise affirme aussi que le système peut être ajusté pour le coût. Lorsqu'il est davantage optimisé pour le coût, MAI-DxO a tout de même obtenu de solides performances tout en choisissant des bilans plus économiques. Sur les cas du NEJM, une configuration a atteint 81 % de précision pour moins de la moitié du coût des systèmes comparatifs. Cela suggère que le benchmark ne porte pas uniquement sur la précision. Il récompense aussi les systèmes capables d'équilibrer performance et utilisation des ressources.

Résultats rapportés sur des cas d'urgence plus typiques

Microsoft a également testé MAI-DxO sur des cas de services d'urgence plus typiques issus de MIMIC-IV-ED. Sur cet ensemble, MAI-DxO a atteint 80 % de précision. Les médecins ont obtenu 47 % de précision. Microsoft indique que cela rend MAI-DxO plus de 1,7 fois supérieur en précision.

Ce second ensemble de cas est important parce qu'il diffère des comptes rendus complexes du NEJM. Le benchmark couvre donc à la fois des cas publiés difficiles et des présentations d'urgence plus courantes. Cela donne une vision plus large du comportement d'un système de diagnostic lorsque les informations de départ sont limitées et que l'étape suivante doit être choisie avec soin.

Pourquoi la conception du benchmark est importante

SDBench est construit autour de la séquence du diagnostic, et pas seulement du résultat final. C'est une distinction utile. Un système peut arriver à la bonne réponse tout en utilisant de mauvaises preuves, ou il peut choisir des tests efficaces et malgré tout bien fonctionner. Le benchmark de Microsoft tente de capturer ces deux résultats.

La configuration de type débat dans MAI-DxO reflète aussi cette idée. Différents médecins virtuels peuvent être en désaccord, demander des preuves différentes et affiner la vue commune au fil du temps. Le résultat est un processus plus proche d'un raisonnement clinique itératif que d'un simple échange de type question-réponse.

Pertinence pour le Maroc

La source ne rapporte aucun fait spécifique au Maroc. Pour les lecteurs au Maroc, la leçon globale est conditionnelle : si une équipe évalue une IA de diagnostic, elle devrait mesurer à la fois la précision et le coût des preuves demandées.

En bref

Le rapport de Microsoft présente SDBench comme un benchmark du diagnostic séquentiel, et non comme une simple classification finale. Il combine des cas complexes du NEJM et des cas d'urgence plus typiques, puis mesure la précision, l'utilisation des preuves et les coûts estimés des tests. Dans ce cadre, MAI-DxO a montré de solides performances rapportées et un comportement attentif aux coûts dans les deux ensembles de cas.