#

Points clés

• AWS a annoncé le partitionnement NVIDIA Multi-Instance GPU pour les points de terminaison d'inférence Amazon SageMaker AI.

• Les GPU éligibles peuvent être divisés en segments isolés matériellement avec des ressources de calcul et de mémoire définies.

• La fonctionnalité est conçue pour les composants d'inférence SageMaker et utilise les appels d'API existants.

• Les points de terminaison à modèle unique, serverless et à pools d'instances hétérogènes ne peuvent pas l'utiliser.

• La disposition des partitions est définie lors de la configuration et les modifications nécessitent des partitions inactives.

Ce qu'AWS a annoncé

Le 6 novembre, AWS a annoncé la prise en charge du partitionnement NVIDIA Multi-Instance GPU sur les points de terminaison d'inférence Amazon SageMaker AI. Cette fonctionnalité permet de diviser les GPU éligibles en segments isolés matériellement. Chaque segment dispose de ressources de calcul et de mémoire spécifiées. Cela offre aux opérateurs un moyen d'utiliser une partie d'un GPU au lieu d'attribuer l'accélérateur entier à un seul modèle.

AWS indique que cette fonctionnalité est utile lorsqu'un modèle n'a pas besoin d'un GPU entier. Elle convient aussi aux charges de travail dont le trafic varie. Dans ces cas, un GPU complet par déploiement peut laisser de la capacité inutilisée. L'annonce présente cette fonctionnalité comme un moyen de déployer plusieurs modèles sur des partitions distinctes d'un appareil pris en charge.

Comment la fonctionnalité fonctionne

La fonctionnalité fonctionne sur les points de terminaison qui utilisent les composants d'inférence SageMaker. L'opérateur déclare les profils de partition pris en charge dans la configuration du point de terminaison. Chaque composant demande ensuite l'un de ces profils. SageMaker gère la configuration du GPU, le placement et la mise à l'échelle.

AWS indique que l'annonce ajoute deux champs facultatifs aux appels d'API existants. Elle n'ajoute aucune nouvelle opération d'API, aucun nouveau type de ressource ni aucune nouvelle action IAM. Cela maintient le changement centré sur la configuration plutôt que sur une nouvelle surface de plan de contrôle. L'accélérateur lui-même détermine quels profils et quelles combinaisons sont valides.

AWS précise également que le nombre de partitions ne dépasse jamais sept. Cette limite fait partie des règles de disposition prises en charge pour l'appareil. L'annonce ne décrit pas toutes les combinaisons de profils possibles, donc les opérateurs doivent toujours faire correspondre le modèle à une configuration de partition valide.

Limites des points de terminaison et du déploiement

La fonctionnalité n'est pas disponible pour les points de terminaison à modèle unique, les points de terminaison serverless ou les pools d'instances hétérogènes. Ces types de points de terminaison sont hors du périmètre pris en charge décrit dans l'annonce. La disposition des partitions est choisie lors de la configuration du point de terminaison. Si la disposition doit changer, les partitions doivent d'abord être inactives.

AWS recommande de vérifier que le type d'instance choisi est proposé dans la région de déploiement. Il recommande également de vérifier que le quota du point de terminaison y est disponible. Il s'agit de vérifications pratiques de déploiement liées à l'infrastructure prise en charge et aux conditions de quota. L'annonce n'ajoute pas de nouveau modèle de quota. Elle renvoie les opérateurs aux contraintes existantes de disponibilité et de quota.

Considérations opérationnelles

Le principal avantage opérationnel dépend de l'adéquation. AWS indique que tout gain d'utilisation ou de coût dépend de l'adéquation des modèles déployés avec des profils valides. Cela signifie que la fonctionnalité n'est pas une optimisation universelle. Elle fonctionne mieux lorsque la taille du modèle et le profil de trafic correspondent à une disposition de partition prise en charge.

Le modèle de configuration compte aussi. Comme la disposition est fixée lors de la configuration du point de terminaison, les opérateurs doivent planifier avant le déploiement. Une modification ultérieure nécessite des partitions inactives, donc une reconfiguration en direct n'est pas implicite. Cela rend la fonctionnalité plus adaptée aux déploiements planifiés qu'aux changements ad hoc.

L'annonce maintient également une surface d'intégration réduite. Les appels d'API existants gagnent des champs facultatifs, et SageMaker gère le comportement du GPU en arrière-plan. Cela peut simplifier l'adoption pour les équipes qui utilisent déjà les composants d'inférence SageMaker. Cela signifie aussi que la fonctionnalité dépend de l'accélérateur pris en charge, du type d'instance choisi et de l'ensemble de profils valides pour cet appareil.

En bref

AWS ajoute une manière plus granulaire d'utiliser les GPU éligibles sur les points de terminaison d'inférence Amazon SageMaker AI. La fonctionnalité vise les charges de travail qui n'ont pas besoin d'un accélérateur complet et les déploiements où la capacité inutilisée est un problème. Sa valeur dépend du type de point de terminaison, du type d'instance et du fait que le modèle corresponde à un profil de partition valide.