Le géant américain Nvidia vient de dévoiler la mise en ligne d’une collection d’outils et de compétences (skills) en open source en vue d’accélérer le processus de développement de systèmes d'IA physique pour la robotique, les véhicules autonomes, les jumeaux numériques industriels et les applications d'IA de vision.

Annoncée lors de la Nvidia GTC qui se déroule du 1 au 4 juin à Taipei, la capitale de Taïwan, cette initiative vise, selon Nvidia, à renforce son engagement dans le domaine de l'IA physique en permettant aux agents d'IA d'exécuter des flux de travail complexes grâce aux bibliothèques logicielles, modèles et frameworks, désormais en accès libre, développés par Nvidia.

Pour Nvidia, il s’agit que ces outils, conçus pour réduire le coût et la complexité de la conception et du déploiement à grande échelle de systèmes de robotique et d'IA industrielle, s’intègrent le plus facilement possible aux flux de travail d'ingénierie existants, au-delà du simple codage logiciel.

Une approche open source qui pourrait également contribuer, selon Nvidia, à accélérer l'adoption de la conception pilotée par simulation et de la fabrication assistée par l'IA dans le secteur industriel européen.

Cette collection d’agents d’IA prêts à l’emploi, désormais accessible en open source, couvre les technologies Omniverse (pour la simulation et les jumeaux numériques), Cosmos (modèles de base pour le raisonnement et la génération d’intelligence pour le monde physique), Isaac (simulation et apprentissage robotique), Metropolis (IA de vision), Alpamayo (conduite autonome) et Jetson (matériel pour le développement de l'IA dans l’Edge). `

La société indique que ces agents d’IA associés à un ensemble de skills transforment des tâches telles que la simulation, la génération de données synthétiques, l'entraînement, la validation et le déploiement au sein desquels les agents d'IA peuvent exécuter automatiquement une série d’actions.

« Les agents d'IA révolutionnent le développement logiciel, et cette transformation s'étend désormais à l'IA physique, notamment aux systèmes qui vont métamorphoser les transports, la production, la santé et la robotique, déclare sans ambage Jensen Huang, fondateur et PDG de Nvidia. Lorsque les agents pourront utiliser directement les bibliothèques, les modèles et les frameworks de Nvidia, le développement de l'IA physique sera accéléré, autorisant les développeurs à concevoir les robots, véhicules autonomes et systèmes industriels de demain à un rythme soutenu. »

L’entreprise annonce dans le même temps avoir ajouté de nouvelles fonctionnalités à sa solution Agent Toolkit, environnement qui fournit des modèles et des logiciels en open source en vue de créer des agents capables de déterminer de manière autonome comment exécuter des tâches assignées.

Agent Toolkit est désormais intégré au sein de l'environnement d'exécution OpenShell, environnement d'exécution open source qui applique des règles de sécurité, de réseau et de confidentialité afin de sécuriser le déploiement des agents autonomes.

Concrètement, ces agents d’IA autonomes peuvent aussi être intégré à travers NemoClaw de Nvidia, collection de modèles ouverts permettant de créer des agents autonomes, c’est-à-dire des systèmes d'IA spécialisés, toujours actifs, capables de raisonner, de planifier et d'agir dans des environnements réels.

Nvidia indique que d’ores et déjà des sociétés comme Pegatron utilise la fonctionnalité de génération d'images de défauts de Nvidia pour réduire de 67 % le temps d'entraînement et de déploiement des modèles, tandis que Delta Electronics, selon Nvidia, a amélioré de 17 % son taux de détection des défauts de soudure.

Dans le domaine automobile, des compagnies comme Li Auto, Afari et DeepRoute.ai affirment utiliser, toujours selon Nvidia, les modèles Omniverse NuRec de la société pour la reconstruction et le rendu de scènes neuronales, générant plus de 300 000 rendus et simulations par jour pour le développement de véhicules autonomes.

De leur côté, les éditeurs de logiciels de conception comme Cadence, Dassault Systèmes, Siemens et Synopsys, intègrent déjà les bibliothèques et les fonctionnalités Omniverse dans leurs flux de travail de jumeaux numériques et de simulation.

Tandis que les développeurs de robotique tels qu'Agile Robots, Agility, FieldAI et Universal Robots utilisent également la plateforme d'agents prêts à l'emploi pour accélérer le développement, de la simulation au déploiement.

Les outils et compétences (skills) d’IA physique sont désormais disponibles en open source sur GitHub et skills.sh, avec des environnements de lancement préconfigurés disponibles à travers l’environnement Nvidia Brev.