Nvidia a désormais pour ambition d’accélérer le développement et les déploiements d'applications d'IA en périphérie de réseau (Edge AI) par le biais de l’outil Jetson Generative AI Lab que les développeurs peuvent utiliser avec les derniers modèles d'IA générative en open source. Objectif affiché : étendre la portée de l’IA dans des domaines comme la robotique et les systèmes logistiques, avec à la clé des fonctions intelligentes de détection des défauts, de suivi des actifs en temps réel, de planification et de navigation autonomes et d'interactions homme-robot.

Selon Nvidia, avec l’évolution rapide du paysage de l’IA et ses scénarios de plus en plus complexes, les développeurs sont confrontés à des cycles de développement plus longs pour créer des applications IA. Si bien que les opérations de reprogrammation de robots et de systèmes d'IA à la volée, par exemple, pour répondre à l'évolution des environnements, des lignes de fabrication et des besoins d'automatisation prennent du temps et nécessitent souvent l’apport de compétences d'experts.

A ce niveau, l'IA générative, avec une interface en langage naturel, peut simplifier ces développements ainsi que le déploiement et la gestion d’applications d’IA installées en périphérie de réseau. En d’autres termes l'IA générative améliore la facilité d'utilisation de modèles en comprenant les requêtes exprimées en langage naturel pour apporter des modifications à ces derniers. Ces modèles IA sont en particulier plus flexibles, notamment pour la détection, la segmentation, le suivi, la recherche et même la reprogrammation, et permettent de surpasser les modèles traditionnels reposant sur des réseaux de neurones convolutifs (CNN).

« L'IA générative accélérera considérablement les déploiements de l'IA en périphérie de réseau dans les industries (*) avec une facilité d'utilisation et une précision plus élevées qu'auparavant, estime Deepu Talla, vice-président de l'informatique embarquée chez Nvidia. Cette extension logicielle réalisée pour nos frameworks Isaac sur Jetson et plus tard Metropolis, combinée à la puissance des modèles de l'IA générative, répond à ce besoin. »

Dans ce cadre, le Jetson Generative AI Lab permet aux développeurs d'accéder à des outils et des didacticiels optimisés pour déployer des LLM (Large Langage Models) en open source, des modèles de diffusion (**) pour générer des images interactives, des modèles de langage de vision (VLM, Vision Langage Model) qui combinent l'IA de vision et le traitement du langage naturel pour fournir compréhension globale de la scène. Les développeurs peuvent également utiliser l’outil TAO Toolkit de Nvidia pour créer des modèles IA efficaces à travers une interface low-code (i.e. avec un recours limité à du code) pour affiner et optimiser les modèles IA de vision.

Signalons enfin que pour aider les développeurs à créer et à déployer rapidement des applications IA de vision, un ensemble étendu d'API et de microservices pour la plate-forme Jetson sera disponible d'ici la fin de l'année.

(*) L'IA générative devrait générer 10,5 milliards de dollars de revenus pour les opérations de fabrication industrielle dans le monde d'ici 2033, selon ABI Research.

(**) Les modèles de diffusion sont une forme relativement nouvelle de modèles d’apprentissage automatique qui utilisent l’inférence variationnelle pour apprendre la structure cachée d’un jeu de données.