La société taïwanaise Advantech, fournisseur de briques matérielles et logicielles pour le monde de l’embarqué, dévoile sa solution GenAI Studio, un logiciel intégré au SDK (Software Développement Kit) Edge AI de la société en vue de répondre à la demande croissante d'options économiques pour le développement en local de grands modèles de langage (LLM, Large Language Model).
Selon Advantech, cette initiative a pour ambition de rendre l’adoption de LLM plus accessible aux développeurs et aux petites et moyennes entreprises en réduisant de manière significative la dépendance relative aux processeurs graphiques (GPU) pour une utilisation plus répandue des technologies d’IA générative. Faisant partie des solutions logicielles du SDK Edge AI d'Advantech, GenAI Studio répond notamment à des problèmes industriels concrets, tesl que par exemple la réduction des temps d'attente des opérateurs d'usine pour obtenir à des informations critiques ou l'allègement des tâches de documentation des professionnels de santé.
Cette plateforme de type “no-code”, économique, simplifie donc l'adoption des modèles de langage de grande taille (LLM), permettant aux entreprises de déployer rapidement et efficacement des solutions d'intelligence artificielle. La solution exploite une plateforme LLM polyvalente avec des capacités d'intégration optimisée pour les LLM locaux, notamment OpenAI, Gemini, Anthropic et Ollama. En outre, il introduit une fonctionnalité de réglage des paramètres, optimisée pour les environnements disposant de ressources GPU limitées.
Dans le détail, GenAI Studio propose des services intégrés de réglage fin et d'inférence afin d'optimiser l'utilisation du matériel avec une allocation des ressources matérielles plus flexible Parallèlement, la solution procure une gestion pointue des ressources GPU disponibles ainsi qu’une planification des tâches.
Ainsi, par exemple, le réglage fin d'un LLM de 70 milliards de paramètres, nécessitant habituellement plus de 30 GPUs de 48 Go chacun, peut être réalisé avec seulement 4 GPUs grâce à cet outil. Ce qui représente une réduction de 87 % des besoins en ressources, diminuant les coûts et rendant les solutions LLM plus accessibles.
Pour compléter GenAI Studio, Advantech propose comme infrastructure matérielle un serveur Edge AI, l’AIR-520, une plateforme dotée de cartes GPU fondées sur des processeurs RTX de Nvidia et de disques de stockage SSD optimisés pour des applications d’IA de Phison. A
Avec un matériel préconfiguré et un logiciel optimisé, l'ensemble procure une approche de type Plug-and-Play autorisant une personnalisation des modèles de langages (LLM), une compatibilité transparente des outils et une gestion sans effort des déploiements à grande échelle en périphérie.
Quant au SDK Edge AI d'Advantech, il comprend désormais trois composants principaux. GenAI Studio pour la création, l’évaluation et l’intégration de LLM personnalisés en local, une unité d’inférence qui optimise rapidement les runtimes d’IA compatibles avec les systèmes d'exploitation embarqué, et une plateforme d’orchestration qui assure la gestion des modèles d'IA et des mises à jour d’applications dans le cadre de déploiements à grande échelle en périphérie de réseau.
