Advantech, fournisseur de plates-formes matérielles et logicielles pour les secteurs industriels, a décidé d’apporter à ses solutions de serveur de périphérie de réseau (Edge Server) la possibilité de gérer des applications d’intelligence artificielle (IA) générative, et ce en s’appuyant sur la technologie brevetée aiDAPTIV+ de la société taïwanaise Phison, spécialiste des contrôleurs de mémoires embarqués.
aiDAPTIV+ est un outil à destination des entreprises de taille moyenne qui cherchent à exploiter la puissance des grands modèles de langage (LLM) pour de l'apprentissage automatique sur des postes de travail ou des serveurs de périphérie de réseau.
Dans ce cadre, le serveur Edge AI AIR-520 d’Advantech, architecturé autour d’un processeur Epyc de la famille 7003 d’AMD, embarque des cartes mémoire référencées SSD SQ ai100 AI intégrant la technologie de Phison, ainsi que des cartes dotées d’un processeur graphique RTX de Nvidia. L'ensemble est associé à un kit de développement logiciel (SDK) spécifique au serveur Edge AI d’Advantech et à la plateforme AI Enterprise Nvidia, une plateforme logicielle cloud-native qui accélère le développement et le déploiement d'applications d’IA générative.
Selon Advantech, les outils d'IA générative, notamment les grands modèles de langage, transforment la gestion des connaissances des entreprises en automatisant l'organisation, la récupération et l'analyse des données en vue d’améliorer la prise de décision. Ces LLM, lorsqu’ils sont personnalisés, améliorent la précision des résultats, tandis que l'entraînement des modèles réalisés en périphérie de réseau sur des serveurs accroît la confidentialité des données.
Pour aller dans cette direction, la solution d’Advantech prend en charge le réglage précis des LLM à l’aide de cartes fondées sur des GPU (de une à quatre) et sur les mémoires SSD SQ ai100 AI, autorisant dès lors les entreprises à “éduquer” les LLM de manière rentable tout en sécurisant les données sensibles en périphérie.
Ces solutions incluent donc des mémoires SSD AI SQ ai100 qui exploitent la technologie aiDAPTIV+ de Phison. Ces disques SSD agissent comme une extension de la vRAM du processeur graphique autorisant le serveur à affiner les LLM avec un minimum de cartes graphiques. Une approche qui permet d’une part, selon Advantech, de réduire le coût de possession de tels équipements, et de proposer, d'autre part, ce type de serveur dans un format plus compact que les grands serveurs traditionnels montés en rack.
Dans le détail, Advantech propose quatre options pour ses serveurs Edge AI. Le modèle L13B est adapté aux applications temps réel telles que les chatbots et la traduction linguistique. Le L33B est conçu pour gérer des tâches plus complexes dans la création de contenu. Le L70B s’adresse aux applications d'analyse de données sophistiquées et à la prise de décision dans des domaines spécialisés. Enfin le L70B-Plus est équipé de la plateforme logicielle AI Enterprise de Nvidia, pour une prise en charge à long terme et des services de conseil d'experts, garantissant ainsi le déploiement des applications d'entreprise.
Enfin, en vue d’accélérer le développement de l’IA générative, au-delà des capacités de réglage précis des LLM, Advantech fournit un kit de développement logiciel (le SDK Edge AI) associé à l’environnement GenAI Training Studio, le tout préchargé avec des modèles Llama-2 13B/33B/70B pour des applications telles que les chatbots et l'analyse de données. L'objectif ici est de simplifier et d’accélérer l'apprentissage du modèle LLM spécifique à chaque utilisateur ainsi que l'évaluation des inférences sur le système AIR-520.
La solution DeviceOn d'Advantech fournit par ailleurs des mises à jour OTA des logiciels/conteneurs et assure une gestion à distance des outils, facilitant ainsi l'orchestration de l'IA en périphérie de réseau et la maintenance à long terme.
