Le fournisseur de semi-conducteur américain AMD annonce ce jour, la signature d’un accord définitif en vue de l’acquisition pour un montant non divulgué de la toute jeune société canadienne Taalas, basées à Toronto, et pionnière dans le domaine des circuits spécialisés pour l’inférence en IA.
Pour rappel l’inférence en IA est la partie exploitation d’un modèle d’IA, c’est-à-dire le processus d’application d’un modèle, nécessairement figé, à des situations réelles. L’inférence s’appuie sur les données d’un modèle d'IA déjà entraîné et applique les connaissances acquises pour analyser des données réelles, en temps réel ou non, pour délivrer un résultat (prédiction, classification, décision…).
Cependant, la croissance rapide des modèles de plus en plus gros affecte la performance de l’inférence qui devient un point crucial sur ce marché de l’IA.
Dans ce cadre, AMD estime que cette acquisition va renforcer sa feuille de route à long terme dans le domaine de l’IA, grâce à une technologie d’inférence différenciée et à une expertise technique de premier plan liés à l'expertise des ingénziurs de Taalas.
Fondée en 2023, Taalas a notamment développé une technologie au niveau du silicium qui optimise les flux de données liés à l’inférence. Une approche qui permet, selon la société, de réduite considérablement les goulots d’étranglement au niveau du calcul et de la mémoire et procure des capacités d’inférence en IA optimisées.
L’idée de Taalas est d’avoir repenser l’inférence en IA en concevant des circuits autour des modèles d’IA, une approche qui diffère des approches conventionnelles. Ainsi, au lieu d'utiliser des processeurs généralistes qui vont chercher les poids du modèle en mémoire à chaque calcul, Taalas grave directement les poids et la logique d'un modèle d’IA directement sur un ASIC.
Leur premier processeur, le HC1 gravé en 6 nm chez TSMC, atteint selon la société des vitesses d'inférence de l'ordre de 16 000 à 17 000 jetons par seconde et par utilisateur, tout en consommant moins de 200 W par puce.
AMD indique que la technologie de Taalas viendra compléter la plateforme d’IA complète (full-stack) de la société qui inclut les solutions à l’échelle du rack Helios, les GPU Instinct, les processeurs Epyc, le logiciel ROCm ainsi que l’écosystème IA de l’entreprise.
AMD prévoit plus précisément d’intégrer cette technologie à sa feuille de route en matière d’accélérateurs et de développer des solutions au niveau du système qui intègrent et associent les circuits de Taalas aux GPU Instinct d'AMD.
