[EDITION ABONNES] Fin novembre, dix-neuf sociétés, laboratoires d’université et centres de recherche se sont réunis pour lancer officiellement le projet européen NimbleAI dont l’objectif est d’améliorer l’éco-efficacité et les performances de puces neuromorphiques pour systèmes de vision dirigés par les événements.

D’une durée de trois ans et financé à hauteur de dix millions d’euros dans le cadre du programme Horizon de l’Union européenne pour la recherche et l’innovation, le projet NimbleAI a pour but de créer une architecture empilée de type 3D sur silicium dévolue à la détection et au traitement neuromorphique. Cette architecture sera apte à exécuter de manière efficace et précise divers algorithmes de vision artificielle au sein de puces aux ressources limitées et aux dimensions compactes, destinées à des objets ou équipements embarqués.

Parmi les entreprises impliquées, on notera la présence des sociétés Codasip, spécialiste des cœurs RISC-V, GrAI Matter Labs (GML), qui a conçu un processeur neuromorphique optimisé pour un traitement à latence ultrafaible, et Menta, spécialiste des technologies eFPGA à embarquer dans des puces-systèmes SoC et des circuits Asic (*).

L’idée qui sous-tend le projet Nimble AI est en fait de reproduire au niveau architectural les interactions entre l’œil et le cerveau humains, affinées par une sélection naturelle économe en énergie qui consiste à capturer, traiter et stocker les données perçues, uniquement lorsque cela est nécessaire. En s’appuyant sur ces principes bio-inspirés, le projet se penchera sur le processus de prise de décision visant à sélectionner les stimuli visuels à traiter et ceux à rejeter sans traitement.

Dans la future architecture, une étape de détection frugale en énergie et toujours active permettra de développer une compréhension de base de la scène visuelle et de piloter un ensemble multicouche de noyaux de traitement événementiels et de réseaux de neurones spécialisés pour effectuer une inférence visuelle des stimuli sélectionnés en utilisant le strict minimum d'énergie.

L’architecture 3D empilée sur silicium, quant à elle, devrait associer et fusionner physiquement détection, mémoire, communications et traitements et devrait être capable à tout moment d’optimiser la précision, la consommation ainsi que les ressources matérielles et temporelles pour améliorer la perception globale, c'est-à-dire maximiser la quantité d'informations visuelles précieuses qui peuvent être capturées et traitées en temps opportun.

Dans la pratique, avec les technologies retenues comme le calcul en mémoire (in-memory computing), les eFPGA et la mémoire ReRAM, le projet NimbleAI table sur une amélioration de l'efficacité énergétique de 100 fois et sur une réduction de la latence de 50 fois (par rapport à une approche traditionnelle CPU/GPU).

Parallèlement, devraient être mis au point des outils de CAO permettant de personnaliser et d’intégrer les technologies retenues, ainsi qu’une implémentation FPGA prototype de l'architecture de traitement de détection empilée en silicium 3D, ainsi que les outils de programmation correspondants pour développer et exécuter des applications de vision artificielle sur ce prototype.

(*) Le projet réunit aussi les sociétés Ikerlan (Espagne), Monozukuri (Italie), Raytrix (Allemagne), AVL List (Autriche), ULMA Medical Technologies (Espagne) et ViewPointSystem (Autriche), ainsi que le Barcelona Supercomputing Center, le CEA, l’Imec, l’université de Leyde, l’université de Manchester, le Conseil supérieur de la recherche scientifique espagnol, l’université polytechnique de Valence, l’Ecole polytechnique de Milan,  Queen Mary University of London et l’université technique de Vienne.