Le dernier en date des capteurs de vision fondés sur les événements du français Prophesee, baptisé GenX320 Event-based Metavision, ouvre la voie à une intégration de cette technologie dans des appareils connectés, portables ou non, utilisés dans des environnements à faible luminosité et intégrant des algorithmes d’intelligence artificielle. A l'instar des équipements de réalité augmentée, des systèmes de sécurité et de surveillance dotés de vision (détection de présence intelligente et comptage de personnes), des équipements IoT intelligents, des interfaces sans contact à faible latence de suivi oculaire dans les appareils grand public (téléviseurs, ordinateurs portables, consoles de jeux, etc.).

Ce système de vision s’appuie sur l’empilage en 3D de capteurs Cmos BSI (Back Side Illumination) de 320 × 320 pixels de 6,3 μm qui procurent un format optique de 1/5 pouce. Il a été développé, selon Prophesee, en mettant l'accent sur les exigences d'une intégration efficace d’une approche par détection d'événements innovante dans des systèmes de vision embarqués soumis à des contraintes de consommation, de puissance de calcul et de dimensions.

La technologie autorise notamment un horodatage des événements à faible latence de l’ordre de la microseconde avec un formatage flexible des données. Les modes de gestion intelligente de l'énergie sur la puce réduisent en outre la consommation d'énergie jusqu'à 36 µW et permettent des réveils intelligents lors d'événements (les modes veille profonde et veille sont également proposés).

Capable de s’interfacer avec des puces-systèmes (SoC), le capteur est fourni avec plusieurs fonctions intégrées de prétraitement, de filtrage et de formatage des données "événements" pour minimiser la surcharge de traitement externe. Quant aux sorties de données Mipi ou CPI, elles offrent une connectivité à faible latence aux plates-formes de traitement embarquées, notamment les microcontrôleurs basse consommation et les architectures de processeurs neuromorphiques actuels. Enfin, pour aller vers une intégration avec des algorithmes d’IA, une sortie d'histogramme sur puce est compatible avec des accélérateurs d'IA.

Côté sécurité, Prophesee met en avant le fait que la confidentialité des données au niveau du capteur est activée grâce à la gestion des événements qui arrivent sur une image avec la suppression qui en découle des scènes statiques.

« Le marché Edge AI à faible consommation offre une gamme diversifiée d'applications où l'efficacité énergétique et les caractéristiques de performance des capteurs d'événements sont parfaitement adaptées, explique Luca Verre, P-DG et cofondateur de Prophesee. Nous nous sommes appuyés sur nos succès dans d'autres domaines d'application et avons développé ce nouveau capteur Metavision pour répondre aux besoins des développeurs de systèmes en périphérie de réseau (edge) avec un capteur facile à intégrer, à configurer et à optimiser pour de multiples cas d'usage allant de la détection de mouvement jusqu’à la reconnaissance d’objets, en passant par la reconnaissance des gestes, le suivi oculaire à grande vitesse sur les casques de réalité virtuelle, autant de domaines à forte croissance. »

Concernant le développement, le capteur est pris en charge par une gamme d'outils logiciels qui aident à son exploration et son optimisation avec le concours d’un kit d'évaluation abritant un module à puce intégré (COB) GenX320 ou un module optique flexible compact. De plus, Prophesee a développé une gamme d'adaptateurs qui autorisent la connectivité transparente à des plates-formes embarquées, comme le microcontrôleur STM32 de STMicroelectronics.