Profitant de la caisse de résonance du CES qui se déroule du 9 au 12 janvier 2024 à Las Vegas, la firme britannique Ultraleap, spécialiste notamment des capteurs de suivi du mouvement des mains, a annoncé sa collaboration avec le français Prophesee, fournisseur de technologies de vision embarquée. Avec l'objectif de développer ce que les deux sociétés estiment être le premier système au monde utilisant des capteurs d'événements et de suivi des mains dans des appareils de réalité augmentée.

Cette solution s’appuie sur les modèles avancés de vision artificielle et d’apprentissage automatique d’Ultraleap ainsi que sur les capteurs Metavision dirigés par les événements GenX320 de Prophesee, mis en oeuvre dans des équipements de réalité augmentée capables de suivre de manière native les interactions manuelles d’un utilisateur pendant de longues durées.

Dans ce cadre, les capteurs d'événements d’Ultraleap sont conçus pour être robustes face aux conditions de lumière défavorables et affichent une latence plus faible, ouvrant ainsi la voie à de nouvelles applications fondées sur des capacités d'interaction en extérieur.

Ces technologies opérationnelles procurent en outre aux utilisateurs un degré de protection des données élevé car les capteurs d'événements ne s’appuient pas sur l’analyse d’une image mais uniquement sur la capture d’informations sur les changements des pixels. Une approche mise en œuvre sur le capteur GenX320 de Prophesee, ce qui en fait un candidat optimal pour Ultraleap dans son premier système de vision à apprentissage automatique fondé sur des événements pour le suivi des mains dans une application de réalité augmentée

Ensemble, les deux technologies permettent la mise en œuvre de méthodes d'interaction immersives dans un format de lunettes pratique, condition nécessaire à l'adoption par le marché de la réalité augmentée. Ici, l’intégration de fonctionnalités de suivi des mains constitue une étape cruciale vers des expériences plus immersives et interactives en réalité augmentée, selon Prophesee.

« Il n'existe pas actuellement sur le marché de produits qui exploitent les capteurs d'événements et le suivi manuel pour la réalité augmentée, commente Tom Carter, CEO et cofondateur d'Ultraleap. A ce niveau, l’interaction manuelle ajoute une valeur impressionnante à la réalité augmentée, non seulement en offrant le moyen d’interaction le plus naturel, mais aussi en élargissant les fonctionnalités et en rendant le système de contrôle plus ergonomique, avec pour y parvenir une faible consommation d'énergie, une plage dynamique élevée et une faible latence issue du partenariat avec Prophesee. »