[EDITION ABONNES] Créé fin 2020 pour élaborer des suites de tests destinées à mesurer de façon indépendante les performances système et l’éco-efficacité des technologies d’apprentissage automatique (ML), le consortium MLCommons, connu aujourd’hui pour ses bancs d’essai MLPerf, s’est rapproché de l'Autonomous Vehicle Computing Consortium (AVCC) afin de développer un ensemble complet de benchmarks automobiles pour les systèmes IA embarqués dans les véhicules.

Les deux organismes viennent de franchir un premier pas vers cet objectif avec la publication d’une preuve de concept (POC) de référence MLPerf Automotive. Ce POC a été développé par le groupe de travail ABTF (Automotive Benchmark Task Force) constitué de représentants des sociétés Arm, Bosch, Cognata, cKnowledge, Marvell, Nvidia, Qualcomm Technologies, Red Hat, Samsung, Siemens EDA et Tenstorrent, de l’université d’Etat de Californie à Sacramento et de l’université de Californie à Davis.

Alors que la demande en systèmes optimisés par l’IA explose dans les véhicules, et pas seulement pour la conduite autonome, les constructeurs automobiles doivent décider quelles combinaisons de fonctionnalités intégrer dans leurs véhicules, choisir leurs fournisseurs de systèmes IA et sélectionner l'infrastructure de traitement sous-jacente sur laquelle ces derniers fonctionneront, tout en garantissant que les systèmes pourront fonctionner simultanément avec des performances acceptables.

Dans ce cadre, affirme le consortium MLCommons, ils ont besoin de points de référence communs pour comprendre la demande collective en puissance de calcul de ces systèmes et les ressources nécessaires pour y répondre. Le benchmark MLPerf Automotive a donc vocation à fournir ces points de référence communs qui permettront aux constructeurs de sélectionner ou de concevoir la solution la plus adaptée à leurs exigences système avec les ressources ad hoc.

Pour l’heure, la preuve de concept développée par le groupe de travail ABTF comprend un sous-ensemble de la suite complète MLPerf Automotive Benchmark Suite v1.0, dont la publication est prévue fin 2024.

Le POC se focalise sur une fonction de détection d'objets reposant sur l’usage d’une caméra que l'on trouve couramment dans les systèmes anticollision et les systèmes de conduite autonome. Dans le détail, le POC comprend une implémentation de référence entièrement fonctionnelle d’un système de reconnaissance d'objets préalablement entraîné. On y trouve un modèle de détecteur d'objets SSD-ResNet50 entraîné sur l'ensemble de données Cognata et un moteur d'exécution, le framework automatisé Collective Mind pour la création de scripts et la gestion de l'exécution du modèle, un petit sous-ensemble du jeu de données Cognata à des fins de démonstration, et des composants logiciels supplémentaires nécessaires pour exécuter le benchmark dans un environnement PC.

Selon le consortium MLCommons, les fournisseurs de systèmes IA pourront faire tourner le benchmark automobile en l’optimisant sur leurs propres produits et pourront partager les résultats avec leurs clients potentiels. Les constructeurs et équipementiers automobiles pourront alors vérifier de manière indépendante les résultats des tests de référence et également réexécuter le benchmark après avoir assemblé leur propre combinaison de composants système. Avec évidemment la capacité de substituer leurs propres modèles et/ou données propriétaires et générer leurs propres résultats de référence. A suivre donc.

Vous pouvez aussi suivre nos actualités sur la vitrine LinkedIN de L'Embarqué consacrée à l’intelligence artificielle dans l’embarqué : Embedded-IA

Vous pouvez aussi suivre nos actualités sur la vitrine LinkedIN de L'Embarqué consacrée au marché automobile : Embedded-Automotive