Créé fin 2020 pour élaborer des suites de tests destinées à mesurer de façon indépendante les performances système et l’éco-efficacité des technologies d’apprentissage automatique (ML, machine learning), le consortium MLCommons a publié en novembre de nouveaux résultats pour trois de ses benchmarks MLPerf (MLPerf Training v2.1, MLPerf HPC 2.0 et MLPerf Tiny 1.0).

A eux trois, ces bancs d’essai couvrent des domaines d’application très divers, qui vont des objets à ultrabasse consommation qui ne consomment que quelques microwatts lors des opérations d’inférence, jusqu'aux plates-formes d’apprentissage de centres de données développant une puissance de plusieurs mégawatts.

Au global, les derniers résultats MLPerf affichent une amélioration des performances jusqu'à 5 fois supérieure aux précédents publiés, indique le consortium MLCommons.

Si le benchmark MLPerf Training mesure les performances d’apprentissage des modèles de machine learning (ML) utilisés dans des applications professionnelles telles que la recommandation de films, la synthèse vocale à partir de texte, les véhicules autonomes et l'imagerie médicale, le banc d’essai MLPerf HPC, lui, cible plus particulièrement les supercalculateurs et mesure la durée nécessaire à l’apprentissage de modèles ML pour applications scientifiques (modélisation météorologique, simulation cosmologique, prédiction de réactions chimiques reposant sur la mécanique quantique...).

Quant au benchmark MLPerf TinyML, il cible explicitement les systèmes embarqués compacts à basse consommation conçus pour les applications de l’embarqué "profond", de la détection intelligente et de l’Internet des objets. Dans ce cadre, les tests mesurent les performances d’inférence, c’est-à-dire la vitesse à laquelle un réseau de neurones préalablement entraîné peut traiter de nouvelles données, et ils incluent en option un élément de mesure de consommation.

Le consortium MLCommons précise que 8 sociétés ou organisations ont soumis leurs puces ou implantations sur FPGA au banc d’essai MLPerf Tiny 1.0, ce qui a donné lieu à la publication de 59 résultats de performance avec 39 résultats de mesure de consommation.

« Nous ne pouvons que nous réjouir de la participation croissante de la communauté de l'apprentissage automatique aux benchmarks MLPerf et nous avons accueilli avec plaisir les premières soumissions de GreenWaves Technologies, OctoML et Qualcomm au benchmark MLPerf Tiny, a indiqué David Kanter, directeur exécutif du consortium MLCommons. L'adoption croissante des tests de mesure de la consommation est particulièrement notable et marque l'engagement de l'industrie à constamment améliorer l'efficacité des traitements TinyML. »

A cet égard, on notera que la société française GreenWaves Technologies a pu montrer à cette occasion que son processeur d’application IoT de classe microcontrôleur GAP9 à cœurs RISC-V, dont la disponibilité commerciale est imminente, surclassait les autres participants au banc d’essai MLPerf TinyML 1.0 sur certaines tâches neuronales (détection de mots clés et identification de la présence ou non d’un humain sur une image notamment) et ce au niveau de la latence et de la performance énergétique.

OctoML, Plumerai, Qualcomm, Silicon Labs, STMicroelectronics, Syntiant et la communauté hls4ml-FINN ont également soumis des résultats au benchmark MLPerf TinyML 1.0 (https://mlcommons.org/en/inference-tiny-10/).

Vous pouvez aussi suivre nos actualités sur la vitrine LinkedIN de L'Embarqué consacrée à l’intelligence artificielle dans l’embarqué : Embedded-IA