Créé initialement pour élaborer une suite de tests destinée à mesurer de façon indépendante les performances système et l’éco-efficacité des technologies d’apprentissage automatique (ML, machine learning), l’organisme sans but lucratif MLPerf prend aujourd’hui de l’ampleur en changeant de nom et en élargissant son champ d’action. ...Réunissant une cinquantaine de membres fondateurs sous l’égide de représentants des sociétés Alibaba, Facebook AI, Google, Intel et Nvidia et du professeur Vijay Janapa Reddi de l’université de Harvard, le consortium MLCommons compte délivrer non seulement des benchmarks, mais aussi des guides de meilleures pratiques, des métriques ainsi que des modèles et jeux de données IA et ML destinés à accélérer les développements autour de la vision artificielle, du traitement du langage naturel et de la reconnaissance vocale.

Pour ce faire, l’organisme va s’appuyer sur des partenariats entre industriels et laboratoires universitaires ainsi que sur des start-up et de petites entreprises dont une quinzaine a d’ores et déjà rallié le consortium MLCommons comme les français GrAI Matter Labs et Kalray.  

« L'apprentissage automatique est un domaine jeune qui nécessite une infrastructure et une compréhension partagées à l'échelle de l'industrie, indique David Kanter, directeur exécutif du consortium MLCommons. MLCommons est la première organisation qui se concentre sur l'ingénierie collective pour construire cette infrastructure. Nous allons établir des jeux de données, permettant d’extraire des modèles, et des pratiques de développement qui seront essentiels pour l'équité et la transparence au sein de la communauté. »

« L'intelligence artificielle est un élément essentiel des systèmes intelligents de nouvelle génération, précise de son côté Éric Baissus, président du directoire de Kalray. Notre objectif sera de travailler avec les autres membres fondateurs du consortium MLCommons pour définir et évaluer les cas d'utilisation de l'IA qui seront importants pour la prochaine génération d'applications, en particulier dans les centres de données, l'automobile et l'edge computing. »

Dans le détail, le nouvel organisme va notamment se focaliser sur des bancs d’essai et des métriques équitables qui permettront de comparer les systèmes, les logiciels et les solutions ML, à l’instar du benchmark MLPerf pour la mesure des performances d’apprentissage et d’inférence ML. MLCommons compte également favoriser des jeux de données et des modèles accessibles au public et pouvant constituer la base de nouvelles capacités et applications IA à l’instar de People’s Speech, le plus grand jeu public de données de synthèse vocale à partir de texte au monde. Du côté des meilleurs pratiques, l’organisme soutient MLCube, un ensemble de conventions communes qui permet un partage ouvert et harmonieux des modèles ML sur différentes infrastructures et entre chercheurs et développeurs du monde entier.

Parmi les membres fondateurs de l’organisme, on compte aussi des poids lourds comme AMD, Baidu, Cisco, Dell, Fujitsu, HPE, MediaTek, Microsoft, Qualcomm, Red Hat, Samsung Electronics et Xilinx.