Le fabricant de mémoires Kioxia, spécialiste des technologies flash et des disques durs à semi-conducteurs, a décidé de rendre en open source sa technologie logicielle AiSAQ (All-in-Storage ANNS with Product Quantization for DRAM) dans le but de favoriser une réduction des besoins en mémoire Dam pour les applications d’IA générative. L’objectif sous-jacent étant de favoriser l’utilisation des disques SSD (solid-state drives) pour les applications d’intelligence artificielle et, par conséquent, l’utilisation des mémoire flash NAND.

Selon Kioxia, son logiciel améliore à la fois la mise à l’échelle des bases de données vectorielles et la précision des flux de travail RAG (retrieval-augmented generation) (*) et permet l’utilisation directe de disques SSD.

La technologie s’appuie sur l’approche dite ANNS (approximate nearest neighbour search) traditionnellement déployée dans une mémoire vive de type Dram. L’idée est d’obtenir des performances à grande vitesse requises pour les recherches des algorithmes d’IA, et d’optimiser cette recherche de données dans les disques SSD.

Ce type d’algorithme permet en outre, selon Kioxia, d’effectuer la recherche RAG sans placer les données d’indexation dans la mémoire Dram, en effectuant la recherche directement sur les disques SSD. Dans ce cadre, la recherche RAG identifie les vecteurs qui améliorent le modèle sur la base de la similarité entre divers types de vecteurs en récupérant des informations pertinentes en vue d’augmenter la vitesse des requêtes.

« Notre solution AiSAQ ouvre la voie à une mise à l’échelle quasi infinie des applications RAG dans les systèmes d’IA générative fondés sur des disques SSD à mémoire flash, résume Axel Stoermann, directeur technique de Kioxia Europe. En utilisant des ANNS fondés sur des SSD, nous réduisons la dépendance à l’égard de la mémoire Dram coûteuse tout en répondant aux besoins de performance des principales solutions en mémoire , ce qui améliore considérablement la gamme de performances des applications RAG à grande échelle. »

A noter que ce logiciel est d’ores et déjà disponible sur github.

(*) Le RAG est une part de l’IA qui affine les grands modèles de langage (LLM) à l’aide de données spécifiques à une entreprise ou à une application.